How to build a machine learning pipeline

How to build a machine learning pipeline
ما هو (Pipeline ) ؟ هو طريقة تمكننا من جمع أجزاء الكود البرمجي من البداية حتى النهاية في شكل نمودج واحد يتم التعامل معه مباشرة. و هذه الطريقة تجعل الكود أبسط و أسهل للفهم و تصحيح الأخطاء.
في الصورة مثال بإستعمال مكتبة (Scikit-Learn ) ، حيث و بعد تحميل الداتا من أجل عملية التصنيف (مصابة بسرطان الثدي، سليمة) و تقسيمها إلى مجموعتين : مجموعة التدريب و مجموعة الإختبار، نقوم في السطر 17 ببناء نمودج ال (Pipeline ). في عملية البناء يمكننا تحديد العمليات المتعلقة بالخصائص (features ) مثل طريقة تعويض الميزات (features ) المفقودة في بعض الأمثلة من الداتا (missing values ) ، توحيد الميزات (StandardScaler) و تصغير عدد (Features ) مثلا بإستعمال طريقة (PCA). في هذا المثال قمت بتجميع كل العمليات المتعلقة ب (Features ) بالإستفادة من طريقة (FeatureUnion) و هي طريقة تبسط الكود أكثر. تحديد الخوارزمية المستعملة أو طريقة البحث أو التعديل على (Hyper-parameters )، في هذا المثال إستعملت خوارزمية التصنيف (SVC). في النهاية تنفيذ هذا النمودج عن طريق الدالة (fit) التابعة له و حساب (accuracy ) بشكل عادي.



الكود صغير و بسيط و كل أجزائه معلومة و من السهل التعديل عليه و تحديد الأخطاء التي يمكن أن تحدث.



تابعوا مقالاتي على الهاشتاج : #هشام_فلواط


الكاتب : هشام فلواط - hichem felouat
رابط الكود هنا

Comments

  1. BloggerFebruary 26, 2020 at 10:33 AM

    If you're attempting to lose weight then you need to get on this brand new personalized keto meal plan.

    To create this keto diet, certified nutritionists, personal trainers, and chefs have united to develop keto meal plans that are productive, suitable, price-efficient, and delightful.

    From their grand opening in early 2019, thousands of clients have already remodeled their figure and well-being with the benefits a certified keto meal plan can give.

    Speaking of benefits: in this link, you'll discover eight scientifically-proven ones given by the keto meal plan.

    ReplyDelete

Post a Comment

Popular posts from this blog

مقدمة

مقدمة من خلال هذا الدرس و الدروس الأتية ان شاء الله سنحاول شرح مجال معالجة الصور بطريقة سهلة و بسيطة مع التطبيق و بالعربي حتى تكون في متناول الجميع . الوسائل و الأدوات التي سنستعملها هي  لغة البرمجة سي بلس بلس ( فجيوال أستديو نسخة  2012)  opencv -2.4.6.0 رابط تحميل الدرس 0 ( مقدمة) حتى تكون الاستفادة كبيرة و قبل أن أنشر الدرس المقبل لمن لا يعرف opencv او لغة البرمجة سي بلس بلس عليه ان يطالع و لو نظرة بسيطة ...انا أشرح كل شيئ لكن من الأفضل ان تكون لك نظرة مسبقة . قبل صدور الدرس التالي نحاول تجهيز انفسنا و تجهيز الادوات التي سنستعملها. هذه بعض الدروس التي ممكن تستفدون منها   الواجهات الروسومية في سي بلس بلس   استعمال الجداول والمصفوفات  
Read more

تحسين أداء خوارزميات تعلم الألة

Image
تحسين أداء خوارزميات تعلم الألة. Testing and Validation  أثناء تدريب نمودج (model) لخوازمية من خوارزميات تعلم الألة قد نجد نسبة الخطأ مرتفعة جدا فنحاول البحث عن أحسن القيم للمعاملات الداخلية للخوارزمية (Hyper-parameters ) من أجل تحسين الأداء و تقليل نسبة الخطأ. أبسط طريقة هي تدريب عدة نماذج و لتكن 100 نموذج  مثلا من هذه الخوارزمية و بمعاملا داخلية مختلفة و بعدها نختار أحسن نموذج لهذه الخوارزمية و نعتمده هو في عملنا، هناك طرق أخرى للقيام بذلك مثل (Gradient descent) بمكن القول أنه إستعمال لطرق (Optimization ) من أجل إيجاد أحسن القيم ل (Hyper-parameters ). لكن لسوء الحظ قد تجد أن نسبة الأداء مرتفعة و نسبة الخطأ صغيرة أثناء عملية التدريب أما في مرحلة الإختبار تجد أن نسبة الخطأ مرتفعة جدا! و هذا يعني أننا وقعنا في مشكل (Overfitting) و لتجنب ذلك سنشرح في هذه المقالة إحدى الطرق للقيام بذلك و هي ال (Validation ). في عملية تدريب نمودج لخوازمية في الطريقة العادية فإننا نقسم (dataset) إلى قسمين، قسم للتدريب و قسم للإختبار بنسبتي 80٪ و 20٪ على الترتيب في الحالة العامة. و من أجل اكثر ...
Read more

أنواع الطرق المستخدمة في مجال تعلم الألة The type of machine learning

Image
The type of machine learning تعرفنا في المقال السابق على مفهوم تعلم الألة و مالذي يميزها عن البرمجة العادية، و قلنا بأنه و من أجل العمل على مشروع يطبق مبادئ تعلم الألة فإننا نحتاج إلى أربع (4) عناصر أساسية و هي : أ- قاعدة بيانات التعلم و تحتوي على بيانات و معلومات الشيء الذي نريد دراسته و العمل عليه. ب-  خوارزمية من خوارزميات تعلم الألة (سنتعرف عليهم لاحقا). ج- جزء من قاعدة بيانات التعلم نحتفظ به من أجل إختبار الخوارزمية المستعملة. د- قياسات من أجل حساب و قياس أداء و فاعلية الخوارزمية التي إستعملناها.  سنتعرف في هذا المقال على أنواع الطرق المستخدمة في مجال تعلم الألة و التي تختلف فيها بينها في أسلوب التعامل مع البيانات و التي فرضها الواقع بما يحتوى من بيانات متنوعة و مختلفة و متشابكة. 1- النوع الأول ( Supervised Learning ) : في هذا النوع نحتاج إلى أن تكون البيانات التي سوف نعمل عليها معروفة الإنتماء أو القيمة يعني من الشكل ((x1, y1) ... (xn, yn) ). بحيث (xi) يمثل الشيء الذي  نعمل عليه. إن كنا نعمل على برنامج يتعرف على الإيمايلات الصحيحة من (spam) ...
Read more