Q:
كيف يمكن للمهندسين تقييم مجموعات التدريب ومجموعات الاختبار لاكتشاف التحريف المحتمل في التعلم الآلي؟
أ:لفهم كيفية القيام بذلك ، من الضروري أن يكون لديك فهم أساسي لأدوار مجموعات البيانات المختلفة في مشروع نموذجي للتعلم الآلي. تم إعداد مجموعة التدريب لإعطاء التكنولوجيا إطارًا مرجعيًا - وهو أساس البيانات الذي يستخدمه البرنامج لاتخاذ القرارات التنبؤية والاحتمالية. مجموعة الاختبار هي المكان الذي تختبر فيه الجهاز على البيانات.
التجاوز هو متلازمة في التعلم الآلي حيث لا يتناسب النموذج تمامًا مع البيانات أو الغرض.
| تحميل مجاني: تعلم الآلة ولماذا يهم |
واحدة من الوصايا الجامعة للتعلم الآلي هي أن بيانات التدريب وبيانات الاختبار يجب أن تكون مجموعات بيانات منفصلة. هناك إجماع واسع إلى حد ما على هذا ، على الأقل في العديد من التطبيقات ، بسبب بعض المشاكل المحددة في استخدام نفس المجموعة التي استخدمتها للتدريب لاختبار برنامج التعلم الآلي.
عندما يستخدم برنامج التعلم الآلي مجموعة تدريب ، والتي يمكن تسميتها في الأساس مجموعة من المدخلات ، فإنه يعمل على إيقاف مجموعة التدريب هذه لاتخاذ قرارات بشأن النتائج التنبؤية. إحدى الطرق الأساسية للتفكير في الأمر هي أن مجموعة التدريب هي "الغذاء" لعملية الحوسبة الفكرية.
الآن عند استخدام نفس المجموعة للاختبار ، يمكن للآلة في الغالب أن تحقق نتائج ممتازة. ذلك لأنه شهد بالفعل هذه البيانات من قبل. لكن الهدف الكامل للتعلم الآلي في كثير من الحالات هو جعل نتائج حول البيانات التي لم يتم رؤيتها من قبل. برامج تعلم الآلة للأغراض العامة مصممة للعمل على مجموعات متنوعة من البيانات. بمعنى آخر ، مبدأ التعلم الآلي هو الاكتشاف ، ولا تحصل عادة على الكثير من ذلك باستخدام مجموعة تدريب أولية لأغراض الاختبار.
عند تقييم مجموعات التدريب ومجموعات الاختبار للتركيب المحتمل ، يمكن للمهندسين تقييم النتائج ومعرفة السبب في أن البرنامج قد يفعل ذلك بطريقة مختلفة عن النتائج المقارنة لهاتين المجموعتين ، أو في بعض الحالات كيف يمكن للآلة أن تعمل جيدًا على بيانات التدريب نفسها .
في وصف بعض هذه المشكلات في التعلم الآلي ببراعة في عام 2014 ، يصف جاسون براونلي من جهاز التعلم الآلي التحليق بهذه الطريقة:
"إن النموذج الذي تم اختياره لدقته على مجموعة بيانات التدريب بدلاً من دقته على مجموعة بيانات الاختبار غير المرئي من المرجح جدًا أن يكون له دقة أقل في مجموعة بيانات الاختبار غير المرئية" ، كتب براونلي. "السبب في ذلك هو أن النموذج ليس معممًا على الإطلاق . لقد تم تحديده وفقًا للهيكل في مجموعة البيانات التدريبية (المائل المضاف). وهذا ما يطلق عليه التحليق الزائد ، وهو أكثر غدراً مما تعتقد".
بعبارات عامة ، يمكنك القول أنه في تخصص نفسه لمجموعة بيانات التدريب ، أصبح البرنامج جامدًا للغاية. هذه طريقة مجازية أخرى للنظر في سبب عدم تقديم برنامج تعلم آلي على النحو الأمثل باستخدام مجموعة التدريب لمجموعة الاختبار. إنها أيضًا طريقة جيدة لمقاربة تقييم هاتين المجموعتين المختلفتين ، لأن النتائج ستُظهر للمهندسين الكثير حول كيفية عمل البرنامج. تريد فجوة أصغر بين الدقة لكلا الطرازين. تريد التأكد من أن النظام ليس محمومًا أو "مندمجًا بدقة" في مجموعة بيانات معينة ، ولكن هذا أكثر عمومية وقدرة على النمو والتطور حسب الأمر.
