Q:
ما هي بعض الطرق الرئيسية لأتمتة عمليات علوم البيانات وتحسينها؟
أ:يمكن تقسيم عمليات علم البيانات في سياق التعلم الآلي و الذكاء الاصطناعي إلى أربع مراحل متميزة:
- الحصول على البيانات واستكشافها ،
- بناء نموذج،
- نشر النموذج و
- التقييم عبر الإنترنت والتنقيح.
من تجربتي ، فإن المراحل الأكثر إعاقة هي مراحل الحصول على البيانات ونشر النموذج في أي عملية لعلوم البيانات القائمة على التعلم الآلي ، وهنا طريقتان لتحسينها:
1. إنشاء مخزن بيانات يمكن الوصول إليها للغاية.
في معظم المؤسسات ، لا يتم تخزين البيانات في موقع مركزي واحد. دعنا فقط نأخذ المعلومات المتعلقة بالعملاء. لديك معلومات اتصال العملاء ورسائل البريد الإلكتروني لدعم العملاء وتعليقات العملاء وسجل تصفح العملاء إذا كان عملك هو تطبيق ويب. جميع هذه البيانات مبعثرة بشكل طبيعي ، لأنها تخدم أغراض مختلفة. قد تكون موجودة في قواعد بيانات مختلفة وقد يكون بعضها منظمًا بالكامل وبعضها غير منظم ، وقد يتم تخزينه كملفات نصية عادية.
لسوء الحظ ، فإن انتثار مجموعات البيانات هذه يقتصر إلى حد كبير على عمل علم البيانات كأساس لجميع مشاكل البرمجة اللغوية العصبية والتعلم الآلي وذكاء الذكاء الاصطناعي هي البيانات . لذلك ، فإن وجود كل هذه البيانات في مكان واحد - مخزن البيانات - هو أمر بالغ الأهمية في تسريع تطوير النماذج ونشرها. نظرًا لأن هذا جزء مهم لجميع عمليات علم البيانات ، يجب على المؤسسات توظيف مهندسي بيانات مؤهلين لمساعدتهم في بناء مراكز بياناتهم. يمكن أن يبدأ ذلك بسهولة عندما تتدفق البيانات البسيطة في موقع واحد وتنمو ببطء إلى مستودع بيانات مدروس جيدًا وموثق تمامًا ويمكن الاستعلام عنه باستخدام أدوات مساعدة لتصدير مجموعات فرعية من البيانات إلى تنسيقات مختلفة لأغراض مختلفة.
2. كشف النماذج الخاصة بك كخدمة للتكامل السلس.
بالإضافة إلى تمكين الوصول إلى البيانات ، من المهم أيضًا أن تكون قادرًا على دمج النماذج التي طورها علماء البيانات في المنتج. قد يكون من الصعب للغاية دمج النماذج التي تم تطويرها في بيثون مع تطبيق ويب يعمل على روبي. بالإضافة إلى ذلك ، قد تحتوي النماذج على الكثير من تبعيات البيانات التي قد لا يتمكن منتجك من توفيرها.
تتمثل إحدى طرق التعامل مع ذلك في إنشاء بنية أساسية قوية حول طرازك والكشف عن الوظائف الكافية التي يحتاجها منتجك فقط من أجل استخدام النموذج ك "خدمة ويب". على سبيل المثال ، إذا كان التطبيق الخاص بك يحتاج إلى تصنيف المعنويات في مراجعات المنتج ، كل ما يجب القيام به هو استدعاء خدمة الويب ، مع توفير النص ذي الصلة وستعيد الخدمة تصنيف المعنويات المناسب الذي يمكن للمنتج استخدامه مباشرة. بهذه الطريقة يكون التكامل ببساطة في شكل مكالمة API. إن فصل الطراز والمنتج الذي يستخدمه يجعل من السهل حقًا على المنتجات الجديدة التي توصلت إليها أن تستخدم هذه الطرز أيضًا دون أي مشاكل تذكر.
الآن ، يعد إنشاء البنية التحتية حول النموذج الخاص بك قصة أخرى كاملة ويتطلب استثمارًا أوليًا كبيرًا من فرق الهندسة الخاصة بك. بمجرد وجود البنية التحتية ، إنها مجرد مسألة بناء نماذج تتناسب مع البنية التحتية.
