جدول المحتويات:
التعريف - ماذا يعني MapReduce؟
MapReduce هو نموذج برمجة قدمته Google لمعالجة مجموعات البيانات الضخمة وتوليدها على مجموعات أجهزة الكمبيوتر.
قامت Google أولاً بصياغة الإطار لغرض خدمة فهرسة صفحات الويب من Google ، واستبدل الإطار الجديد خوارزميات الفهرسة السابقة. يجد المطورين المبتدئون أن إطار عمل MapReduce مفيد لأنه يمكن استخدام إجراءات المكتبة لإنشاء برامج متوازية دون أي قلق بشأن عمليات الاتصال عبر الكتلة أو مراقبة المهام أو معالجة الفشل.
يعمل MapReduce على مجموعة كبيرة من آلات السلع وهو قابل للتطوير بدرجة كبيرة. لديها العديد من أشكال التنفيذ التي توفرها لغات برمجة متعددة ، مثل Java و C # و C ++.
يشرح Techopedia MapReduce
يتكون إطار MapReduce من جزأين:
- دالة تسمى "Map" ، والتي تتيح لنقاط مختلفة من الكتلة الموزعة توزيع أعمالهم
- وظيفة تسمى "تقليل" ، والتي تم تصميمها لتقليل الشكل النهائي لنتائج المجموعات إلى ناتج واحد
تتمثل الميزة الرئيسية لإطار عمل MapReduce في التسامح مع الأخطاء ، حيث يُتوقع تقديم تقارير دورية من كل عقدة في المجموعة عند اكتمال العمل.
يتم نقل المهمة من عقدة إلى أخرى. إذا لاحظت العقدة الرئيسية أن العقدة قد صامتة لفترة زمنية أطول من المتوقع ، تنفذ العقدة الرئيسية عملية إعادة التعيين إلى المهمة المجمدة / المتأخرة.
إطار عمل MapReduce مستوحى من وظائف "Map" و "Reduce" المستخدمة في البرمجة الوظيفية. تحدث المعالجة الحسابية على البيانات المخزنة في نظام الملفات أو داخل قاعدة بيانات ، والتي تأخذ مجموعة من قيم مفتاح الإدخال وتنتج مجموعة من قيم مفتاح الإخراج.
كل يوم ، يتم تنفيذ العديد من برامج MapReduce ووظائف MapReduce على مجموعات Google. تتم موازاة البرامج تلقائيًا وتنفيذها على مجموعة كبيرة من آلات السلع. يتعامل نظام وقت التشغيل مع تقسيم بيانات الإدخال ، وجدولة تنفيذ البرنامج عبر مجموعة من الآلات ، ومعالجة عطل الماكينة وإدارة الاتصال بين الماكينات المطلوب. يمكن للمبرمجين دون أي خبرة في الأنظمة المتوازية والموزعة استخدام موارد النظام الموزع الكبير بسهولة.
يتم استخدام MapReduce في grep الموزعة ، والفرز الموزع ، وعكس ارتباط الويب - الرسم البياني ، وإحصائيات سجل الوصول إلى الويب ، وتجميع الوثائق ، والتعلم الآلي ، والترجمة الآلية الإحصائية.
