جدول المحتويات:
التعريف - ماذا يعني Apache Pig؟
Apache Pig عبارة عن منصة تُستخدم لتحليل مجموعات البيانات الكبيرة. يتكون من لغة عالية المستوى للتعبير عن برامج تحليل البيانات ، إلى جانب البنية التحتية لتقييم هذه البرامج. واحدة من أهم ميزات Pig هي أن هيكلها يستجيب للتوازي الكبير.
تعمل Pig على النظام الأساسي Hadoop ، حيث تقوم بكتابة البيانات وقراءة البيانات من نظام الملفات الموزعة Hadoop (HDFS) وإجراء المعالجة عن طريق وظيفة واحدة أو أكثر من مهام MapReduce. أباتشي خنزير متاح كمصدر مفتوح.
يُعرف Apache Pig أيضًا بلغة برمجة Pig أو Hadoop Pig.
تيكوبيديا يوضح أباتشي خنزير
يحتوي Apache Pig على جزأين: لغة Pig Pig ومحركات Pig. لغة Pig Latin هي لغة برمجة تسمح للمستخدمين بتوضيح الطريقة التي يجب بها قراءة ومعالجة تدفق البيانات من واحد أو أكثر من المدخلات ، والموقع الذي يجب تخزينه فيه.
فيما يلي بعض الخصائص الأساسية لـ Pig Latin:
- سهل البرمجة: المهام المعقدة التي تتكون من تحويلات البيانات المترابطة المختلفة يتم ترميزها بشكل واضح كتسلسلات تدفق البيانات. هذا يجعلها بسيطة في الكتابة والفهم والمحافظة عليها.
- إمكانيات التحسين: الطريقة التي يتم بها تشفير المهام تسمح للنظام بتحسين التنفيذ التلقائي. يتيح ذلك للمستخدم الانتباه إلى الدلالات بدلاً من الكفاءة.
- القابلية للتوسعة: يُسمح للمستخدمين بإنشاء وظائفهم الخاصة لتنفيذ المعالجة ذات الأغراض الخاصة. محرك Pig مسؤول عن تنفيذ تدفق البيانات المكتوب باللغة Pig Latin. يشبه إلى حد كبير تصميم نظام إدارة قواعد البيانات العلائقية (RDBMS) ، يتكون Apache Pig من محلل ومحسن ومدقق كتابة ، بالإضافة إلى المشغلين الذين يقومون بمعالجة البيانات. لا تتضمن Pig المعاملات أو كتالوج البيانات أو القدرة على التعامل مباشرة مع تخزين البيانات أو استخدام إطار التنفيذ.
