ما هو hadoop بالضبط؟ نظرية ساخر

أي شيء يبدو جيدا للغاية ليكون صحيحا عادة ما يكون. قد يكون هذا هو الحال مع Apache Hadoop ، المشروع مفتوح المصدر الذي لا يزال الجميع يتحدثون عنه. إذن ما هو بالضبط هذا الشيء؟ سؤال جيد!

مشكوك فيه الخبراء

قام المحلل مارك مادسن من شركة "ناتشر ناتشرال" بتسليمه على الحائط لفترة من الوقت في قطعة مضلعة على InsideAnalysis.com: "ما هو Hadoop. ما Hadoop ليس كذلك". بصفتك شخصًا يعرف كيفية تصميم حلول واقعية ، ثم نشرها فعليًا ، لا ينبغي تجاهل نصيحته.

ولكن هناك تيار أعمق يتدفق هنا ، والوقت قريب لكشف جذور هذه النباتات الرائعة ، لمعرفة ما إذا كان لا يمكننا اكتساب بعض المنظور حول ما يحدث على مستوى أكثر من المستوى الكلي. بعد كل شيء ، لا يزال البائعون يقولون إنها مشكلة كبيرة ، وهناك الكثير من المشاركين.

توظيف المرتكبين! (؟)

تمتلك ثلاث شركات حاليًا غالبية سوق Hadoop الناشئة: Cloudera و Hortonworks و MapR. في إحاطة إعلامية حديثة مثيرة للجدل عبر Boulder BI Brain Trust (#BBBT) ، أدلى جيم ووكر من Hortonworks بهذا التعليق الغريب:

"لا يمكنك النهوض بالتكنولوجيا إذا لم توظف المتعهدين!"

تعال مرة أخرى؟

لا يبدو هذا وكأنه شيء قد يقوله السناتور بالباتين في فيلم حرب النجوم؟

السناتور بالباتين: "استخدم المرتكبين!"

العميل القريب: "لكن يا سيدي! فكر في الأطفال!"

بالنسبة للشخص العادي الذي يحاول فقط إنجاز الأمور ، فإن المتعاقدين هم أشخاص مكرسون لمشروع معين مفتوح المصدر. لدى Apache Foundation بروتوكولات صارمة تتحرك بها مشاريعها إلى الأمام ، وهو أمر جيد في كثير من الأحيان.

قال ذلك ، تعليق ووكر يستدعي الفحص. سيكون أحد الأسئلة المدببة (في خطر استحضار أيام الملعب): هل هذا وعد أم تهديد؟ هل يقول إن هورتونووركس قد يأخذ كرةه ويعود إلى المنزل؟

التعاون أم المنافسة؟

والزاوية المثيرة للاهتمام إذا كانت المفارقة هنا هي أن معظم المشاركين في فريق Hadoop (حوالي 30 شخصًا أو نحو ذلك) ينتمون إلى Hortonworks و Cloudera - المنافسين. هذه هي حالة غريبة جدا من المنافسة.

إذن ما هو الاتفاق؟ إليكم تخمين متعلم: تدين Hadoop بشهرة كبيرة لخطة ذكية وضعتها مجموعة من أصحاب رؤوس الأموال والمهندسين المغامرين في وادي السيليكون الذين يحاولون بشكل أساسي التحوط ضد رهاناتهم ضد أوراكل.

تتمثل الفكرة العامة في دعم السوق من خلال مجموعة من التعليمات البرمجية التي يمكن تعزيزها ودعمها بواسطة أسطول من المطورين الذين سيقومون بشكل مثالي بمرور الوقت بإنشاء جميع أنواع أدوات إدارة البيانات ، بما في ذلك منتجات قواعد البيانات. يمكن لل VCs الاستثمار والنقد في يوم من الأيام. ولكن هناك بعض التحديات الخطيرة في اللعب.

مثل كل الشركات المتجانسة ، غالبًا ما تجد Oracle نفسها في تقاطع العديد من اللاعبين الأصغر. والذين لا يريدون مجرد شريحة من عائداتهم الذهول؟ في الربع الأخير وحده ، حجزت Oracle حوالي 9 مليارات دولار. لكن تحدي الأحمر الكبير وضربهم هما واقعان مختلفان تمامًا.

البث الشبكي المجاني: ما هو Hadoop وإلى أين يحدث؟ انضم إلى Eric Kavanagh و Robin Bloor و Techopedia لمناقشة كيفية اختلاف Hadoop بشكل كبير عن Linux أو الخدمية ، ولماذا يظل مستقبلها غير مكتوب إلى حد كبير.

مشاكل التعبئة والتغليف

الشيء في Hadoop ، في حد ذاته ، هو أنه ليس حلاً معبأ بأي وسيلة. بدلاً من ذلك ، إنها مجموعة معقدة من الوحدات النمطية التي تمكن المبرمجين ذوي الجودة العالية من الاستفادة من خوارزميات معالجة متوازية هائلة للقيام بأشياء محددة للغاية. ولكن لا توجد واجهة مستخدم رائعة ، والأدلة وحشية.

أضف إلى هذا التحدي هذه العقبة الحاسمة: تحتاج أيضًا إلى رجال أعمال لديهم فهم عام على الأقل لما يمكن أن يفعلوه. يجب أن يكون هؤلاء الأشخاص قادرين على استحضار أفكار حول كيفية استخدامها ، ثم التواصل مع المطورين الذين يتعين عليهم فيما بعد إنتاج التطبيقات واختبارها وتنفيذها ودعمها.

ينسق هذا الرقص كيف يستغل كلوديا وهورتونووركس الكثير من أموالهما. المشكلة هي أن معظم الحلول التي تم إنشاؤها عن طريق هذه الطريقة هي فريدة من نوعها ، وعادة ما تركز على أنظمة التشغيل بدلا من الأنظمة التحليلية. ترجمة؟ مثل هذه الأشياء لا تصلح حقًا لمنتجات البرامج المعبأة.

التعبئة والتغليف الربحية!

مما يعيدنا إلى أوراكل. يصنع Larry Ellison والأولاد تقنية بيع قواعد بيانات التبن والأجهزة والخدمات (انتظر حتى …) المعبأة. من الواضح أن كلوديرا برزت هذا الأمر ، ومن ثم تركيزها على إمبالا. لكن هورتونووركس؟

يبدو أن نموذجهم يحاكي بشكل أوضح نموذج RedHat ، الأشخاص الذين بنوا أعمال بقيمة مليار دولار على رأس نظام التشغيل Linux. ناري مورد رئيسي في صناعة برامج المؤسسة لا يكتب لنظام التشغيل Linux ، نظام التشغيل الذي قامت IBM من خلاله بإيقاف تشغيل Microsoft. ولكن Hadoop ليس لينكس ، وليس عن طريق تسديدة طويلة.

الدكتور جيفري مالفسكي ، وهو خبير تقني نانوي سابق للبحرية الأمريكية ، وهو الآن عالم بيانات في شركة Phasic Systems ومعهد PSIKORS ، يستخلص اقتراح قيمة Hadoop مثل هذا:

"Hadoop رائع للبحث ، وتحليل اتجاه كبير للغاية لنتائج الاستوكاستك ، وعلى الأرجح بعض المعالجة المتوازية الذكية الرخيصة جدًا لأشياء مثل زوجتي السابقة اعتدت على ذلك: حساب دالة الموجة الميكانيكية الكمومية للحالة الصلبة والتفاعلات الكيميائية. يعتمد هذا العلم الحقيقي على الحواسيب الفائقة وانتقلت إلى حد ما إلى معالجة متوازية ، لكنه تغيير صعب في منهج البرمجة ، حيث سيكون طلاب الدراسات العليا الشباب وذكي المفعول بالحيوية هم الذين سيحققون ذلك ، وأظن أن المنح البحثية تبدأ في هذا الاتجاه لبعض الحوسبة الرفيعة المستوى التطبيقات ".

ستلاحظ أنه لا يبدو أي شيء مثل تخزين البيانات أو ذكاء الأعمال أو تكامل البيانات أو حتى البيانات الضخمة. هذا يبدو وكأنه الحوسبة الفائقة. ولسبب مثير للاهتمام ، لم تصطدم عوالم الحوسبة عالية الأداء وذكاء الأعمال أو تجمعت بالفعل بأي طريقة مفيدة.

طريق طويل أمام Hortonworks وكلودرا

وإليك الأخبار السيئة حقًا لشركة Hortonworks وربما Cloudera. على كبار البائعين مثل IBM و SAP و Oracle و Teradata - وضع هذا على نحو معتدل ، وعلى حد تعبير Dire Straits: "إنهم ليسوا أغبياء!" منذ ثلاث سنوات مضت ، وضعت جميعها استراتيجيات Hadoop خطيرة.

من الأمور الأساسية في هذه الخطط أنواع الأشياء التي يتوقعها المستخدمون من رجال الأعمال: واجهات المستخدم الرسومية ، ووظائف السحب والإفلات ، وأدوات النمذجة والاكتشاف ، وتدفق العمل ، والحوكمة ، والأمن ؛ باختصار ، كل البتات والقطع التي تجعل برامج المؤسسة قابلة للاستخدام. وبالطبع ، فإن هؤلاء البائعين الكبار لديهم قواعد تثبيت ضخمة.

من المؤكد أن كلاودرا وهورتونووركس لديهما عمل جيد ، لكن فقط جزء ضئيل مما يحصل عليه هؤلاء اللاعبون الرئيسيون كل عام. قم بالرياضيات بشأن مقدار ما يتحمله المتحدون من عملائهم ، مقارنةً بمدى ما قد يكون عليه الحمل ، والصورة ليست وردية للغاية. منحت ، هذا قدم المساواة للدورة التدريبية مع اهتمامات البرامج في المرحلة المبكرة ، ولكن لا يزال …

مستقبل Hadoop؟

لذلك ، هل يمكن أن نرى الموجة التقليدية من عمليات الاستحواذ ، مثلما حدث في الماضي ، عندما اشترت IBM Cognos ، وحصلت Oracle على Hyperion و SAP على BusinessObjects؟ ربما ، ولكن الأطفال الجدد في هذه الكتلة لا يملكون Hadoop ؛ انهم فقط استعارة ذلك. وعلى الرغم من وعود YARN و Tez الواعدة ، يبدو أن دورات الإطلاق متأخرة عما ينتجه الضاربون الثقيلون.

في اليوم الآخر ، علق أحد المطلعين على الصناعة أن السياسة في Apache يمكن أن تكون عنق الزجاجة. هذا ليس مفاجئًا بشكل رهيب ، خاصةً عندما تفكر في الدولارات المعنية ، فهناك دافع كبير للمبتكرين لإغرائه. هل لاحظ أحد كيف تجاوز Chrome فايرفوكس في وظائفه وقابليته للتشغيل مؤخرًا؟ مصدر مغلق ، أي شخص؟

شيء واحد مؤكد: هذه اللعبة ستلعب في بعض الطرق المثيرة للاهتمام. نعم ، يمكن للثدييات (اقرأ: الباعة الصغار) تفوق الديناصورات في كثير من الأحيان ؛ ولكن لا يزال هناك التماسيح والتماسيح في جميع أنحاء العالم ؛ وإذا تعثرت على أحد غير مدركين ، فقد تكتشف مدى حدة تلك الأسنان. بعض التماسيح يمكن أن تنزل فيلًا أو اثنين.