تسخير خرطوم الحريق: الحصول على قيمة العمل من تحليلات التدفق: نسخة الويبينار

بواسطة Techopedia Staff ، 24 فبراير 2016

الوجبات الجاهزة: يناقش المضيف ريبيكا جوزويك تحليلات التدفق مع كبار خبراء الصناعة.

أنت لم تسجل الدخول حاليًا. يرجى تسجيل الدخول أو التسجيل لمشاهدة الفيديو.

ريبيكا جوزويك: سيداتي وسادتي ، مرحبًا بكم في Hot Technologies 2016! عنوان اليوم هو "تسخير Firehose: الحصول على قيمة الأعمال من تحليلات الجري." هذا هو ريبيكا Jozwiak. أنا الثاني في قيادة البث الشبكي عندما لا يمكن أن يكون عزيزنا إريك كافانا هنا ، لذلك من الجيد أن نرى الكثير منكم هناك اليوم.

هذه الحلقة مختلفة بعض الشيء عن الآخرين. تحدثنا إلى حد ما عما هو ساخن وبالطبع هذا العام حار. السنوات القليلة الماضية كانت ساخنة. هناك دائما أشياء جديدة تخرج. اليوم ، نحن نتحدث عن تحليلات التدفق. تحليلات التدفق هي نوع جديد. بالطبع التدفق ، بيانات المركز ، بيانات RFID ، هذه ليست بالضرورة جديدة. ولكن في سياق بنيات البيانات ، لقد ركزنا على البيانات في راحة طوال عقود. قواعد البيانات ، وأنظمة الملفات ، ومستودعات البيانات - كل ذلك لغرض معالجة الدفعات في الغالب. ولكن الآن مع التحول إلى خلق قيمة من تدفق البيانات ، وعواطف البيانات ، والبعض الآخر يطلق عليها تدفقات حية ، فهي في الحقيقة تحتاج إلى بنية قائمة على التدفق ، وليس البيانات في تصميمات الراحة التي اعتدنا عليها ويجب أن تكون قادرة على التعامل مع تناول سريع ، في الوقت الحقيقي أو بالقرب من المعالجة في الوقت الحقيقي. يجب أن يكون قادرًا على تلبية احتياجات إنترنت الأشياء فقط ، ولكن الإنترنت للجميع.

بطبيعة الحال ، من المثالي أن يكون من الجيد أن يعيش المعماريان جنبًا إلى جنب ، إحداهما تغسل الأخرى ، إذا جاز التعبير. في حين أن البيانات القديمة ، والبيانات القديمة منذ أسابيع ، والبيانات القديمة لا تزال بالطبع لها قيمة ، والتحليلات التاريخية ، وتحليل الاتجاهات ، إنها البيانات الحية التي تقود الذكاء الحي في هذه الأيام وهذا هو السبب في أن تحليلات البث أصبحت مهمة للغاية.

أنا أتحدث أكثر عن ذلك اليوم. لدينا عالم البيانات ، Dez Blanchfield ، يتصل من أستراليا. إنه في الصباح الباكر بالنسبة له الآن. لدينا كبير المحللين ، الدكتور روبن بلور. انضم إلينا Anand Venugopal ، رئيس منتج StreamAnalytix في Impetus Technologies. إنهم يركزون حقًا على جانب تحليلات التدفق في هذه المساحة.

مع ذلك ، سأذهب إلى الأمام وأمرره إلى Dez.

ديز بلانشفيلد: شكرًا لك. أحتاج إلى الاستيلاء على الشاشة هنا والبوب ​​إلى الأمام.

ريبيكا جوزويك: ها أنت ذا .

ديز بلانشفيلد: بينما نلتقط الشرائح ، دعني فقط أتناول الموضوع الأساسي.

سأبقيها عالية المستوى وسأبقيها لمدة 10 دقائق تقريبًا. هذا موضوع كبير جدا شاركت في حدث قضينا فيه يومين إلى ثلاثة أيام في الغوص في تفاصيل ما هي معالجة الدفق والأطر الحالية التي نقوم بتطويرها وما الذي يجب أن تعنيه التحليلات في تلك التدفقات كبيرة الحجم.

سنقوم فقط بتوضيح ما نعنيه بتدفق التحليلات ثم ندرس ما إذا كان يمكن اشتقاق قيمة العمل لأن هذا هو ما تبحث عنه الشركات حقًا. إنهم يتطلعون إلى أن يشرح لهم الأشخاص بسرعة كبيرة وبإيجاز ، أين يمكنني استخلاص القيمة من خلال تطبيق بعض أشكال التحليلات على بيانات البث؟

ما هو تحليلات التدفق؟

تقدم تحليلات التدفق للمؤسسات طريقة لاستخراج القيمة من البيانات عالية السرعة وعالية السرعة التي قدموها من خلال الأعمال في أشكال مختلفة في الحركة. الفرق الكبير هنا هو أن لدينا تاريخًا طويلًا في تطوير التحليلات وعدسات وجهات النظر من البيانات التي نقوم بمعالجتها في راحة منذ عقود منذ اخترع الحاسوب الرئيسي. التحول الكبير في النموذج الذي شهدناه في السنوات الثلاث إلى الخمس الماضية في ما نسميه "مقياس الويب" هو الاستفادة من تدفقات البيانات الواردة إلينا في الوقت الحقيقي أو في الوقت الحقيقي القريب وليس مجرد معالجة وتبحث عن ارتباط الحدث أو يتم تشغيل الحدث ولكن إجراء تحليلات مفصلة مفصلة بالفعل على تلك التدفقات. إنه تحول كبير إلى ما كنا نفعله من قبل وهو إما جمع البيانات ، ووضعها في نوع من قواعد البيانات ، قواعد البيانات الكبيرة التقليدية الآن ، أطر عمل البيانات الكبيرة مثل منصة Hadoop وتنفيذ معالجة وضع الدُفعات على ذلك والحصول على نوعا من البصيرة.

لقد نجحنا في القيام بذلك بسرعة كبيرة وجربنا الكثير من الحديد الثقيل على الأشياء ، لكننا ما زلنا نلتقط البيانات ونخزنها وننظر إليها ونحصل على نوع من الرؤى أو التحليلات عليها. كان التحول إلى إجراء تلك التحليلات أثناء تدفق البيانات مجالًا جديدًا ومثيرًا جدًا للنمو لأنواع الأشياء التي تحدث حول البيانات الضخمة. يتطلب اتباع نهج مختلف تمامًا لالتقاط وتخزين ومعالجة إجراء التحليلات.

يتمثل أحد الدوافع الرئيسية للتحول والتركيز على إجراء التحليلات في الدفق في أنه يمكنك الحصول على قيمة أعمال كبيرة من الحصول على تلك الأفكار بشكل أسرع وأكثر سهولة مع وصول البيانات إليك ، حيث يتم توفير المعلومات للشركة. فكرة القيام بمعالجة نهاية اليوم لم تعد ذات صلة في بعض الصناعات. نريد أن نكون قادرين على القيام بالتحليلات السريعة. بحلول نهاية اليوم ، نعلم بالفعل ما حدث لأنه حدث بدلاً من الوصول إلى نهاية اليوم والقيام بمهمة دفعية على مدار 24 ساعة والحصول على تلك الأفكار.

تدور تحليلات الدفق حول النقر على هذا الدفق مباشرة بينما تدفقات البيانات عادة ما تكون تدفقات متعددة ذات أحجام كبيرة جدًا من البيانات والبيانات تأتي إلينا في الحركة بسرعة كبيرة للغاية والحصول على رؤى أو تحليلات على تلك التدفقات لأنها تأتي إلينا على عكس ذلك لإتاحة الفرصة لذلك في الخارج وإجراء تحليلات عليها.

كما ذكرت ، كان لدينا عقود وعقود من أداء ما أسميه تحليلات الدُفعات. لقد وضعت صورة رائعة حقا هنا. هذه صورة لرجل نبيل يقف أمام جهاز كمبيوتر سخرت منه شركة RAND Corporation منذ فترة طويلة وهذا ما شاهدوه جهاز كمبيوتر في منزل لتبدو عليه. الأمر المثير للاهتمام هو أنه حتى في ذلك الوقت ، كان لديهم هذا المفهوم لجميع هذه الأوجه الصغيرة وهذه الأرقام تمثل المعلومات الواردة من المنزل والتي تتم معالجتها في الوقت الحقيقي وإخبارك بما يجري. مثال بسيط هو مجموعة من الضغط الجوي ودرجة الحرارة التي يمكننا أن نرى أين نرى ما يحدث في الوقت الحقيقي. لكنني أتخيل أنه حتى في ذلك الوقت عندما وضعت RAND Corporation هذا النموذج الصغير معًا ، كانوا في الواقع يفكرون بالفعل في معالجة البيانات وإجراء التحليلات عليها لأنها تأتي بتنسيق دفق. لست متأكدًا تمامًا من السبب وراء وضع عجلة القيادة على الكمبيوتر ، ولكن هذا أمر رائع.

منذ اختراع الطابعة ، كان لدينا رؤية لالتقاط البيانات وإجراء تحليلات الدُفعات عليها. كما قلت مع التحول الكبير الآن ورأينا هذا من أمثال لاعبي النطاق على نطاق واسع الذين نعلمهم جميعًا ، فهم جميعًا من العلامات التجارية المنزلية مثل Twitter و Facebook و LinkedIn ، وهذا سلوك تفاعلي مع أولئك الاجتماعيين تتطلب المنصات ليس فقط التقاط وتخزين ومعالجة في وضع الدُفعات ولكنها في الواقع تلتقط التحليلات وتدفعها بسرعة من تدفقات البيانات القادمة. عندما أقوم بتغريد شيء ما ، فلن يحتاجوا فقط لالتقاط وتخزينه والقيام بشيء لاحقًا ، ولكن يجب أيضًا أن يكونوا قادرين على إعادته فورًا إلى ساحة مشاركاتي ومشاركته مع أشخاص آخرين يتبعونني. هذا هو نموذج معالجة الدفعي.

لماذا نذهب في هذا الطريق؟ لماذا تستثمر المنظمات الوقت والجهد والمال حتى في التفكير في تحدي السعي إلى تحليل مسار الدفق؟ لدى المؤسسات هذه الرغبة الهائلة في الحصول على مكاسب في الأداء على منافسيها في الصناعات التي يعملون فيها ، ويمكن تنفيذ هذا الأداء بسرعة من خلال تحليلات الدفق البسيطة ، ويمكن أن تبدأ من مجرد تتبع بيانات الوقت الفعلي التي نحن بالفعل عليها مألوف. حصلت على لقطة صغيرة من Google Analytics. ربما تكون هذه واحدة من أولى المرات التي حصلنا فيها فعليًا على تحليلات مباشرة للمستهلكين. لذا ، بينما كان الناس يزورون موقعك على الويب ويحصلون على هذه النتائج ، مع وجود جزء صغير من جافا سكريبت في الجزء السفلي من صفحة الويب الخاصة بك بتنسيق HTML مضمن في موقع الويب الخاص بك ، تم إنشاء هذه الرموز الصغيرة في الوقت الفعلي مرة أخرى إلى Google وكانوا إجراء تحليلات على تدفقات البيانات الواردة من كل صفحة على موقع الويب الخاص بك ، وكل كائن على موقع الويب الخاص بك في الوقت الحقيقي ، ويقومون بإرساله إليك مرة أخرى في صفحة الويب الصغيرة اللطيفة حقًا في لوحة معلومات بيانية في الوقت الفعلي ، ورسوم بيانية صغيرة و رسم بياني خطي يوضح لك عدد X من الأشخاص الذين سجلوا صفحتك تاريخًا ، ولكن إليك عدد الأشخاص الموجودين حاليًا.

كما ترون في لقطة الشاشة هذه ، تقول الرسالة 25 الآن. هذا هو 25 شخصًا في الوقت الحالي من لقطة الشاشة هذه كانوا على تلك الصفحة. هذه هي أول فرصة حقيقية لعبناها على أداة تحليلات المستهلك. أعتقد أن الكثير من الناس حصلوا عليها حقًا. لقد فهموا فقط قوة معرفة ما يجري وكيف يمكنهم الرد عليه. عندما نفكر في حجم إلكترونيات الطيران والطائرات التي تطير حولها ، فهناك 18700 رحلة داخلية يوميًا في الولايات المتحدة الأمريكية وحدها. لقد قرأت ورقة منذ بعض الوقت - كان حوالي ست أو سبع سنوات مضت - أن كمية البيانات التي كانت تنتجها تلك الطائرات كان حوالي 200 إلى 300 ميغابايت في النموذج الهندسي القديم. في تصاميم الطائرات الحالية ، تنتج هذه الطائرات حوالي 500 غيغابايت من البيانات أو حوالي نصف تيرابايت من البيانات لكل رحلة.

عندما تقوم بالرياضيات بسرعة كبيرة من أعلى رأسك ، فإن هناك 18،700 رحلة داخلية كل 24 ساعة في المجال الجوي الأمريكي وحده ، إذا كانت جميع الطائرات الحديثة تنتج حوالي نصف تيرابايت ، فهناك 43 إلى 44 بيتابايت من البيانات تأتي عبر و إنه يحدث أثناء وجود الطائرات في الهواء. يحدث هذا عندما يهبطون ويقومون بتفريغ البيانات. وذلك عندما يذهبون إلى المتجر ويتم تفريغ بيانات كاملة من الفرق الهندسية للنظر في ما يحدث في المحامل والعجلات وداخل المحركات. يجب معالجة بعض هذه البيانات في الوقت الفعلي حتى يتمكنوا من اتخاذ قرارات بشأن وجود مشكلة حقيقية أثناء وجود الطائرة في الجو أو أثناء وجودها على الأرض. لا يمكنك فعل ذلك في وضع الدُفعات. في الصناعات الأخرى التي نراها حول التمويل ، والصحة ، والصناعة التحويلية ، والهندسة ، يبحثون أيضًا في الكيفية التي يمكنهم من خلالها الحصول على هذه الرؤية الجديدة لما يحدث في الوقت الفعلي مقارنة بما يجري تخزينه للتو في قواعد البيانات على مصطلح.

هناك أيضًا مفهوم التعامل مع البيانات مثل ما أسميه سلعة قابلة للتلف أو سلعة قابلة للتلف - يفقدها الكثير من البيانات مع مرور الوقت. هذا هو الحال أكثر فأكثر مع تطبيقات التنقل وأدوات الوسائط الاجتماعية لأن ما يقوله الناس وما يتجهون إليه الآن هو ما تريد الرد عليه. عندما تفكر في أجزاء أخرى من حياتنا مع الخدمات اللوجستية وشحن المواد الغذائية حولها ، فإننا نفهم مفهوم السلع القابلة للتلف بهذا المعنى. لكن فكر في البيانات التي تمر بمؤسستك والقيمة التي تمتلكها. إذا كان شخص ما يقوم ببعض الأعمال معك في الوقت الحالي ويمكنك التفاعل معهم في الوقت الفعلي ، فأنت لا تريد الانتظار لمدة ساعة حتى يتم التقاط البيانات ووضعها في نظام مثل Hadoop ثم الضغط على هذا الزر ، لن تتمكن من التعامل معها الآن وتريد أن تكون قادرًا على القيام بذلك بناءً على طلب العميل على الفور. هناك مصطلح سترىه منبثقًا كثيرًا الآن حيث يتحدث الناس عن امتلاك دفق البيانات هذا في الوقت الفعلي الذي يمكن أن يمنحك إضفاء طابع شخصي عليه ، وضبط التخصيص هذا في النظام الذي تستخدمه لتجربتك الفردية. لذلك عندما تضغط على أداة مثل أداة بحث Google ، على سبيل المثال ، إذا قمت بإجراء استعلام وفعلت نفس الاستعلام ، فسنحصل دائمًا على نفس البيانات. نحصل بشكل أساسي على ما أشير إليه كتجربة المشاهير. أنا تعامل مع لمرة واحدة. أحصل على روايتي الشخصية لما يحدث في هذه الأنظمة استنادًا إلى الملفات الشخصية والبيانات التي جمعوها علي وتمكنت من إجراء التحليلات في الوقت الفعلي في البث.

هذه الفكرة عن كونها سلعة قابلة للتلف هي شيء حقيقي في الوقت الحالي ، وقيمة البيانات التي يتم تقليصها مع مرور الوقت هي شيء يتعين علينا التعامل معه اليوم. إنه ليس بالأمس. أحب هذه الصورة لدب يمسك بسمك السلمون يقفز من النهر لأنه يرسم بالفعل ما أراه بالتحليلات المتدفقة. إنه هذا النهر الهائل من البيانات التي تأتي إلينا ، خرطوم النار إذا صح التعبير ، ويجلس الدب في منتصف الخور. ستقوم بإجراء تحليلات في الوقت الفعلي حول ما يحدث حولها بحيث يمكنها بالفعل هندسة قدرتها على التقاط تلك الأسماك في الهواء. ليس مثل مجرد غمس في تيار والاستيلاء على واحد. هذا الشيء يقفز في الهواء ويجب أن يكون في المكان المناسب في الوقت المناسب لاصطياد تلك الأسماك. خلاف ذلك ، لا يحصل على الفطور أو الغداء.

تريد المنظمة أن تفعل الشيء نفسه مع بياناتها. انهم يريدون استخراج القيمة من ما هو الآن كميات هائلة من البيانات في الحركة. إنهم يريدون إجراء تحليلات على تلك البيانات والبيانات عالية السرعة بحيث لا يقتصر الأمر على مقدار البيانات التي تأتي إلينا ، بل إنها السرعة التي تأتي منها. في مجال الأمن على سبيل المثال ، كل ما تبذلونه من أجهزة التوجيه والمحولات والخوادم والجدران النارية وجميع الأحداث التي تأتي من هؤلاء وعشرات الآلاف إن لم يكن مئات الآلاف من الأجهزة ، في بعض الحالات هي بيانات قابلة للتلف. عندما نفكر في الأمر في إنترنت الأشياء والإنترنت الصناعي ، فإننا نتحدث عن ملايين إن لم يكن مليارات من أجهزة الاستشعار في نهاية المطاف ، وحيث أن البيانات تأتي من خلال إجراء التحليلات ، فإننا نتطلع الآن إلى القيام بمعالجة الأحداث المعقدة بناء على أوامر من حيث الحجم والسرعة التي لم نرها من قبل ، وعلينا التعامل مع هذا اليوم. نحن بحاجة إلى بناء أدوات وأنظمة حول ذلك. إنه تحد حقيقي للمنظمات لأنه من ناحية ، لدينا العلامات التجارية الكبيرة جدًا التي تعمل في صنع DIY ، وتخبزها بنفسك ، عندما تكون لديها القدرة على القيام بذلك ومجموعة المهارات والهندسة. لكن بالنسبة إلى التنظيم المتوسط ​​، فليس هذا هو الحال. ليس لديهم مجموعات المهارات. ليس لديهم القدرة أو الوقت أو حتى المال للاستثمار في اكتشاف ذلك. انهم جميعا تهدف نحو هذا المفهوم من صنع القرار في الوقت الحقيقي القريب.

استخدم الحالات التي صادفتها ، وهي موجودة في كل مجموعة واسعة من كل قطاع يمكنك تخيله ، والناس يجلسون وينتبهون ويقولون ، كيف يمكننا تطبيق بعض التحليلات على بيانات البث لدينا؟ نتحدث عن خدمات الإنترنت على نطاق واسع. هناك منصات الوسائط الاجتماعية التقليدية والخياطة عبر الإنترنت وتجارة التجزئة - تطبيقات على سبيل المثال. انهم جميعا يحاولون أن يقدموا لنا تجربة المشاهير هذه في الوقت الحقيقي. ولكن عندما ننتقل إلى المزيد من خدمات مجموعة التكنولوجيا ، وخدمات الهاتف ، والصوت والفيديو ، أرى أشخاصًا يتجولون وهم يقومون بـ FaceTime على الهواتف. انها مجرد انفجار. يحير في ذهني أن الناس يحملون الهاتف أمامهم ويتحدثون إلى دفق فيديو لأحد الأصدقاء بدلاً من تعليقه على أذنهم بعد الآن. لكنهم يعلمون أنه يمكنهم القيام بذلك وقد تكيفوا وأحبوا تلك التجربة. إن تطوير هذه التطبيقات والأنظمة الأساسية التي تقدم هذه التطبيقات يحتاج إلى إجراء تحليلات في الوقت الفعلي على هذه الحركة وعلى ملفات تعريف حركة المرور حتى يتمكنوا من القيام بأشياء بسيطة مثل توجيه هذا الفيديو بشكل مثالي بحيث تكون جودة الصوت في الفيديو الذي تحصل عليه يكفي للحصول على تجربة جيدة. لا يمكنك معالجة هذا النوع من البيانات. لن تجعل دفق الفيديو في الوقت الحقيقي خدمة وظيفية.

هناك تحد حوكمة في المعاملات المالية. لا بأس أن نصل إلى نهاية اليوم واكتشف أنك انتهكت القانون الذي ينقل البيانات الخاصة حول المكان. في أستراليا ، لدينا تحد مثير للاهتمام للغاية حيث نقل البيانات المتعلقة بالخصوصية في الخارج أمر لا. لا يمكنك أخذ رقم التعريف الشخصي (PID) وبيانات التعريف الشخصية الخاصة بي في الخارج. هناك قوانين في أستراليا لمنع ذلك من الحدوث. مقدمي الخدمات المالية على وجه الخصوص بالتأكيد ، الخدمات والوكالات الحكومية ، يتعين عليهم القيام بتحليلات في الوقت الفعلي على تدفقاتهم من البيانات والتعليمات معي للتأكد من أن ما يقدمونه لي لا يترك الشواطئ. كل الاشياء يجب ان تبقى محليا. يجب عليهم القيام بذلك في الوقت الحقيقي. لا يمكنهم انتهاك القانون والاستغفار لاحقًا. اكتشاف الاحتيال - إنه أمر واضح للغاية نسمع عنه في معاملات بطاقات الائتمان. ولكن نظرًا لأن أنواع المعاملات التي نقوم بها في الخدمات المالية تتغير بسرعة كبيرة جدًا ، فهناك بعض الأشياء التي يقوم بها PayPal أولاً في الكشف عن الاحتيال في الوقت الفعلي حيث لا ينتقل المال من شيء إلى آخر ولكنه معاملة مالية بين النظم. يباي منصات العطاءات ، والكشف عن الاحتيال يجب أن يتم في الوقت الحقيقي في مكتب التدفق.

هناك اتجاه ينتقل الآن إلى إجراء الاستخراج وتحويل نشاط الحمل في التدفقات ، لذلك لا نريد التقاط أي شيء يذهب إلى البث. لا يمكننا فعل ذلك حقًا. لقد تعلم الناس أن البيانات تحب أن يتم كسرها بسرعة كبيرة إذا قمنا بالتقاط كل شيء. الحيلة الآن هي إجراء تحليلات على تلك التدفقات وإجراء ETL عليها والتقاط ما تحتاج إليه ، والبيانات الوصفية المحتملة ، ثم قيادة التحليلات التنبؤية حيث يمكننا في الواقع معرفة ما الذي سيحدث قليلاً في المسارات على ما نحن عليه لقد رأيت للتو في الدفق بناءً على التحليلات التي أجريناها على ذلك.

يواجه مقدمو الطاقة والمرافق هذه الرغبة الهائلة من المستهلكين للحصول على أسعار للطلب. قد أقرر أنني أريد شراء الطاقة الخضراء في وقت معين من اليوم لأنني فقط في المنزل وحدي ولا أستخدم الكثير من الأجهزة. ولكن إذا كان لدي حفل عشاء ، فقد أرغب في تشغيل جميع أجهزتي ولا أريد أن أشتري طاقة رخيصة وانتظار تسليمها ولكنني على استعداد لدفع تكلفة إضافية للحصول على هذه الطاقة. لقد حدث بالفعل تسعير الطلب هذا ولا سيما في المرافق ومساحة الطاقة. Uber على سبيل المثال هو مثال كلاسيكي على الأشياء التي يمكنك القيام بها كل يوم ، وكل ذلك مدفوع بأسعار الطلب. هناك بعض الأمثلة الكلاسيكية على حصول الأشخاص في أستراليا على 10 آلاف دولار بسبب الطلب الهائل في ليلة رأس السنة. أنا متأكد من أنهم تعاملوا مع هذه المشكلة ولكن تحليلات الدفق التي يجري تنفيذها في الوقت الحقيقي بينما في السيارة تخبرك بالمبلغ الذي يجب أن أدفعه.

إنترنت الأشياء وتدفقات المستشعرات - لقد خدشنا السطح للتو على هذا الأمر ، ولقد أجرينا بالفعل محادثة أساسية تحدث حول هذا ولكن سنرى تحولًا مثيرًا للاهتمام في كيفية تعامل التكنولوجيا مع ذلك لأنه عندما تتحدث لا ما يقرب من آلاف أو عشرات الآلاف ولكن مئات الآلاف وربما مليارات الأجهزة التي تتدفق إليك ، لم يتم تصميم أي من مجموعات التكنولوجيا الموجودة لدينا الآن للتعامل مع ذلك.

هناك بعض الموضوعات الساخنة جدًا التي سنراها في جميع أنحاء المكان مثل الأمان ومخاطر الإنترنت. إنها تحديات حقيقية للغاية بالنسبة لنا. هناك أداة أنيقة تسمى الشمال على الويب حيث يمكنك الجلوس ومشاهدة في صفحة ويب العديد من الهجمات الإلكترونية التي تحدث في الوقت الحقيقي. عندما تنظر إليها ، فأنت تعتقد "أوه إنها صفحة ويب لطيفة لطيفة" ، ولكن بعد حوالي خمس دقائق هناك ، تدرك حجم البيانات التي يقوم النظام بتحليلها على جميع التدفقات المختلفة لجميع الأجهزة المختلفة في جميع أنحاء العالم التي يتم تغذية فيها. يبدأ الأمر في حيرة الذهن حول كيفية أدائهم لذلك على حافة هذا السجل بشكل أساسي وتزويدك بهذه الشاشة الصغيرة البسيطة التي تخبرك بماذا أو أي شيء آخر يهاجمها في الوقت الفعلي وأنواع الهجمات. ولكن هذه طريقة بسيطة جدًا للحصول على مذاق جيد لما يمكن أن يقوم به تحليلات الدفق بالنسبة لك في الوقت الفعلي من خلال مشاهدة هذه الصفحة والحصول على شعور فقط بحجم الصوت والتحدي المتمثل في تشغيل التدفقات ومعالجة استفسارات تحليلات على لهم ويمثل ذلك في الوقت الحقيقي.

أعتقد أن المحادثة التي أجريتها مع بقية الجلسة ستتناول كل هذه الأنواع من الأشياء من خلال وجهة نظر واحدة مثيرة للاهتمام ، من وجهة نظري ، وهذا هو التحدي المتمثل في DIY ، خبزيها بنفسك ، يناسب بعضًا من حيدات الكلاسيكية القادرة على تحمل لبناء هذه الأنواع من الأشياء. لديهم مليارات الدولارات لبناء هذه الفرق الهندسية وبناء مراكز البيانات الخاصة بهم. لكن بالنسبة إلى 99.9٪ من المؤسسات التي ترغب في زيادة القيمة في تحليلات الدفق ، تحتاج إلى الحصول على خدمة جاهزة. إنهم بحاجة إلى شراء منتج خارج الصندوق ، وهم يحتاجون عمومًا إلى بعض الخدمات الاستشارية والخدمات المهنية لمساعدتهم على تنفيذه ويكتسبون تلك القيمة مرة أخرى في العمل ويبيعونها مرة أخرى إلى الشركة كحل عملي.

مع ذلك ، سأعيد إليك ، ريبيكا ، لأنني أعتقد أن هذا ما نحن بصدد تغطيته بالتفصيل الآن.

ريبيكا جوزويك: ممتاز. شكرا جزيلا لك ، Dez. هذا عرض رائع.

الآن ، سأمرر الكرة إلى روبن. خذه بعيدا.

روبن بلور: حسنًا. نظرًا لأن Dez دخل في التفاصيل الدقيقة لمعالجة الجداول ، فليس من المنطقي بالنسبة لي أن أغطيه مرة أخرى. لذلك أنا ذاهب لأتخذ وجهة نظر إستراتيجية بالكامل. النظر تقريبًا من مستوى مرتفع إلى أسفل على ما يجري بحق الجحيم ووضعه في موضعه لأني أعتقد أنه قد يساعد الناس ، خاصةً نحن الذين لم نغرق في تيارات معالجة عميقة من قبل.

تدفقات المعالجة موجودة منذ وقت طويل. اعتدنا أن نسميها CEP. كانت هناك أنظمة في الوقت الحقيقي قبل ذلك. كانت أنظمة التحكم في العمليات الأصلية تعالج في الواقع تيارات المعلومات - بالطبع لم يكن هناك شيء يسير بقدر ما هو في الوقت الحاضر. هذا الرسم الذي تراه على الشريحة هنا ؛ إنه يشير إلى الكثير من الأشياء في الواقع ، لكنه يشير إلى ما هو أبعد من أي شيء آخر - حقيقة أن هناك مجموعة من الكمون التي تظهر بألوان مختلفة هنا. إن ما حدث بالفعل منذ اختراع الحوسبة أو الحوسبة التجارية الذي وصل في عام 1960 هو أن كل شيء أصبح أسرع وأسرع. اعتدنا أن نكون قادرين على الاعتماد على الطريقة التي كان بها ذلك في الواقع إذا أردت في الأمواج ، لأن هذا ما يبدو عليه. هذا يعتمد في الواقع عليه. لأن كل ذلك كان مدفوعًا بقانون مور وقانون مور من شأنه أن يمنحنا عاملاً يساوي عشرة أضعاف السرعة لمدة ست سنوات. ثم بمجرد وصولنا فعليًا إلى عام 2013 تقريبًا ، بدأ كل شيء في التحسن ، وبدأنا فجأة في التسارع بمعدل لم نعده مطلقًا ، وهو أمر غير مسبوق بشكل غريب. لقد حصلنا على عامل من حوالي عشرة من حيث الزيادة في السرعة وبالتالي انخفاض في الكمون كل ست سنوات. في السنوات الست التي انقضت منذ عام 2010 ، لدينا مضاعفات لا تقل عن ألف. ثلاثة أوامر من حجم بدلا من واحد.

هذا ما حدث وهذا هو السبب في أن الصناعة تتحرك بطريقة أو بأخرى بسرعات رائعة - لأنها كذلك. فقط تمر بمعنى هذا الرسم المعين ، تكون أوقات الاستجابة هي في الواقع في نطاق الخوارزمية أسفل المحور العمودي. الوقت الحقيقي هو سرعة الكمبيوتر ، أسرع من البشر. الأوقات التفاعلية برتقالية. إنه عندما تتفاعل مع الكمبيوتر ، فأنت تريد بالفعل من عُشر إلى حوالي ثانية واحدة من الكمون. أعلاه ، هناك معاملات حيث نفكر فعليًا في ما تفعله في الكمبيوتر ، لكن إذا حدث ذلك في غضون خمسة عشر ثانية يصبح الأمر لا يطاق. الناس في الواقع فقط لن تنتظر الكمبيوتر. تم كل شيء دفعة واحدة. هناك الكثير من الأشياء التي تم تنفيذها على دفعات تنزل الآن مباشرة إلى حيز المعاملات ، أو إلى المساحة التفاعلية أو حتى في الوقت الفعلي. في حين أنه في السابق ، يمكننا القيام ببعض هذا الشيء المتموج الذي يحتوي على كميات صغيرة جدًا من البيانات ، ويمكننا الآن القيام بكميات كبيرة جدًا من البيانات باستخدام بيئة تم تصغيرها بشكل كبير.

لذلك ، في الأساس ، كل هذه الأمور هي في الحقيقة أوقات الاستجابة والاستجابة البشرية التفاعلية. إن الكثير من الإجراءات التي يتم تنفيذها في الوقت الحالي هو توعية البشر بالأشياء. بعضها يسير بشكل أسرع من ذلك ، ويقوم بإبلاغ الأشياء جيدًا ، لذا فقد حان الوقت. ثم نأخذ رخصة لإسقاط مثل الحجر ، مما يجعل التحليلات الفورية مجدية وبأسعار معقولة. إنها ليست فقط السرعة التي سقطت والأعلى قد انهارت للتو. ربما يكون التأثير الأكبر في كل هذه بين جميع التطبيقات المختلفة ، يمكنك القيام بكل هذه التحليلات التنبؤية. سأخبرك لماذا في دقيقة واحدة.

هذا هو مجرد متجر لاجهزة الكمبيوتر. لديك برنامج مواز. نحن نتحدث عنها في عام 2004. هندسة التدريج ، رقائق متعددة النواة ، زيادة الذاكرة ، وحدة المعالجة المركزية القابلة للتكوين. سواقات الأقراص الصلبة تذهب الآن أسرع بكثير من قرص الغزل. يمكنك حد كبير موجة الغزل القرص وداعا. توجد محركات أقراص الحالة الثابتة في عدة نوى أيضًا ، لذا مرة أخرى أسرع وأسرع. قريباً للظهور ، حصلنا على memristor من HP. لدينا 3D XPoint من إنتل وميكرون. وعد هؤلاء هو أنه سيجعل كل شيء أسرع وأسرع على أي حال. عندما تفكر فعليًا في تقنيتين جديدتين للذاكرة ، كلاهما سيجعل كل قطعة صغيرة أساسية ، لوحة الدوائر الفردية تسير بشكل أسرع ، لم نر حتى نهايتها.

تقنية البث ، والتي هي الرسالة التالية حقًا ، موجودة لتبقى. سيكون هناك بنية جديدة. أعني أن ديز قد ذكر هذا في عدة نقاط في عرضه. على مدى عقود ، نظرنا إلى الهندسة المعمارية على أنها مزيج من أكوام البيانات وأنابيب البيانات. تميل إلى معالجة أكوام و تميل إلى توجيه البيانات بين أكوام. نحن الآن نتحرك بشكل أساسي نحو ما نسميه بنية بيانات Lambda التي تجمع بين معالجة تدفقات البيانات وأكوام البيانات. عندما تقوم بالفعل بمعالجة مجموعة من الأحداث القادمة ضد البيانات التاريخية كتدفق بيانات أو كومة بيانات ، فهذا ما أعنيه بهندسة Lambda. هذا في مهده. انها مجرد جزء من الصورة. إذا كنت تفكر في شيء معقد مثل Internet of Everything الذي ذكره Dez أيضًا ، فستدرك بالفعل أن هناك كل أنواع مشكلات موقع البيانات - القرارات المتعلقة بما يجب عليك معالجته في الدفق.

الشيء الذي أقوله هنا حقًا هو أننا عندما كنا نعالج على دفعات ، كنا في الواقع نعالج الجداول. لم نتمكن من القيام بذلك في وقت واحد. ننتظر فقط حتى يكون هناك كومة كبيرة من الأشياء ثم نقوم بمعالجتها دفعة واحدة. نحن ننتقل إلى موقف حيث يمكننا في الواقع معالجة الأشياء في التدفق. إذا استطعنا معالجة الأشياء في الدفق ، فستكون أكوام البيانات التي نحتفظ بها هي البيانات الثابتة التي نحتاج إلى الإشارة إليها من أجل معالجة البيانات في الدفق.

هذا يأخذنا إلى هذا الشيء بالذات. لقد ذكرت هذا من قبل في بعض العروض مع القياس البيولوجي. الطريقة التي أود أن تفكر بها هي في الوقت الحالي نحن بشر. لدينا ثلاث شبكات متميزة للمعالجة التنبؤية في الوقت الحقيقي. يطلق عليهم الجسدية ، اللاإرادية والمعوية. المعوية هي معدتك. الجهاز العصبي اللاإرادي يعتني بالقتال والرحلات الجوية. في الواقع يبدو بعد ردود الفعل السريعة للبيئة. الجسدية التي تعتني بنقل الجسم. تلك هي أنظمة الوقت الحقيقي. الشيء المثير للاهتمام حول هذا الموضوع - أو أعتقد أنه نوع من الاهتمام - هو أن الكثير منه أكثر تنبؤًا مما تتخيل. يبدو الأمر كما لو كنت تبحث فعلاً عن شاشة على بعد حوالي 18 بوصة من وجهك. كل ما تستطيع رؤيته بوضوح ، كل ما يستطيع جسمك رؤيته بوضوح هو في الواقع حول مستطيل 8 × 10. كل شيء خارج ذلك غير واضح في الواقع فيما يتعلق بجسمك ولكن عقلك هو في الواقع ملء الفجوات وجعلها غير ضبابية. لا ترى طمسًا على الإطلاق. ترى ذلك بوضوح. عقلك يقوم بالفعل بطريقة تنبؤية لدفق البيانات حتى تتمكن من رؤية هذا الوضوح. هذا نوع من الأشياء الغريبة ، لكن يمكنك في الواقع أن تنظر إلى الطريقة التي يعمل بها الجهاز العصبي والطريقة التي نجحنا في الالتفاف والتصرف بها بشكل معقول - على الأقل البعض منا - بسلام معقول ولا نتصادم مع الأشياء طوال الوقت.

يتم كل ذلك من خلال سلسلة من التحليلات العصبية مقياس داخل هنا. ما سيحدث هو أن المنظمات سيكون لديها نفس النوع من الأشياء وستبني نفس النوع من الأشياء وستكون معالجة التدفقات بما في ذلك التدفقات الداخلية للمنظمة - الأشياء التي تحدث داخل إنها ، الأشياء التي تحدث خارجها ، والاستجابات الفورية التي يجب اتخاذها بالفعل هي بالطبع إطعام الإنسان لاتخاذ القرارات ، لجعل كل هذه الأمور تحدث. هذا هو المكان الذي نحن بصدده ، بقدر ما أستطيع أن أرى.

أحد الأشياء التي هي نتيجة لذلك هو أن مستوى تطبيق الدفق يسير على ما يرام. سيكون هناك الكثير فظيعة أكثر مما نراه الآن. في الوقت الحالي ، نقوم باختيار ثمرة معلقة لفعل الأشياء الواضحة.

لذلك على أي حال هذا هو الاستنتاج هنا. تحليلات التدفق هي مرة واحدة مكانة ولكنها أصبحت سائدة وسيتم اعتمادها بشكل عام قريبًا.

مع ذلك ، سوف أعيدها إلى ريبيكا.

ريبيكا جوزويك: شكرًا جزيلاً ، روبن. عرض رائع كالمعتاد.

أناند ، أنت في الأعلى. الكلمة لك.

أناند فينوجوبال: رائع. شكرا لكم.

اسمي Anand Venugopal وأنا رئيس منتج StreamAnalytix. إنه منتج تقدمه Impetus Technologies ، خارج Los Gatos ، كاليفورنيا.

تتمتع Impetus بتاريخ كبير في كونها مزود حلول بيانات كبير للشركات الكبيرة. لذلك قمنا في الواقع بعدد من عمليات تنفيذ تحليلات التدفق كشركة خدمات وتعلمنا الكثير من الدروس. لقد تحولنا أيضًا إلى شركة منتجة وشركات تعتمد على الحلول في العامين الماضيين ، وتتولى تحليلات الدفق مسؤولية تحويل Impetus إلى شركة تعتمد على المنتجات إلى حد كبير. هناك بعض الأصول الهامة للغاية التي قام برنامج Impetus بمسحها بفضل تعرضنا للمؤسسات و StreamAnalytix هي واحدة من هذه الأصول.

لدينا 20 عامًا في العمل ، وهناك مزيج رائع من المنتجات والخدمات التي تجعلنا نمتلك ميزة كبيرة. ولدت StreamAnalytix من جميع الدروس المستفادة من تطبيقاتنا الخمسة أو الستة الأولى للبث.

سأتطرق إلى بعض الأشياء ، لكن المحللين ، Dez و Robin ، قاموا بعمل رائع في تغطية المساحة الكلية ، لذا سأقوم بتخطي الكثير من المحتوى الذي يتداخل. ربما سأذهب بسرعة. نرى إلى جانب حالات التدفق الحقيقية باستخدام الكثير من تسريع الدُفعات فقط حيث توجد عمليات دفعية مهمة جدًا جدًا في الشركات. كما ترون ، قد تستغرق هذه الدورة الكاملة لاستشعار الحدث وتحليله والتصرف فيه بالفعل أسابيع في الشركات الكبيرة ويحاولون جميعًا تقليصها إلى دقائق وأحيانًا ثواني وملي ثانية. لذلك أي شيء أسرع من كل هذه العمليات الدفعية هو مرشح لاقتناء الأعمال وهذا جيد جدًا أن قيمة البيانات تتناقص بشكل كبير مع تقدم العمر ، وبالتالي كلما زادت القيمة الموجودة في الجزء الأولي في الثواني التي حدثت للتو. من الناحية المثالية ، إذا استطعت التنبؤ بما كان سيحدث ، فهذه هي أعلى قيمة. ويعتمد ذلك على الدقة. أعلى قيمة تالية هي عندما تكون هناك عند حدوث ذلك ، يمكنك تحليله والرد عليه. بطبيعة الحال ، تقل القيمة بشكل كبير بعد ذلك ، وهو مؤشر الاستثمار الرئيسي المقيد الذي نحن فيه.

انه مشوق. قد تتوقع بعض الإجابات العلمية بشكل كبير عن سبب تحليلات التدفق. في كثير من الحالات ، ما نراه هو أنه أصبح الآن ممكنًا ولأن الجميع يعلم أن الدُفعات قديمة ، والدُفعة مملة والدُفعة ليست باردة. هناك ما يكفي من التعليم الذي حصل عليه الجميع الآن حول حقيقة أن هناك تدفقًا ممكنًا وأن الجميع لديهم Hadoop الآن. تحتوي توزيعات Hadoop الآن على تقنية دفق مضمّنة فيها ، سواء أكان تدفق Storm أو Spark وبالطبع قوائم انتظار الرسائل ، مثل Kafka ، إلخ.

المؤسسات التي نراها تقفز إليها وتبدأ في تجربة هذه الحالات ونرى فئتين عريضتين. واحد له علاقة مع تحليلات العملاء وتجربة العملاء والذكاء التشغيلي الثاني. سوف ندخل في بعض التفاصيل المتعلقة بذلك لاحقًا. إن خدمة العملاء بأكملها وزاوية تجربة العملاء ، ونحن في Impetus StreamAnalytix ، لقد انتهينا من هذا الأمر بعدة طرق مختلفة ، حقًا ، نلتزم حقًا بالتقاط مشاركة متعددة القنوات للمستهلك في الوقت الفعلي ومنحهم تجارب حساسة للغاية للسياق التي ليست شائعة اليوم. إذا كنت تتصفح الويب ، على موقع Bank of America ، وكنت تبحث عن بعض المنتجات ، فما عليك سوى الاتصال بمركز الاتصال. هل سيقولون ، "يا جو ، أعلم أنك تبحث عن بعض المنتجات المصرفية ، هل تريد مني أن أملئك؟" أنت لا تتوقع ذلك اليوم ، ولكن هذا هو نوع الخبرة التي يمكن حقًا تقديمها عبر تحليلات التدفق. في كثير من الحالات ، يحدث فارقًا كبيرًا ، خاصةً إذا بدأ العميل في البحث عن طرق للتخلص من العقد المبرم معك من خلال النظر في بنود الإنهاء المبكر أو شروط وأحكام الإنهاء المبكر على موقع الويب الخاص بك ثم الاتصال بك وأنت غير قادر على واجههم مباشرة حول هذا الموضوع ولكن فقط قدم عرضًا بطريقة غير مباشرة حول نوع من الترويج الأول لأن النظام يعلم أن هذا الشخص ينظر إلى الإنهاء المبكر وأنك تقدم هذا العرض في تلك المرحلة ، يمكنك حماية هذا العميل المختلط وحماية هذا الأصل .

سيكون ذلك مثالًا واحدًا ، بالإضافة إلى أن الكثير من خدمات العملاء كلها أمثلة جيدة للغاية. نحن ننفذ اليوم بتخفيض التكلفة في مركز الاتصال ، وكذلك يوفر تجارب رائعة للعملاء. قام Dez بعمل رائع في تلخيص بعض حالات الاستخدام. يمكنك التحديق في هذا المخطط لبضع دقائق. قمت بتصنيفها على أنها قطاعات رأسية وأفقية ومناطق تحرير وسرد و IoT وتطبيق جوال ومركز اتصال. انهم جميعا الأفقية والأفقية. ذلك يعتمد على الطريقة التي ننظر إليها. خلاصة القول ، نرى قدرًا كبيرًا من الاستخدامات الأفقية الشائعة إلى حد ما عبر قطاعات الصناعة وهناك حالات استخدام رأسية محددة تشمل الخدمات المالية والرعاية الصحية والاتصالات والتصنيع ، وما إلى ذلك. إذا كنت تسأل نفسك حقًا السؤال أو تخبر نفسك هذا ، "أوه ، أنا لا أعرف ما هي حالات الاستخدام هناك. لست متأكدًا مما إذا كانت هناك أي قيمة عمل في تحليلات التدفق لشركتي أو لشركتنا ، "فكر جيدًا ، فكر مرتين. تحدث إلى المزيد من الأشخاص نظرًا لوجود حالات استخدام لها صلة بشركتك اليوم. سأحصل على قيمة العمل حول كيفية اشتقاق قيمة الأعمال بالضبط.

في الجزء السفلي من الهرم هنا ، لديك الصيانة التنبؤية ، والأمن ، وحماية المداخن ، وما إلى ذلك. هذه الحالات من حالات الاستخدام تشكل حماية للإيرادات والأصول. إذا قام Target بحماية خرق الأمان الذي حدث على مدار ساعات وأسابيع ، فقد كان يمكن لمدير قسم المعلومات حفظ وظيفته. يمكن أن يوفر عشرات أو مئات الملايين من الدولارات ، وما إلى ذلك. تحليلات الدفق في الوقت الحقيقي تساعد حقًا في حماية تلك الأصول وحماية الخسائر. هذه هي القيمة التجارية المباشرة المضافة هناك.

أصبحت الفئة التالية أكثر ربحية ، حيث خفضت الكلفة وجني المزيد من الإيرادات من التشغيل الحالي. هذا هو كفاءة المؤسسة الحالية. هذه كلها من فئة حالات الاستخدام التي نسميها ذكاء تشغيلي في الوقت الفعلي حيث تحصل على رؤى عميقة حول كيفية تصرف الشبكة ، وكيف تتصرف عمليات العملاء ، وكيف تتصرف عملية عملك ، ويمكنك تعديل كل هذا في الوقت الحقيقي لأنك تحصل على ردود فعل ، وتحصل على تنبيهات. تحصل على انحرافات ، تباينات في الوقت الفعلي ، ويمكنك التصرف بسرعة وفصل العملية المنفصلة.

يمكنك أيضًا توفير الكثير من المال في ترقيات رأس المال باهظة الثمن والأشياء التي تعتقد أنها ضرورية والتي قد لا تكون ضرورية إذا قمت بتحسين خدمة الشبكة. لقد سمعنا عن حالة أرجأت فيها شركة اتصالات كبرى ترقية بقيمة 40 مليون دولار في البنية التحتية لشبكتهم لأنهم وجدوا أن لديهم قدرة كافية لإدارة حركة المرور الحالية الخاصة بهم ، وذلك من خلال تحسين التوجيه الذكي لحركة المرور وأشياء من هذا القبيل وتحسين أدائها. هذه كلها ممكنة فقط مع بعض التحليلات في الوقت الحقيقي وآلية العمل التي تعمل على تلك الأفكار في الوقت الحقيقي.

المستوى التالي من القيمة المضافة هو البيع ، البيع المتقاطع حيث توجد فرص لتحقيق المزيد من الإيرادات والأرباح من العروض الحالية. هذا مثال كلاسيكي يعرفه الكثيرون عن تجربتهم ، حيث تفكر في حياتك حيث أنت على استعداد بالفعل لشراء منتج اليوم لا يتم تقديمه لك. في العديد من الحالات ، يحدث هذا بالفعل. لديك أشياء في عقلك ترغب في شرائها وتعلم أنك ترغب في شرائها أو أن لديك قائمة مهام أو شيء ما ، أخبرتك زوجتك به أو إذا لم يكن لديك زوجة ولكنك تريد حقًا الشراء وتذهب إما للتسوق على موقع الويب أو أنك تتفاعل في متجر للبيع بالتجزئة ، واجهة المتجر ليس لها السياق ، وليس لديها الذكاء لحساب ما قد تحتاجه. وبالتالي ، لا يحصلون على أعمالهم آمنة. إذا كان من الممكن نشر تحليلات التدفق لإجراء تنبؤات دقيقة بالفعل والتي تكون ممكنة حقًا فيما يتعلق بما يناسب هذا السياق بعينه ، فهذا العميل في هذا الوقت في هذا الموقع ، وهناك الكثير من عمليات البيع والبيع المتبادل والتي تأتي من تحليلات التدفق - القدرة على اتخاذ قرار النزعة بشأن ما يحتمل أن يشتريه هذا العميل أو يستجيب له في لحظة الحقيقة هذه عندما تكون هناك فرصة. لهذا السبب أحب تلك الصورة التي أظهرها دز مع الدب على وشك أكل تلك السمكة. هذا الى حد كبير ذلك.

نعتقد أيضًا أن هناك فئة كبيرة من التغييرات الدرامية والتحويلية في مؤسسة تقدم منتجات وخدمات جديدة تمامًا تعتمد ببساطة على مراقبة سلوك العملاء ، وكل ذلك يعتمد على مراقبة سلوك مؤسسة أخرى. إذاً ، دعنا نقول ، إذا كانت شركة اتصالات أو شركة كبل تراقب حقًا أنماط استخدام العملاء في أي شريحة من السوق يشاهدها ، وما هو البرنامج في أي وقت ، وما إلى ذلك ، فقد انتهى بهم الأمر فعليًا إلى إنشاء منتجات وخدمات يتم تسولها تقريبًا لفي بعض الطريق. وبالتالي فإن مفهوم السلوك متعدد الشاشات بالكامل في الوقت الحالي حيث نعتبره الآن أمراً مفروغاً منه أنه يمكننا رؤية محتوى التلفزيون أو الكابل على تطبيقاتنا المحمولة. بعض هذه الأمثلة تأتي من تلك المنتجات والخدمات الجديدة التي يتم تقديمها لنا.

سأحصل على "ما هي الاعتبارات المعمارية لتحليل التدفقات؟" إنه في النهاية ما نحاول القيام به. هذه هي بنية Lambda حيث تمزج البيانات التاريخية والرؤى في الوقت الفعلي وتراها في نفس الوقت. هذا ما تمكن سيجما. لدينا جميعا العمارة دفعة وصورة المؤسسة اليوم. نحن نمتلك نوعًا من مكدس BI ومكدس الاستخدام وأضاف بنية Lambda. كما طبقة السرعة أو الحاجة و Lambda هو كل شيء عن دمج هاتين البصيرة ورؤية ذلك بطريقة مجتمعة ، بطريقة غنية تجمع بين كلا البصيرة.

هناك نموذج آخر يسمى بنية Kappa يتم اقتراحه حيث يكون الحدس هو أن طبقة السرعة هي آلية الإدخال الوحيدة التي ستستمر على المدى الطويل. كل شيء سوف يأتي من خلال هذه الطبقة السرعة. لن يكون هناك حتى ETL آلية. سيحدث كل ETL. طهر ، تطهير البيانات ، جودة ETL - كل هذا سيحدث على السلك ، لأن نضع في اعتبارنا أن جميع البيانات ولدت في الوقت الحقيقي. في وقت ما ، كان الوقت الحقيقي. لقد اعتدنا على وضع هذا على البحيرات والأنهار والمحيطات ، ثم القيام بذلك في تحليل ثابت نسينا أن البيانات ولدت في وقت ما في الوقت الحقيقي. ولدت جميع البيانات في الواقع كحدث في الوقت الحقيقي الذي حدث في نقطة زمنية ومعظم البيانات اليوم على البحيرة فقط وضعت على قاعدة البيانات لتحليل لاحق ولدينا الآن ميزة في الهندسة المعمارية لامدا وكابا من الواقع رؤيته وتحليله ومعالجته مسبقًا والرد عليه فور وصوله. هذا هو ما يتم تمكينه بواسطة هذه التقنيات. عندما تنظر إليها كصورة عامة ، تبدو كأنها شيء من هذا القبيل حيث يوجد Hadoop بداخلها ، وهناك أجهزة MPP ومستودعات بيانات لديك بالفعل.

لقد وضعنا هذا الأمر لأنه من المهم ألا نتحدث فقط عن التقنيات الجديدة في الجزيرة. لديهم لدمج. يتعين عليهم أن يكونوا منطقيين في سياق المشروع الحالي ، وبصفتنا موفرين للحلول يخدمون المؤسسات ، نحن حساسون للغاية لذلك. نساعد المؤسسات على دمج كل شيء. توجد مصادر للبيانات على الجانب الأيسر تتغذى على كل من Hadoop وطبقات مستودع البيانات بالإضافة إلى الطبقة في الوقت الفعلي في الأعلى وكل من هذه الكيانات عبارة عن أجهزة كمبيوتر مخزنة كما ترون وطبقة استهلاك البيانات على اليمين جانب. هناك جهد مستمر لتحريك غالبية الامتثال ، والحوكمة ، والأمن ، وإدارة دورة الحياة ، وما إلى ذلك ، المتوفرة اليوم وقد تم تجميعها جميعًا في هذه التكنولوجيا الجديدة.

أحد الأشياء التي تحاول تحليلات الدفق القيام بها ، إذا نظرت إلى المشهد اليوم ، فهناك الكثير من الأشياء التي تحدث في المشهد التكنولوجي للبث ومن وجهة نظر العملاء من المؤسسات ، هناك الكثير لفهمه. هناك الكثير لمواكبة. توجد آليات لجمع البيانات على الجانب الأيسر - NiFi و Logstash و Flume و Sqoop. من الواضح ، لقد قمت بإخلاء المسؤولية قائلة إنها ليست شاملة. الدخول في طوابير الرسائل ثم الدخول إلى محركات التدفق مفتوحة المصدر - Storm و Spark Streaming و Samza و Flink و Apex و Heron. مالك الحزين ربما ليست مفتوحة المصدر حتى الآن. لست متأكدًا من ذلك ، من Twitter. تؤدي محركات التدفق هذه إلى أو دعم مكون تطبيق تحليلي للإعداد مثل معالجة الأحداث المعقدة ، والتعلم الآلي ، والتحليلات التنبؤية ، ووحدة التنبيه ، وتدفق ETL ، وفلاتر عمليات الإحصاء الإثراء. هذه هي كل ما نسميه الآن المشغلين. مجموعة من هؤلاء المشغلين عندما يتم ربطهم ببعضهم البعض من المحتمل أن تكون أيضًا بعض الأعراف المستخلصة إلى حد كبير إذا لزم الأمر يصبح تطبيق دفق يعمل على محرك دفق.

كجزء من سلسلة المكونات هذه ، تحتاج أيضًا إلى تخزين البيانات وفهرستها في قاعدة البيانات المفضلة لديك ، أي فهرسك المفضل. قد تضطر أيضًا إلى توزيع ذاكرة التخزين المؤقت ومرة ​​أخرى تؤدي إلى طبقة عرض البيانات على الجانب الأيمن في الجزء العلوي إلى المنتجات التجارية أو المنتجات مفتوحة المصدر ، ولكن في النهاية تحتاج إلى نوع من منتج لتصور تلك البيانات في الوقت الفعلي. أيضا ، تحتاج إلى معرفة بعض التطبيقات الأخرى في بعض الأحيان. لقد رأينا جميعًا أن القيم المستمدة فقط من خلال الإجراء الذي تتخذه بشأن البصيرة ، ستصبح هذا الإجراء محفزًا من مكدس تحليلي إلى مكدس تطبيق آخر ربما تغير هذا الشيء في جانب IVR أو يشغل مركز اتصال مكالمة صادرة أو شيء من هذا القبيل. نحتاج إلى دمج هذه الأنظمة وبعض آليات نظام البث الخاص بك لتشغيل التطبيقات الأخرى لإرسال البيانات في اتجاه المصب.

هذا هو مجموع المكدس من الانتقال من اليسار إلى اليمين. ثم لديك طبقات الخدمة ، والرصد الأوسط ، وطبقة الخدمة العامة للأمن ، وما إلى ذلك. معرفة ما هي المنتجات الموجودة في مساحة المؤسسة التي يشاهدها العملاء مثل توزيعات Hadoop التي يتدفقون جميعًا كما قلت ، وهناك تجارية أو مفردة حلول البائعين التي هي بوضوح في منافسينا. هناك الكثير في المشهد الذي ربما لم نذكره هنا.

ما تراه هناك على نطاق واسع مستخدم المؤسسة يراه. مشهد تكنولوجي معقد سريع التطور لمعالجة الدفق ، كما ترون. حصلنا على تبسيط الاختيار وتجربة المستخدم الخاصة بهم. ما نعتقده حاجة الشركات حقًا هو التجريد الوظيفي لكل ذلك في واجهة واحدة سهلة الاستخدام تجمع بين كل تلك التقنيات التي تجعلها سهلة الاستخدام حقًا ولا تعرض جميع الأجزاء المتحركة ومشكلات التدهور وقضايا الأداء وقضايا صيانة دورة الحياة للمؤسسة.

وظيفة التجريد هي واحدة. الجزء الثاني هو تجريد محرك التدفق. تظهر محركات البث والمجالات مفتوحة المصدر مرة واحدة كل ثلاثة أو أربعة أو ستة أشهر الآن. كانت العاصفة لفترة طويلة. خرجت Samza والآن أصبح Spark Streaming. فلينك يرفع رأسه ، وبدأ يسترعي الانتباه. حتى خارطة طريق Spark Streaming ، فإنهم يشرعون في استخدام محرك مختلف لمعالجة الأحداث البحتة لأنهم يدركون أيضًا أن Spark صُمم للدُفعات وأنهم يشرعون في رؤيتهم للهندسة المعمارية وخريطة الطريق الخاصة بهم للحصول على اختلاف محرك لمعالجة تيار بالإضافة إلى نمط microbatch الحالي في Spark Streaming.

إنها حقيقة يجب عليك أن تتصدى لها لأنه سيكون هناك الكثير من التطور. تحتاج حقًا إلى حماية نفسك من تدفق التكنولوجيا. لأنه بشكل افتراضي ، سيتعين عليك اختيار واحدة ثم التعايش معها ، وهو أمر غير مثالي. إذا كنت تنظر إليها بطريقة أخرى ، فأنت تتقاتل ، "حسنًا ، يجب أن أشتري منهاجًا خاصًا حيث لا يوجد قفل ، ولا توجد رافعة من المصدر المفتوح ، وقد تكون التكلفة مرتفعة جدًا ومحدودة المرونة مقابل كل هذه المجموعة المفتوحة المصدر حيث عليك أن تفعل ذلك بنفسك. "مرة أخرى ، كما قلت ، هناك الكثير من التكاليف والتأخير في الوصول إلى السوق. ما نقوله هو StreamAnalytix هو مثال على نظام أساسي رائع يجمع بين فئة المؤسسات ، بائع موثوق ، وحيد ، خدمة احترافية مدعومة - كل ذلك تحتاجه حقًا كمؤسسة وقوة مرونة النظام الإيكولوجي المفتوح المصدر حيث تجمعهم منصة واحدة معًا - Ingest و CEP والتحليلات والتصور وكل ذلك.

كما أنه يفعل شيئًا فريدًا للغاية ، يجمع العديد من محركات التكنولوجيا المختلفة تحت تجربة مستخدم واحد. نعتقد حقًا أن المستقبل يدور حول القدرة على استخدام محركات دفق متعددة لأن حالات الاستخدام المختلفة تتطلب بالفعل هياكل دفق مختلفة. كما قال روبن ، هناك مجموعة كاملة من الكمون. إذا كنت تتحدث حقًا عن مستوى زمن الانتقال بالميلي ثانية أو عشرات أو حتى المئات من الثانية ، فأنت تحتاج حقًا إلى العاصفة في هذا الوقت حتى يكون هناك منتج آخر ناضج على قدم المساواة للحصول على تساهل أو إطار زمني متساهل وأوقات اختفاء ربما في بضع ثوانٍ أو ثلاثة ، أربع وخمس ثوان ، هذا النطاق ، ثم يمكنك استخدام Spark Streaming. من المحتمل ، هناك محركات أخرى يمكنها القيام بالأمرين. خلاصة القول ، في مؤسسة كبيرة ، ستكون هناك حالات استخدام من جميع الأنواع. تريد حقًا الوصول والعمومية إلى محركات متعددة بتجربة مستخدم واحد وهذا ما نحاول بنائه في StreamAnalytix.

مجرد عرض سريع على الهندسة المعمارية. سنقوم بإعادة صياغة هذا قليلاً ، لكن في الأساس ، توجد مصادر متعددة للبيانات في الجانب الأيسر - Kafka و RabbitMQ و Kinesis و ActiveMQ ، وجميع مصادر البيانات وقوائم انتظار الرسائل هذه تأتي إلى منصة معالجة الدفق حيث تحصل على تجميع تطبيق ، حيث يمكنك السحب والإفلات من المشغلين مثل ETLs ، كل الأشياء التي تحدثنا عنها. تحتها ، هناك محركات متعددة. في الوقت الحالي ، لدينا Storm و Spark Streaming كمنصة دفق فقط على مستوى المؤسسات وأولها على مستوى المؤسسات والتي لديها دعم محرك متعدد. إنها مرونة فريدة للغاية نقدمها إلى جانب كل المرونة الأخرى المتمثلة في وجود لوحات معلومات في الوقت الفعلي. محرك CET مضمن. لدينا التكامل السلس مع فهارس Hadoop و NoSQL ، فهارس Solr و Apache. يمكنك الهبوط إلى قاعدة البيانات المفضلة لديك بغض النظر عن ماهية هذه البيانات وإنشاء التطبيقات بسرعة كبيرة والوصول إلى السوق بسرعة وتظل دليلًا على المستقبل. هذا هو شعارنا كله في StreamAnalytix.

مع ذلك ، أعتقد أنني سأختتم ملاحظاتي. لا تتردد في المجيء إلينا لمزيد من الأسئلة. أود أن أبقي الأرضية مفتوحة أمام أسئلة وأجوبة ومناقشة النقاش.

ريبيكا ، أكثر لك.

ريبيكا جوزويك: عظيم ، حسنًا. شكرا جزيلا لك. ديز وروبن ، هل لديك بعض الأسئلة قبل أن نسلمها إلى الجمهور سؤال وجواب؟

روبن بلور: لدي سؤال. سأضع سماعاتي مرة أخرى حتى تتمكن من سماعي. أحد الأشياء المثيرة للاهتمام ، إذا استطعت أن تخبرني بذلك ، فالكثير مما رأيته في فضاء المصدر المفتوح يبدو ما قد أقوله لي غير ناضج. بمعنى ما ، نعم يمكنك القيام بأشياء مختلفة. لكن يبدو أننا ننظر إلى البرنامج في أول إصدار له أو في الواقع ، وكنت أتساءل فقط مع تجربتك كمؤسسة ، إلى أي مدى تعتبر عدم نضج بيئة Hadoop مشكلة ، أم أنها شيء لا يفعله " ر يخلق الكثير من المشاكل؟

أناند فينوجوبال: إنها حقيقة ، روبن. أنت محق تماما. عدم النضج ليس بالضرورة في مجال الاستقرار الوظيفي والأشياء ، ولكن ربما بعض حالات ذلك أيضًا. ولكن عدم نضج هو أكثر في الاستعداد للاستخدام. المنتجات مفتوحة المصدر عند ظهورها ، وحتى عندما يتم تقديمها من خلال توزيع Hadoop ، فهي جميعًا عبارة عن مجموعة كبيرة من المنتجات القادرة والمكونات التي تم تجميعها للتو. إنهم لا يعملون معًا بسلاسة ولم يتم تصميمهم لتجربة مستخدم سلسة وسلسة سنحصل عليها مثل Bank of America أو Verizon أو AT&T ، لنشر تطبيق تحليلات البث في غضون أسابيع. أنها ليست مصممة لذلك بالتأكيد. هذا هو السبب في أننا نأتي. نجمعها ونجعل من السهل فهمها ونشرها ، إلخ.

أعتقد أن النضج الوظيفي لها ، إلى حد كبير ، موجود. العديد من الشركات الكبيرة تستخدم على سبيل المثال العاصفة اليوم. تلعب العديد من الشركات الكبيرة لعبة Spark Streaming اليوم. كل محرك من هذه المحركات له حدود في ما يمكنه فعله ، ولهذا السبب من المهم أن تعرف ما يمكنك وما لا يمكنك فعله مع كل محرك ولا فائدة في كسر رأسك على الحائط والقول ، "انظر أنا اختار Spark Streaming وهو لا ينفعني في هذه الصناعة بالذات. "لن ينجح الأمر. ستكون هناك حالات استخدام حيث سيكون Spark Streaming هو الخيار الأفضل وستكون هناك حالات استخدام حيث Spark Streaming قد لا تعمل على الإطلاق بالنسبة لك. لهذا السبب تحتاج حقا خيارات متعددة.

روبن بلور: حسنًا ، يجب أن يكون لديك فرق خبراء في معظم هذه الأمور. يعني أنا لا أعرف حتى من أين أبدأ في هذا أيضا. تعاون معقول من الأفراد المهرة. أنا مهتم بكيفية المشاركة التي تشارك فيها وكيف يحدث ذلك. هل لأن شركة معينة تتبع طلبًا معينًا أم أنك ترى نوعًا من ما يمكن أن أسميه التبني الاستراتيجي حيث يريدون منصة كاملة للقيام بالكثير من الأشياء.

أناند فينوجوبال: نرى أمثلة على كليهما ، روبن. بعض العلامات التجارية العشرة الأولى التي يعلم الجميع أنها تدور حولها بطريقة استراتيجية للغاية. يعلمون أنهم سيشهدون مجموعة متنوعة من حالات الاستخدام بحيث يقومون بتقييم المنصات التي تناسب تلك الحاجة ، والتي هي مجموعة متنوعة من حالات الاستخدام المختلفة بطريقة متعددة المستأجرين ليتم نشرها في مؤسسة. هناك قصص حالة الاستخدام مرة واحدة التي بدأت كذلك. هناك حالة استخدام خاصة بمراقبة نشاط الأعمال في شركة الرهن العقاري التي نعمل عليها والتي لن تتخيلها كحالة استخدام أولي ، لكن هذا هو الحل التجاري أو حالة الاستخدام التي توصلوا إليها ، ثم قمنا بتوصيل النقاط بالبث . قلنا ، "أنت تعرف ماذا؟ هذه حالة رائعة لدفق التحليلات وهذه هي الطريقة التي يمكننا بها تنفيذها. "هكذا بدأ الأمر. بعد ذلك ، في هذه العملية ، يتعلمون ويقولون ، "أوه واو ، إذا استطعنا القيام بذلك وإذا كانت هذه منصة عامة ، فيمكننا فصل التطبيق ، ووضعهم في منصة ، وبناء الكثير من التطبيقات المختلفة على هذا منصة."

روبن بلور: Dez ، لديك أي أسئلة؟

أناند Venugopal: Dez ربما على كتم الصوت.

Dez Blanchfield: الاعتذار ، والبكم. لقد أجريت محادثة جيدة بنفسي. باتباع الملاحظة الأصلية لروبن ، أنت محق تمامًا. أعتقد أن التحدي الآن هو أن الشركات لديها نظام بيئي وبيئة ثقافية وسلوكية حيث البرامج المجانية والمفتوحة المصدر هي شيء معروف لهم ويمكنهم استخدام أدوات مثل Firefox كمتصفح ولديه بيئة مناسبة العمر حتى يصبح مستقر وآمن. لكن بعض تلك المنصات الكبيرة جدًا التي يستخدمونها هي منابر ملكية خاصة بالمؤسسات. لذا فإن تبني ما أعتبره المنصات مفتوحة المصدر ليس دائمًا أمرًا يسهل عليهم الوصول إليه من الناحية الثقافية أو العاطفية. لقد رأيت هذا عبر تبني برامج صغيرة كانت مشاريع محلية لتلعب فقط مع البيانات والتحليلات الضخمة كمفهوم أساسي. أعتقد أن أحد التحديات الرئيسية ، أنا متأكد من أنك قد رأيتهم الآن عبر المؤسسات ، هو رغبتهم في الحصول على النتيجة ، لكن في نفس الوقت يمكن أن تتعثر قدمهم في العلبة القديمة حيث يمكنهم فقط شراء هذا من "أدخل علامة تجارية كبيرة" Oracle و IBM و Microsoft. هذه العلامات التجارية الجديدة والمعروفة تأتي من خلال منصات Hadoop وأكثر من ذلك. تأتي العلامات التجارية الأكثر إثارة والتي تمتلك تكنولوجيا رائدة مثل البث المباشر.

ما هي أنواع المحادثات التي أجريتها مع هذا النوع من المحادثات أو قطعتها؟ أعلم أن لدينا حضورًا كبيرًا هذا الصباح وأن هناك شيئًا واحدًا واثقًا أنه في أذهان الجميع وهو: "كيف يمكنني اجتياز هذه الطبقة الصعبة بأكملها من مستوى اللوحة إلى مستوى الإدارة ، يا مصدر مفتوح للغاية وحافة نزفية للغاية؟ "كيف تذهب المحادثات التي تجريها مع العملاء وكيف يمكنك الوصول إلى هذه النقطة حيث تهدأ من تلك الأنواع من المخاوف للتفكير في تبني أمثال StreamAnalytix؟

Anand Venugopal: لقد وجدنا بالفعل أنه من السهل جدًا بيع عرض القيمة لدينا لأن العملاء يتجهون بشكل طبيعي نحو المصدر المفتوح كخيار مفضل. إنهم لا يستسلمون ببساطة ويقولون ، "حسنًا ، سأذهب الآن إلى مصدر مفتوح". إنهم في الواقع يخضعون لتقييم ملتزم للغاية لأحد المنتجات الرئيسية ، دعنا نقول إنه IBM أو منتج نموذجي ، لأن لديهم هذه العلاقات البائع. لن يعاملونا أو المحرك المفتوح المصدر ضد هذا المنتج. سيستمر التقييم من ستة إلى ثمانية أسابيع. سوف يقنعون أنفسهم بأن هناك درجة من الأداء والاستقرار التي أريدها ، ثم يتخذون قراراتهم قائلين ، "واو ، أنت تعرف ماذا ، يمكنني فعل ذلك بالفعل".

اليوم ، على سبيل المثال ، لدينا شركة اتصالات كبرى من الدرجة الأولى تحتوي على تحليلات دفق تعمل في الإنتاج فوق الكثير من المكدس وهم يقومون بتقييم ذلك ضد بائع معروف جدًا كبير جدًا جدًا وكانوا مقتنعين فقط بعد أن أثبتنا جميعًا الأداء والاستقرار وجميع هذه الأشياء. انهم لا يعتبرون ذلك أمرا مفروغا منه. لقد اكتشفوا أن المصادر المفتوحة مختصة من خلال تقييماتهم ويدركون أنه ، في أسوأ الحالات ، "ربما توجد حالتا الاستخدام هاتان اللتان ربما لا أستطيع القيام به ، لكن معظم حالات استخدام تسريع شركاتي ممكنة اليوم بشكل كبير مع المصدر المفتوح. كومة. "ونحن تمكين استخدام ذلك. هذه هي البقعة الحلوة الكبيرة هناك. أرادوا المصدر المفتوح. إنهم يتطلعون حقًا للخروج من وضع قفل البائع الذي اعتادوا عليه لسنوات عديدة. ثم نأتي إلى هنا ونقول: "أنت تعرف ماذا ، سنجعل المصدر المفتوح أسهل بكثير وسهل الاستخدام من أجلك".

ديز بلانشفيلد: أعتقد أن التحدي الآخر الذي تجده الشركات هو أنه عندما يجلبون المنصب التقليدي الحالي ، فإنهم غالبًا ما يكونون جيلًا وراء بعض النزيف من الأشياء المثيرة التي نتحدث عنها هنا ولا أقصد بذلك طفيف سلبي. إن الحقيقة هي أن لديهم جيل ورحلة للإفراج عن ما يعتبرونه منصات ثابتة تمر بها ، وتطوير دورات المدرسة القديمة ودورات تكامل UATN والاختبارات والوثائق ، والتسويق والمبيعات. في حين أن النوع الذي تقوم به ، أعتقد أن الشيء الذي يهمني أن أفكر فيه هو أن النظر في بعض أحدث إصداراتك الليلة الماضية أثناء القيام بنوع من البحث ، فقد حصلت على هذا المزيج الآن حيث حصلت على الكفاءة من وجهة نظر الاستشارات الأولية والتنفيذ ولكنك حصلت أيضًا على كومة يمكنك استخدامها. أعتقد أن هذا هو المكان الذي سوف يناضل فيه الموظفون الحاليون لبعض الوقت. لقد رأينا الكثير منهم كما فعلت في السوق. غالبًا ما يكونون في ما أسميه عقد اللحاق بالركب بينما من الذي تخبرنا به عندما تكون هناك لإجراء تلك المحادثات وتنفذ هناك.

هل يمكنك أن تعطينا مثالين على بعض الحدود العمودية التي رأيت تبنيها؟ على سبيل المثال ، هناك بيئة مناسبة بالفعل مثل علم الصواريخ ووضع الأقمار الصناعية في الفضاء وجمع البيانات من المريخ. لا يوجد سوى حفنة من الناس يفعلون ذلك على هذا الكوكب. ولكن هناك قطاعات كبيرة مثل الصحة ، على سبيل المثال ، في مجال الطيران ، والشحن والخدمات اللوجستية ، في التصنيع والهندسة ، ما هي بعض الأمثلة على قطاعات الصناعة الأكبر والأوسع نطاقًا التي كنت قد رأيتها حتى الآن بشكل جيد اعتماد في؟

أناند فينوجوبال: Telco مثال كبير.

سأقوم فقط بإصلاح الشرائح بسرعة هنا. هل تستطيع رؤية الشريحة هنا ، دراسة الحالة 4؟

هذه هي حالة شركة اتصالات كبيرة تستوعب بيانات جهاز فك التشفير وتقوم بأشياء متعددة معها. إنهم ينظرون إلى ما يفعله العملاء حقًا في الوقت الفعلي. إنهم يبحثون عن مكان حدوث الأخطاء في الوقت الحقيقي في صناديق الاستقبال. إنهم يحاولون إبلاغ مركز الاتصال ، إذا اتصل هذا العميل في الوقت الحالي ، فإن معلومات رابط الكود من جهاز فك التشفير الخاص بالعميل ، ومعلومات بطاقة الصيانة ترتبط بسرعة ما إذا كان جهاز فك التشفير الخاص بهذا العميل بعينه يواجه مشكلة أم لا حتى قبل ذلك العميل يتحدث كلمة واحدة. كل شركة كبل ، كل شركة اتصالات كبرى تحاول القيام بذلك. فهم يستوعبون بيانات جهاز فك التشفير ، ويقومون بتحليلات في الوقت الفعلي ، ويقومون بتحليلات الحملات حتى يتمكنوا من وضع إعلاناتهم. هناك حالة استخدام ضخمة.

كما قلت ، هناك شركة الرهن العقاري هذه والتي تعد مرة أخرى نمطًا عامًا تشارك فيه الأنظمة الكبيرة في معالجة البيانات منها. البيانات التي تتدفق عبر النظام "أ" إلى النظام "ب" إلى النظام "ج" وهذه هي أعمال منظمة يجب أن يكون كل شيء ثابتًا. في كثير من الأحيان ، تتعارض الأنظمة مع بعضها البعض ، يقول نظام ما ، "أنا أعالج مئات القروض بقيمة إجمالية قدرها 10 ملايين دولار." النظام يقول ، "لا ، أنا أعالج 110 قروض من البعض الآخر يجب أن يحلوا هذا بسرعة كبيرة لأنهم في الواقع يعالجون نفس البيانات ويصنعون تفسيرات مختلفة.

سواءً كانت بطاقة ائتمان أو معالجة قروض أو عملية أعمال أو كانت عملية تجارية للرهن العقاري أو أي شيء آخر ، فنحن نساعدهم على القيام بالارتباط والمصالحة في الوقت الفعلي لضمان بقاء عمليات الأعمال متزامنة. هذا حالة استخدام أخرى مثيرة للاهتمام. يوجد مقاول حكومي أمريكي رئيسي يبحث في حركة مرور DNS لإجراء اكتشاف شاذ. يوجد نموذج تدريب غير متصل بالشبكة قاموا بإنشائه ويقومون بتسجيله استنادًا إلى ذلك النموذج على حركة المرور في الوقت الفعلي. بعض تلك الحالات استخدام مثيرة للاهتمام. هناك شركة طيران رئيسية تبحث في طوابير أمنية وتحاول أن تقدم لك تلك المعلومات ، "مهلا ، إنها بوابة لطائرتك لرحلتك. قائمة انتظار TSA اليوم حوالي 45 دقيقة مقابل ساعتين مقابل شيء آخر. "تحصل على هذا التحديث مقدمًا. ما زالوا يعملون عليه. حالة استخدام إنترنت الأشياء مثيرة للاهتمام ولكن حالة كبيرة من تدفق التحليلات متجهة إلى تجربة العملاء.

ريبيكا جوزويك: هذا ريبيكا. أثناء تواجدك حول موضوع حالات الاستخدام ، هناك سؤال كبير من أحد أعضاء الجمهور الذي يتساءل: "هل هذه دراسات الحالة ، هل هذه المبادرات مدفوعة من الجانب التحليلي لنظم المعلومات في المنزل أم أنها مدفوعة أكثر من العمل الذي لديه أسئلة أو احتياجات محددة في الاعتبار؟ "

أناند فينوجوبال: أعتقد أننا نرى حوالي 60 في المائة أو نحو ذلك ، 50 في المائة إلى 55 في المائة ، مبادرات تكنولوجية شديدة الحماس إلى حد كبير ممن تصادف معرفتهم ، والذين يصادفون أن يكونوا أذكياء إلى حد ما ويفهمون متطلبات معينة من الأعمال ، وربما لديهم راعٍ واحد لهم تم تحديدها ، لكن هذه هي فرق تقنية تستعد لهجمات حالات استخدام الشركات التي تأتي بعد ذلك ، وبمجرد أن تبني القدرة ، يعلمون أنه يمكنهم القيام بذلك ثم يذهبون إلى الأعمال ويبيعون هذا بقوة. في 30 إلى 40 في المائة من الحالات ، نرى أن لدى الشركة حالة استخدام معينة بالفعل والتي تستجدي القدرة على تحليلات البث.

ريبيكا جوزويك: هذا منطقي. لديّ سؤال تقني آخر قليلاً من أحد أعضاء الجمهور. إنه يتساءل عما إذا كانت هذه الأنظمة تدعم كلاً من تدفقات البيانات المهيكلة وغير المهيكلة ، مثل رواسب تدفقات Twitter أو منشورات Facebook في الوقت الفعلي ، أم أنها بحاجة إلى تصفية مبدئية؟

Anand Venugopal: تدعم المنتجات والتقنيات التي نتحدث عنها بشكل وشيك للغاية البيانات المنظمة وغير المنظمة. يمكن تكوينها. تحتوي جميع البيانات على نوع من البنية سواء أكان نصًا أو XML أو أي شيء على الإطلاق. هناك بعض الهيكل من حيث هناك تغذية الطابع الزمني. ربما هناك نقطة أخرى تحتاج إلى تحليل حتى تتمكن من ضخ تحليلات في الدفق لتحليل بنيات البيانات. إذا كان منظمًا ، فحينئذٍ أخبر النظام ، "حسنًا ، إذا كانت هناك قيم مفصولة بفواصل والأول هو سلسلة ، والثاني هو تاريخ". لذلك يمكننا حقن ذكاء التحليل هذا في طبقات الشاشة العلوية و عملية بسهولة كل من البيانات منظم وغير منظم.

ريبيكا جوزويك: لدي سؤال آخر من الجمهور. أعلم أننا مررنا قليلاً في الجزء العلوي من الساعة. يريد هذا الحضور معرفة ذلك ، يبدو أن تطبيقات البث في الوقت الفعلي قد تطور حاجة وفرصة لدمجها مرة أخرى في أنظمة المعاملات ، وأنظمة منع الاحتيال التي يقدمونها على سبيل المثال. في هذه الحالة ، هل تحتاج أنظمة المعاملات إلى التغيير والتبديل مع ذلك؟

أناند فينوجوبال: إنه دمج ، أليس كذلك؟ إنه دمج أنظمة المعاملات. قد تصبح أحيانًا مصدر البيانات حيث نقوم بتحليل المعاملات في الوقت الفعلي وفي كثير من الحالات ، لنفترض أن هناك تدفق للتطبيق وهنا أحاول عرض موقع بحث ثابت للبيانات ثم في حالتنا حيث يوجد نوع من التدفق في وكنت تبحث عن قاعدة بيانات ثابتة مثل HBase أو RDBMS لإثراء البيانات المتدفقة والبيانات الساكنة معا لاتخاذ قرار أو نظرة ثاقبة تحليلية.

هناك اتجاه آخر كبير في الصناعة نشهده أيضًا - تقارب OLAP و OLTP - ولهذا السبب لديك قواعد بيانات مثل كودو وقواعد البيانات في الذاكرة التي تدعم المعاملات والمعالجة التحليلية في نفس الوقت. ستكون طبقة معالجة الدفق بالكامل في الذاكرة وسننظر في بعض قواعد بيانات المعاملات هذه أو نتفاعل معها.

ريبيكا جوزويك: كان عبء العمل المختلط أحد آخر العقبات التي واجهت القفز ، على ما أعتقد. Dez ، Robin ، هل لديك سؤالان؟

ديز بلانشفيلد: سأقفز إلى سؤال أخير وأختتم هذا إذا كنت لا تمانع. يتمثل التحدي الأول الذي تواجهه المنظمات التي كنت أتعامل معها طوال العقد الماضي أو نحو ذلك في هذا التحدي المثير لتحليلات الدفق ، أول شيء تميل إلى طرحه على الطاولة عندما بدأنا المحادثة حول هذا التحدي برمته. نحصل على مجموعة المهارات؟ كيف يمكننا إعادة تدريب مجموعة المهارات وكيف نحصل على هذه القدرة داخليًا؟ بعد أن يأتي Impetus ويدخلنا في الرحلة ثم ننفذ كخطوة أولى رائعة ومن المنطقي القيام بذلك.

ولكن بالنسبة للمؤسسة متوسطة إلى كبيرة ، ما هي أنواع الأشياء التي تراها في الوقت الحالي للتحضير لذلك ، لبناء هذه القدرة داخليًا ، للحصول على أي شيء من مجرد مفردات أساسية حوله ونوع الرسالة التي يمكنهم القيام بها باستخدام المؤسسة التي تمر بمرحلة انتقالية إلى هذا النوع من الإطار وإعادة تجهيز الموظفين التقنيين الحاليين من قسم تقنية المعلومات من الرئيس التنفيذي حتى يتمكنوا من تشغيل هذا بأنفسهم بمجرد أن تقوم بإنشائه وتنفيذه؟ باختصار شديد ، ما نوع التحديات وكيف يحلونها ، والعملاء الذين تتعامل معهم ، وأنواع التحديات التي وجدواها وكيف يذهبون إلى حل تلك العملية لإعادة التدريب واستعادة الخبرة والمعرفة للاستعداد لذلك ولكي يكونوا قادرة على الالتفاف تشغيليا؟

Anand Venugopal: غالبًا ما تكون المجموعة الصغيرة من الأشخاص الذين يحاولون الخروج وشراء منصة تحليلات متدفقًا ذكية بدرجة معقولة من حيث معرفتهم Hadoop ، وقد اكتسبوا بالفعل مهارات Hadoop MapReduce ، ولأنهم يعملون عن كثب مع Hadoop بائع التوزيع ، فهي إما مألوفة. كل شيء يحصل على كافكا ، على سبيل المثال. إنهم يفعلون شيئًا ما باستخدامه ، ويكون تدفق Storm أو Spark في مجال المصدر المفتوح. بالتأكيد ، الناس على دراية به أو بناء المهارات من حوله. لكنها تبدأ بمجموعة صغيرة من الأشخاص الماهرين بالقدر الكافي والأذكياء بدرجة كافية. انهم يحضرون المؤتمرات. إنهم يتعلمون ويقومون بطرح أسئلة ذكية للبائعين وفي بعض الحالات يتعلمون مع البائعين. نظرًا لأن البائعين يأتون ويعرضون في الاجتماع الأول ، فقد لا يعرفون أشياء ولكنهم يشاركون في القراءة ثم يبدأون في اللعب بها.

هذه المجموعة الصغيرة من الناس هي النواة ثم تبدأ في النمو ويدرك الجميع الآن أن حالة الاستخدام التجاري الأولى يتم تفعيلها. هناك موجة بدأناها ورأيناها في قمة سبارك الأسبوع الماضي ، حيث كانت هناك شركة كبيرة مثل كابيتال وان هناك بكامل قوتها. كانوا يختارون سبارك. كانوا يتحدثون عن ذلك. إنهم يقومون بتعليم الكثير من الناس في Spark لأنهم يساهمون فيه أيضًا في كثير من الحالات كمستخدم. نرى نفس الشيء مع العديد من المؤسسات الكبيرة. يبدأ الأمر بمجموعة صغيرة من الأشخاص الأذكياء للغاية ، ثم يبدأ موجة من التعليم العام ويعرف الناس أنه بمجرد انضمام نائب رئيس أقدم أو مرة واحدة لمدير كبير ويريدون المراهنة على هذا الشيء وتنتقل الكلمة إلى انهم جميعا بدء التقاط هذه المهارات.

ديز بلانشفيلد: أنا متأكد من أن لديك وقتًا رائعًا في بناء هؤلاء الأبطال أيضًا.

أناند فينوجوبال: نعم. نقوم بالكثير من التعليم حيث نعمل مع الأبطال الأوائل ونعقد دورات تدريبية والعديد منهم لعملائنا الكبار الذين عدنا إلى الوراء ولدينا موجات وموجات من التدريب لجلب الكثير من المستخدمين إلى مرحلة الاستخدام السائدة خاصةً في Hadoop مابريديوس الموقع. لقد وجدنا أنه في شركة بطاقات ائتمان كبيرة من العملاء لدينا ، قمنا بتسليم ما لا يقل عن خمسة إلى ثمانية برامج تدريبية مختلفة. لدينا أيضًا إصدارات مجتمعية مجانية لجميع هذه المنتجات ، بما في ذلك منتجاتنا ، صناديق رمل يمكن للناس تنزيلها والتعود عليها وتثقيفهم بهذه الطريقة أيضًا.

ديز بلانشفيلد: هذا كل ما لدي هذا الصباح من أجلك. شكرا جزيلا. أجد أنه من المثير للاهتمام للغاية رؤية أنواع النماذج واستخدام الحالات التي لديك من أجلنا اليوم. شكرا لكم.

أناند فينوجوبال: عظيم. شكرا جزيلا لك الناس.

ريبيكا جوزويك: شكراً للجميع للانضمام إلينا في البث الشبكي لـ Hot Technologies. لقد كان من الرائع أن نسمع من Dez Blanchfield ، والدكتور Robin Bloor ومن Impetus Technologies ، Anand Venugopal. شكرا لك العروض. شكرا لكم المتحدثين وشكرا لكم الحضور. لدينا تقنيات ساخنة أخرى الشهر المقبل ، لذلك ابحث عن ذلك. يمكنك دائمًا العثور على المحتوى في الأرشيف في موقع Insideanalysis.com. نضع أيضًا الكثير من المحتوى على SlideShare وبعض البتات المثيرة للاهتمام على YouTube أيضًا.

هذا كل ما لدي أيها الناس. شكرا مرة أخرى ويكون يوم جيد. مع السلامة.