ما الظروف التي أدت إلى ظهور النظام البيئي الكبير للبيانات؟

Q:

ما الظروف التي أدت إلى ظهور النظام البيئي الكبير للبيانات؟

هناك العديد من العوامل التي ساهمت في ظهور النظام البيئي الكبير للبيانات اليوم ، ولكن هناك إجماعًا عامًا على أن البيانات الضخمة جاءت بسبب مجموعة من تصميمات الأجهزة والبرامج التي سمحت ببساطة بوجود بيانات كبيرة.

التعريف التقليدي للبيانات الضخمة هو كما يلي: مجموعات البيانات كبيرة ومعقدة بما يكفي لتحدي الإدارة التكرارية السهلة ، أو الإدارة باليد. غالبًا ما يتم تحديد مجموعات البيانات الضخمة على أنها مجموعات بيانات لا يمكن أن تنسجم مع شبكة قاعدة بيانات بسيطة ، لأن تحليلها يتطلب الكثير من العمل من جانب الخوادم التي تتعامل مع البيانات.

مع أخذ ذلك في الاعتبار ، يتمثل جزء كبير مما أنشأ البيانات الضخمة في الفكرة التي نعرفها باسم قانون مور ، أو مضاعفة الترانزستورات على دارة كل عامين ، وإنشاء أجهزة تخزين أصغر للبيانات والأجهزة (وكذلك معالجات دقيقة أكثر قوة) . بالاقتران مع قانون مور ، وربما بسببه ، استمرت القدرة الحاسوبية لأنظمة البرمجيات التي يمكن الوصول إليها في الزيادة ، لدرجة أن أجهزة الكمبيوتر الشخصية يمكنها التعامل مع كميات أكبر بكثير من البيانات ، وبدأت أنظمة الأعمال والطليعة في التعامل مع أحجام البيانات لا يمكن تصوره قبل عدة سنوات فقط. انتقلت الأنظمة الشخصية من الكيلوبايت إلى ميغابايت ، ثم إلى غيغابايت ، في عملية شفافة للمستهلكين. انتقلت أنظمة الطليعة من غيغا بايت إلى تيرابايت وبيغا بايت ، وإلى أوامر بحجم مثل zetabytes ، بطرق كانت أقل شفافية بكثير بالنسبة للمواطن العادي.

كان التقدم الآخر الذي يستوعب البيانات الكبيرة هو التغييرات في الطرق التي عالج بها المعالجون مجموعات البيانات. بدلاً من المعالجة الخطية من خلال تصميم قاعدة بيانات علائقية تقليدية ، بدأ المعالجون في استخدام أدوات مثل Apache Hadoop وقطع إدارة الأجهزة ذات الصلة للتخلص من الاختناقات في عمليات البيانات.

والنتيجة هي عالم البيانات الضخم الذي نعيش فيه ، حيث يتم تخزين مجموعات البيانات الضخمة وصيانتها في مراكز البيانات ، ويتم الوصول إليها بشكل متزايد من خلال مجموعة واسعة من التقنيات لمجموعة واسعة من الاستخدامات. من التجارة إلى البيئة ، ومن التخطيط العام إلى الطب ، أصبح الوصول إلى البيانات الضخمة أكثر فأكثر. في هذه الأثناء ، لا تزال الوكالات الحكومية وغيرها من المنظمات الكبيرة تضغط على حدود أحجام البيانات الضخمة وتطبق حلولاً أكثر تطوراً.