عندما نتحدث عن بيانات كبيرة، فلابد لنا أن نتطرق إلى المفاهيم الأساسية التي نحن بحاجة إليها لفهم طبيعة البيانات الكبيرة، حيث أن كلا من التقنيين المختصين والفنيين وأصحاب الشركات والأعمال هم بحاجة إلى فهم أنواع مختلفة من مكونات البيانات الكبيرة، والتقنية الأساسية، والمفاهيم التي تدعم البيانات الكبيرة. سنحاول هنا أن نلقي نظرة عميقة على  المفاهيم التي تساعدنا على فهم مختلف مكونات البنية التحتية التي تجعل من البيانات الكبيرة أكثر واقعية وقابلة للاستخدام كما سنتطرق بتركز أكثر على تفاصيل إدارة البيانات المختلفة، ومنصة وتحليل الخيارات التي تقدمها التقنيات الناشئة مثل MapReduce، سبارك وغيرها من التقنيات التي تدعم النظام البيئي للبيانات الكبيرة.

إدارة البيانات وتحليلها هما التحدي الأكبر للعديد من المنظمات بمختلف أحجامها وفي جميع الصناعات. لقد كافحت الشركات دائما لإيجاد نهج عملي لالتقاط المعلومات حول عملاءها ومنتجاتها و خدماتها. في السابق ومع وجود عدد قليل من العملاء وعدد محدود من الخدمات قد لا تكون العملية على قدر كبير من الصعوبة والتحدي، ولكن مع مرو الوقت بدأت  الكثير من الشركات تكبر وتنمو مما جعل الأمور أكثر تعقيدا. الآن لدينا  المعلومات الخاصة بالعلامة التجارية و وسائل التواصل الاجتماعي. كما لدينا الأشياء التي يتم بيعها وشراءها عبر الإنترنت. مما لا شك فيه أننا بحاجة إلى الخروج بحلول مختلفة، حيث أن هناك الكثير من البيانات المختلفة التي تشكل أصولا حقيقة لتعاملاتنا والتي تسبب الكثير من التعقيد عندما يتعلق الأمر بإدارتها وتنظيمها للخروج برؤية ومعنى واضحين لما تمثله هذه البيانات. تقنية  البيانات الكبيرة مهمة لأنها تساعد المنظمات على جمع وتخزين كميات هائلة من البيانات والتعامل معها بالسرعة المناسبة وفي الوقت المناسب.

كما ترون هنا في هذه الصورة هناك قدر من القيمة غير المستغلة في البيانات الكبيرة. بيانات قادمة من صور الأقمار الصناعية، التجارة الإلكترونية والتلفزيون، وأجهزة الاستشعار والفيديو والتي تحتاج إلى آلية تربط جميع هذه البيانات. نحن بحاجة إلى استخدام التحليلات، والتحليلات التنبئية، والتحليلات العميقة من أجل التوصل إلى إجابات تساعد على تحسين العائد من الاستثمار، ربما من أجل التنبؤ بالظروف الجوية القاسية أو ربما لمجرد النظر في اتجاهات التنوع البيولوجي أو فهم اتجاهات العملاء أو الطلاب  ومعرفة عاداتهم، وتوقع تصرفاتهم في المستقبل. والفكرة  هنا هي أن القيمة الغير مستغلة من البيانات الكبيرة هي ما تجلب كل هذا الضجيج والاهتمام بالتقنيات والأدوات التي يمكن أن نستخدمها للحصول على نظرة ثاقبة حول بياناتنا.

البيانات تتحرك في مجموعة متنوعة من المصادر. والسؤال هنا هل يمكننا إدارة هذه البيانات وايجاد معنى ذا قيمة لها؟ 

الإجابة على هذا السؤال هي: نعم. تقنية البيانات الكبيرة جعلت العالم يتمكن من استخدام هذا الجزء الأصعب. إنها حقا ليست تقنية واحدة. يتعين علينا أن نفكر بالبيانات الكبيرة باعتبارها مزيج من التقنيات القديمة والجديدة التي تساعد الشركات على اكتساب معرفة إضافية حول البيانات.

هل تعلم أن أكثر من 90٪ من البيانات في العالم تم إنشاءها  في العامين الماضيين فقط؟

لقد كان نمو البيانات بشكل لا يصدق ،ىو تشير الدراسات إلى أنه في عام 2009 كان لدينا  حوالي 0.8 زيتابايت (Zettabytes) من البيانات؛ بينما تشير التوقعات أنه في عام 2020، سترتفع لتصل إلى 35 زيتابايت.  وهذه التقديرات قابلة للزيادة حيث تقدر نيويورك تايمز أنه بحلول عام 2020 سيصل حجم الكون الرقمي إلي 40 تريليون غيغابايت. لذلك من الطبيعي أن يتساءل البعض عن سبب هذا النمو الكبير وسرعة التنامي الهائلة التي لم تكن بهذا الشكل قبل عشر سنوات؟ 

لماذا تتضخم البيانات ؟

من أهم الأسباب في حدوث هذا الفيضان من البيانات الكبيرة البيانات غير المهيكلة والتي كانت نتيجة لتغير الطريقة

التي يعمل فيها الناس داخل المنظمات. حوالي  88٪من البيانات غير مهيكلة، والتي يمكن تعريفها بأنها  كل ما لا يمكن تصنيفه بسهولة. ورغم أن هذه الأنواع من البيانات لها هيكل داخلي يخصها، لكنها تعتبر "غير منظمة" لأن بياناتها لا تتسق تماما كقاعدة بيانات. على أرض الواقع هذا هو القطاع  الذي يتنامى  بشكل أسرع وأكبر، حيث يتم إنشاء البيانات الكبيرة في كل مكان من حولنا، في كل الأوقات. يوميا... هل لديك أي فكرة عما يحدث في دقيقة واحدة على شبكة الإنترنت؟ هناك الكثير من الأمور التي تحدث خلال دقيقة واحدة على شبكة الإنترنت. سأعطيك لحظة لتحليل هذه الصورة لتعرف ما يحدث في فترة قصيرة من الزمن.

المعلومات التي يتم جمعها  هائلة. إن البيانات الكبيرة التي نراها تحتوي على أكوام من البيانات الكبيرة، والذكاء هنا يكمن في كيفية الاستفادة من تحليل البيانات الكبيرة وإيجاد التقنيات القادرة على المساعدة.

 تقنيات البيانات الضخمة

قبل أن نذهب إلى تقنيات البيانات الكبيرة من المهم أن نحدد مفهوم وتعريف البيانات الكبيرة, وما نستطيع قوله هنا أنه لا يوجد تعريف محدد لها إلا أن معهد ماكنزي العالمي عرّف البيانات الضخمة بأنها: "مجموعة البيانات التي تفوق حجم أو قدرة أدوات قواعد البيانات التقليدية من التقاط، وتخزين، وإدارة وتحليل تلك البيانات".

هناك العديد من الأدوات والتقنيات التي تستخدم لتحليل البيانات الكبيرة مثل:  Hadoop ,MapReduce , GridGain , HPCC , Storm , Cassandra .  إلا أنه من أشهر  هذه الأدوات Hadoop والهدوب باختصار هو  إطار عمل برمجي مفتوح المصدر , يدعم التطبيقات الموزعة للبيانات الكثيفة, تصميم الهدوب دعم عملية توسيع نطاق البيانات من خادم واحد ليشمل 5 آلاف جهاز.

تقنيات البيانات الضخمة تساعد المؤسسات التعليمية في:

• اكتشاف الرؤى المهمة القابلة للتنفيذ.

• تحديد البيانات الأكثر أهمية للفئات التي تستهدفها من الطلاب والهيئة التدريسية وغيرهم من ذوي المصالح المشتركة و توجيه القرارات المستقبلية.

• تفهم احتياجات المستفيدين بشكل أكثر، والتعرف على كيفية زيادة المعلومات الاستخبارية، وزيادة الكفاءة، وتحسين العمليات وخدمات العملاء. وتحسس مواطن الخطر وتحسين إدارة المخاطر.

تحليل البيانات الكبيرة في مؤسسات التعليم العالي

متى كانت آخر مرة قمت فيها بتنظيف وتنظيم  جهاز الكمبيوتر الخاص بك؟  كم  عدد المرات التي قمت فيها بترتيب الملفات المتناثرة بشكل فوضوي  على سطح الكمبيوتر وبعد فترة رجعت فوضى الملفات ثانية؟؟  هل جربت أن تحفظ ملف على سطح المكتب ولا تراه بسبب الملفات المكدسة جنبا إلى جنب؟؟  أعرف شعور القهر الذي تشعره عندما تكتشف أنك أثناء تنظيف الجهاز قمت بحذف ملفات أنت بحاجة لها؛ جميعنا يشعر بالإحباط عندما نبدأ بحذف الملفات بشكل عشوائي دون النظر إلى البيانات داخل الملف، الأمر الذي قد يتسبب بالمشاكل . ربما هناك من يستطيعون  الحفاظ على  ملفاتهم وبيانتاهم منظمة على الأجهزة الشخصية الخاصة بهم، ولكن  تخيل الفوضى التي من شأنها أن تحدث في بيئة أكبر من ذلك .

مؤسسات التعليم العالي هي مثال على ذلك - إنها تتعامل الآن مع الكثير من الأجهزة المتصلة بالإنترنت في الحرم الجامعي، كما أن اعتماد الجامعات  نظام "أحضر جهازك الخاص بك"  BYOD، تعني أن يتم السماح للمعلمين والطلاب باستخدام أجهزتهم الشخصية لإتمام مهامهم المتعلقة بالتعليم، كما يتم السماح لهم بالاتصال بشبكة المؤسسة الداخلية مما يؤدي إلى طوفان من البيانات التي من الصعب التعامل معها من خلال الأساليب  الحالية.

مؤسسات التعليم العالي لديها كم هائل من البيانات الضخمة والتي تتدفق من كل الاتجاهات عبر تطبيقات الإنترنت والتمارين المستندة إلى البرامج والفصول الدراسية عبر الإنترنت والاختبار، وسائل الإعلام الاجتماعية والمدونات ومسوحات الطلاب. .

كما أن هناك أيضا طفرة من البيانات العامة - مع  زيادة شعبية استخدام القياس المقارن  benchmarking على الإنترنت والذي يطول الطلاب والأساتذة وأداء المنهج. كل هذه البيانات تخلق  ضغطا على البنية التحتية الحالية لتقنية المعلومات،

حلول البرامج المعمول بها، والتي كانت موجودة منذ السبعينات لا يمكنها الاستجابة  لمطالب البيانات الحالية. وهذا هو السبب الذي جعل العديد من مؤسسات التعليم العالي لم تجنِ القيمة الحقيقية للبيانات كبيرة - إنها تفتقر إلى أدوات للاستفادة منها وهذه المشكلة تزداد سوءا مع استمرار وحدات تخزين البيانات في الازدياد .المؤسسات التعليمية التي تفشل في توظيف البيانات الكبيرة ستبقى في مؤخرة التصنيفات الجامعية لأن البيانات هي الوقود الاستراتيجي الذي يغذي القرارات ويدفع  إلى الأمام.

كيف يمكن لمؤسسات التعليم العالي من الوصول إلى النقطة التي تمكنها فعلا من تطبيق رؤى البيانات الكبيرة؟ قد تكون هذه الإجراءات البسيطة تشكل الخطوات الأولي في هذا الطريق.

ابدأ بحل المشاكل الصغيرة

أنت بحاجة للعثور على مناطق محددة مرتبطة بالعمليات الخاصة بك التي هي معظمها من البيانات الكثيفة - مثل التطبيقات أو الدرجات – ومن ثم قم بتحديد مشكلة واحدة لا يمكن حلها بسهولة. نجاحك في حل هذه المشكلة باستخدام التحليلات سوف يساعدك على معالجة مشاكل أكثر في جميع أنحاء المؤسسة.

تعرف على النتيجة المرجوة

قبل أن تبدأ بعملية التحليل لابد أن تحدد الهدف الذي تريده. هل تهدف إلى تحسين العلاقات مع الطلاب؟  هل تهدف إلى تحسين التوظيف؟ أم هل تبحث عن إيجاد مصادر جديدة للدخل لمؤسستك؟

قبل أن تستثمر الوقت والمال في مبادرة تحليلات البيانات الكبيرة، أولا قم بتحديد النتيجة التي تريدها، ثم بناء الاستراتيجية الخاصة بك وتصميم البنية الهندسية للبيانات لمساعدتك على تحقيق هدفك.

تعزيز ثقافة البيانات

لفترة طويلة جدا، لم يكن لدى مؤسسات التعليم العالي الموارد للتحكم  على نحو فعال في عملية تخزين البيانات وتحليلها. مع ظهور تقنيات الجيل القادم مثل  Hadoop، لم يعد هذا قضية.

في هذه الأيام، قد يكون تجاهل البيانات أكثر تكلفة مما تتكلفه عملية الحفاظ عليها. إن تسليم المعلومات في الوقت الحقيقي أو شبه الحقيقي هي واحدة من الخصائص المميزة لتحليل البيانات الضخمة. وبالتالي، يتم تجنب الخمول كلما وحيثما كان ذلك ممكنا، فقد أصبح من الضروري خلق ثقافة تحترم البيانات ويجعل تحليل البيانات جزءا لا يتجزأ من كل قرار تتخذه المؤسسة الأكاديمية.

البحث عن شركاء جيدين

تقنية التعليم تتطور بوتيرة لم يسبق لها مثيل من قبل ولكن العثور على شريك متخصص يمكنه من النجاح  في كل مرحلة من مراحل رحلة التحليلات أمر في غاية الأهمية.  هذا الشريك يساعد على احتضان الاستثمارات الحالية والعمل معكم لبناء العمليات التي لن تتطلب  البحث عن  المهارات المتخصصة.

من خلال محاولة استخدام تقنية الأمس تقنية اليوم، مؤسسات التعليم العالي يكافحون من أجل الاستفادة من الرؤى اللازمة لاتخاذ قرارات مؤثرة تدفع إلى الأمام  وتحقق للمؤسسة القدرة التنافسية.

باستخدام أدوات الجديدة لتحليلات التعلم يمكن للجامعات والكليات أن تكون أكثر قدرة على تحسين العمليات الجوهرية  وجذب المواهب الشابة التي تميزها عن غيرها.

لذا, من المهم ألا ننظر الى البيانات الكبيرة على أنها  مشكلة ولكن السعي إلى استخدامها لصالح المؤسسة من خلال تغيير النهج.