اتجاهات البيانات الضخمة في عام 2021 ومستقبل البيانات الضخمة

منذ أن دخلت البيانات الضخمة المشهد التكنولوجي لأول مرة ، تطور المفهوم والاستراتيجية وحالات الاستخدام الخاصة بها بشكل كبير عبر الصناعات المختلفة.

خاصة مع الابتكارات مثل السحابة والحوسبة المتطورة وأجهزة إنترنت الأشياء (IoT) والتدفق ، أصبحت البيانات الضخمة أكثر انتشارًا للمؤسسات التي ترغب في فهم عملائها وإمكاناتها التشغيلية بشكل أفضل.

انظر أدناه للتعرف على اتجاهات البيانات الضخمة الحالية وما يمكن أن نتوقعه في المستقبل للبيانات الضخمة.

ما هي الاتجاهات في البيانات الضخمة؟
اعتماد أقوى على التخزين السحابي
نمو تقنية نسيج البيانات
جمع بيانات العملاء الأخلاقية
أتمتة مدعومة بالذكاء الاصطناعي / التعلم الآلي
تطور بحث تشابه المتجهات
اعتماد أقوى على التخزين السحابي
تأتي البيانات الضخمة إلى المؤسسات من عدة اتجاهات مختلفة ، ومع نمو التكنولوجيا ، مثل تدفق البيانات أو بيانات المراقبة أو البيانات غير المرتبطة بالمعاملات ، وزيادة المعرفة بكيفية استخدام أنواع البيانات المتباينة بشكل استراتيجي ، تعد سعة تخزين البيانات الضخمة القضية.

في معظم الأعمال ، لم يعد التخزين التقليدي للبيانات المحلية كافياً لترابايت وبيتابايت من البيانات المتدفقة إلى المؤسسة. يتم اختيار حلول السحابة السحابية والمختلطة بشكل متزايد من أجل البنية التحتية المبسطة للتخزين وقابلية التوسع.

يعتقد Ben Gitenstein ، نائب رئيس المنتج في Qumulo ، وهو نظام أساسي غير منظم لإدارة البيانات ، أن الترحيل السحابي يجلب التخزين ومزايا إضافية للبيانات الضخمة للشركة:

قال جيتنشتاين: “الحلول السحابية هي الآن اسم اللعبة ، لا سيما الحلول السحابية المختلطة لأحمال العمل التي تتطلب بيئات تخزين متعددة”. “ومع استمرار نمو البيانات بشكل حتمي ، تتطلب المؤسسات المرونة وقابلية التوسع التي توفرها الخدمات السحابية فقط حاليًا.

“تساعد السحابة على وضع المعلومات التي يمكن الوصول إليها في أيدي المزيد من الأشخاص وفي الوقت الفعلي. يمكن أن تساعد الاستفادة من السحابة في إنشاء قاعدة بيانات أو تطبيق جديد ، أو تشغيل خادم ، أو إنشاء مجموعات جديدة في جزء من الثانية. تعمل السحابة أيضًا على دمج الموارد ، لذلك لا داعي للقلق بشأن شراء خوادم إضافية وجعل فرق تكنولوجيا المعلومات تقوم بتثبيتها وصيانتها “.

مع زيادة الاعتماد على التخزين السحابي ، بدأت الشركات أيضًا في تنفيذ حلول أخرى قائمة على السحابة ، مثل مستودعات البيانات المستضافة على السحابة وبحيرات البيانات.

يعتقد Joe DosSantos ، كبير مسؤولي البيانات في Qlik ، إحدى شركات التحليلات المدرجة في قائمة Fortune 500 ، أن هذا التركيز المتزايد يساعد المؤسسات على تحقيق أهداف بيانات جديدة في الوقت الفعلي:

قال DosSantos: “في السنوات الأخيرة ، شهدنا ظهور مستودعات البيانات الحديثة وبحيرات البيانات التي تعزز هيكل التكلفة وقابلية التوسع ومرونة السحابة”. “عند دمجها مع كتالوجات البيانات ، أصبح الوصول إلى المزيد من البيانات ذات الصلة وفي الوقت الفعلي حقيقة واقعة لمزيد والمزيد من المؤسسات.”

نمو تقنية نسيج البيانات
تطور مهم آخر يركز على توسيع المساحة المتاحة للتحول الرقمي في مؤسسة ما ، تتطور أقمشة البيانات بشكل تدريجي في السحابة ويتم اعتمادها من قبل المنظمات التي تحتاج إلى عقارات إضافية وإمكانية وصول متزايدة لمجموعات البيانات الضخمة المتزايدة.

باستخدام بنية نسيج البيانات ، يمكنهم بسهولة تخزين مجموعات البيانات المطلوبة واستردادها عبر البنية التحتية للشبكات المحلية الموزعة والسحابة والهجينة.

يؤكد روبرت إيف ، كبير استراتيجيي إدارة البيانات سابقًا في TIBCO ، وهي منصة تحليلات وإدارة بيانات رفيعة المستوى ، على أهمية أنسجة البيانات في المؤسسات التي تتوق إلى التحليلات في الوقت الفعلي وإضفاء الطابع الديمقراطي على البيانات:

قال إيف: “أقمشة البيانات – هياكل البيانات الموزعة الحديثة ، توفر للمؤسسات ميزة تنافسية تتيح لها أن تكون أكثر تأثيرًا مع بياناتها”. “على سبيل المثال ، يعمل على تسريع الوقت لتحقيق القيمة من خلال فتح البيانات السحابية الموزعة محليًا والسحابة والمختلطة – بغض النظر عن مكان تواجدها – وتقديمها بوتيرة الأعمال. تعمل التكنولوجيا أيضًا على إضفاء الطابع الديمقراطي على الوصول إلى البيانات لتزويد مستخدمي الأعمال بجميع البيانات التي يحتاجونها لاتخاذ قرارات أعمال أسرع وأكثر دقة.

“في المشهد التنظيمي المتغير باستمرار ، تسمح أقمشة البيانات للمؤسسات باحتضان البيانات الجديدة والتقدم التكنولوجي في التحليلات ، مع ضمان توفير البيانات الصحيحة بشكل آمن. كما أنها ذكية وتسمح للمؤسسات بتبني البيانات الجديدة والتقدم التكنولوجي في التحليلات ، مثل علوم البيانات والبيانات في الوقت الفعلي والسحابة بشكل أسرع للبقاء في صدارة المنافسة “.

تتجه تقنية نسيج البيانات أيضًا في عالم الذكاء الاصطناعي (AI) وأتمتة التعلم الآلي (ML) للبيانات الضخمة ، ويرجع ذلك أساسًا إلى أن التصميم الموزع لا يشجع صوامع البيانات التي تجعل التعليقات التوضيحية للبيانات والتعلم الآلي أكثر صعوبة.

يصف سكوت جناو ، نائب الرئيس لأنظمة البيانات في InterSystems ، وهي شركة لتحليل البيانات وتكاملها ، هذه الوظيفة في أقمشة البيانات الذكية ، موضحًا

تعتبر أقمشة بيانات القبعة أساسية لجودة البيانات اللازمة للأتمتة:

قال جناو: “يجب أن يبنى الجيل القادم من الابتكار والأتمتة على أسس بيانات قوية”. تتطلب التقنيات الناشئة ، مثل الذكاء الاصطناعي والتعلم الآلي ، قدرًا كبيرًا من البيانات الحالية والنظيفة والدقيقة من صوامع الأعمال المختلفة لتعمل.

“ومع ذلك ، يعد الوصول السلس عبر مستودعات البيانات المتعددة لشركة عالمية أمرًا صعبًا للغاية ومع تدفق المزيد والمزيد من البيانات من مصادر مختلفة ، تحتاج المؤسسات إلى بنيات تجمع البيانات القابلة للتكوين والموزعة معًا للحصول على إحصاءات قابلة للتنفيذ في الوقت الفعلي.

“تتحول المؤسسات من جميع الأحجام إلى أقمشة البيانات الذكية لأنها تقدم إحدى هذه الهياكل المرجعية التي توفر القدرات اللازمة لاكتشاف أصول البيانات وتوصيلها ودمجها وتحويلها وتحليلها وإدارتها واستخدامها وتخزينها لتمكين الأعمال من تلبية احتياجاتها التي لا تعد ولا تحصى من أهداف الأعمال بشكل أسرع وبأقل تعقيدًا من الأساليب السابقة ، مثل بحيرات البيانات “.

جمع بيانات العملاء الأخلاقي
جاء جزء كبير من الزيادة في البيانات الضخمة على مر السنين في شكل بيانات المستهلك أو البيانات التي ترتبط باستمرار بالمستهلكين أثناء استخدامهم للتكنولوجيا مثل أجهزة البث وأجهزة إنترنت الأشياء ووسائل التواصل الاجتماعي.

تتطلب لوائح البيانات مثل القانون العام لحماية البيانات (GDPR) من المؤسسات التعامل مع هذه البيانات الشخصية بعناية وامتثال ، ولكن الامتثال يصبح معقدًا بشكل لا يصدق عندما لا تعرف الشركات من أين تأتي بياناتها أو البيانات الحساسة المخزنة في أنظمتها. لهذا السبب تعتمد المزيد من الشركات على البرامج وأفضل الممارسات التي تؤكد على جمع بيانات العملاء الأخلاقي.

من المهم أيضًا ملاحظة أن العديد من المؤسسات الكبيرة التي جمعت البيانات الشخصية وبيعتها تاريخيًا تعمل على تغيير نهجها ، مما يجعل الوصول إلى بيانات المستهلك أقل تكلفة وأكثر تكلفة للشراء. تختار العديد من الشركات الأصغر الآن مصادر بيانات الطرف الأول ، أو جمع بياناتها الخاصة ، ليس فقط لضمان الامتثال لقوانين البيانات والحفاظ على جودة البيانات ولكن أيضًا لتوفير التكاليف.

قال كريستيان آدامز ، المؤسس المشارك لمدونة Coffee Affection ، وهي مدونة خاصة بخبراء القهوة: “نظرًا لأن التكنولوجيا الكبيرة جعلت الخصوصية مؤخرًا نقطة بيع ضخمة ، فسيكون من الصعب الحصول على البيانات”.

“عندما يصبح شيء ما أكثر ندرة ، ماذا يحدث للسعر؟ هذا صحيح ، يرتفع. لذلك ، مع تطور السنوات القليلة المقبلة ، توقع أن ترى بيانات الطرف الأول أكبر من أي وقت مضى. وهذا يعني ، إذا كانت الشركات تريد البيانات ، فمن المحتمل أن تقوم بجمعها بأنفسهم “.

أتمتة مدعومة بالذكاء الاصطناعي / تعلم الآلة
أحد أكبر اتجاهات البيانات الضخمة هو استخدام تحليلات البيانات الضخمة لتشغيل أتمتة الذكاء الاصطناعي / تعلم الآلة ، سواء بالنسبة للاحتياجات التي تواجه المستهلك أو للعمليات الداخلية. بدون عمق واتساع البيانات الضخمة ، لن تمتلك هذه الأدوات الآلية بيانات التدريب اللازمة لتحل محل الإجراءات البشرية في المؤسسة.

قال جاريد بيترسون ، نائب الرئيس الأول للهندسة في SAS ، وهي شركة رائدة في مجال التحليلات والذكاء الاصطناعي: “تتوسع تخصصات الذكاء الاصطناعي والتعلم الآلي وتنمو بوتيرة سريعة”.

“هناك أسباب متعددة لذلك وطرق عديدة للنظر في التوسع. أولاً ، أحدثت التطورات في التعلم العميق ، والحساب الضروري لتمكين هذه التطورات (على سبيل المثال ، وحدات معالجة الرسومات) ، والأطر التي تجعلها متاحة للجميع ، نهضة في عالم رؤية الكمبيوتر ومعالجة اللغات الطبيعية. كانت وتيرة البحث والنشر في هذه المجالات مذهلة “.

تعد حلول الذكاء الاصطناعي والتعلم الآلي مثيرة بحد ذاتها ، لكن الأتمتة واختصارات سير العمل التي تتيحها هي عوامل تغيير قواعد الأعمال.

يرى نير كالديرو ، الرئيس التنفيذي العالمي لعلوم البيانات في شركة NEORIS ، وهي شركة تحول رقمي ، الذكاء الاصطناعي والأتمتة معًا:

“الذكاء الاصطناعي في حد ذاته قوي للغاية ، لكن التشغيل الآلي للذكاء الاصطناعي هو الفرصة الجديدة لإنشاء أنظمة ذكية تتفاعل تلقائيًا مع التكنولوجيا بطريقة سلسة للوصول إلى مستوى أعلى من الذكاء وخدمات شاملة كاملة.”

مع النمو المستمر لإدخال البيانات الضخمة لحلول الذكاء الاصطناعي / التعلم الآلي ، توقع رؤية المزيد من إمكانيات التحليلات التنبؤية والوقت الفعلي في كل شيء بدءًا من أتمتة سير العمل إلى برامج الدردشة الخاصة بخدمة العملاء.

تطور بحث تشابه المتجهات
ربما يأتي الاتجاه الأقل شهرة والأكثر إثارة للاهتمام لمستقبل البيانات الضخمة مع بحث تشابه المتجهات ، وهو نهج جديد للعثور على البيانات واستردادها من خلال التعلم العميق وممارسات البيانات الذكية الأخرى.

يشرح Edo Liberty ، المؤسس والرئيس التنفيذي لشركة Pinecone ، وهو حل قاعدة بيانات متجه مُدار ، سبب اعتقاده أن بحث تشابه المتجهات يتزايد وما سيعنيه بالنسبة لمستقبل نتائج البيانات:

قال ليبرتي: “البحث عن تشابه المتجهات هو طريقة جديدة للبحث من خلال البيانات الضخمة”. “على عكس طرق البحث التقليدية ، فإنه يفهرس ويبحث من خلال تمثيلات متجهية للبيانات. يستخدم مزيجًا من نماذج التعلم العميق وخوارزميات حديثة للعثور على العناصر من خلال معانيها المفاهيمية بدلاً من الكلمات الرئيسية أو الخصائص.

بدأت فرق التعلم الآلي في استخدام البحث المتجه لتحسين نتائج البحث الدلالي عن النص والصورة / الصوت بشكل كبير