تنفيذ مجموعة خوادم موزّعة بنظام Hadoop في وضع التوافر العالي لتعزيز موثوقية البيانات لدى شركة ANI Networks
ملخص المشروع
نجحت ساينس سوفت في تنفيذ مجموعة خوادم موزّعة بنظام Hadoop في وضع التوافر العالي لمزوّد خدمات اتصالات يعمل على مستوى الولايات المتحدة، ما أسهم في القضاء على نقطة التعطل المركزية في منصة البيانات الحيوية للأعمال، وتقليل مخاطر تعطل العمل بقدرٍ كبير.
نبذة عن شركة ANI Networks
ANI Networks هي مزوِّد لخدمات الاتصالات في الولايات المتحدة، تقدم حلول الاتصال الصوتي ونقل البيانات بالجملة لشركات الاتصالات. ومنذ تأسيسها في عام 1989، تقدم ANI خدماتها لأكثر من 400 عميل، من بينهم شركات مُدرجة ضمن قائمة فورتشن لأكبر 500 شركة عالميًا، وشركات اتصالات محلية، ومزوّدو الخدمات بالجملة، ومشغلو شبكات الجوال. كما تُعرف ANI Networks بشبكتها القابلة للتوسع، والتزامها بتقديم خدمات موثوقة ومتواصلة لشركائها في مختلف أنحاء الولايات المتحدة.
اعتمدت منصة البيانات بالغة الأهمية للأعمال في ANI Networks على نظام Hadoop يضم خادم NameNode واحدًا فقط، ليصبح نقطة تعطل مركزية للمنصة. وبطبيعة الحال، في حال تعطل خادم NameNode، تصبح المجموعة بأكملها غير متاحة، ما يؤدي إلى مخاطر عالية لتعطل الأعمال، وفقدان محتمل للبيانات الحيوية.
لمعالجة ذلك، لجأت ANI Networks إلى ساينس سوفت لترقية مجموعة Hadoop إلى وضع التوافر العالي، وتحديث المكونات ذات الصلة لمنع أي تعارضات تشغيلية محتملة أو مشكلات لاحقة. وكانت الأولوية الرئيسية للمشروع هي ضمان التشغيل المستمر للمجموعة، وتقليل مخاطر فقدان البيانات أو انقطاع الخدمات في حالة حدوث أعطال في الأجهزة.
الحل
بعد دراسة بيئة معالجة البيانات في ANI Networks لتجنب الأعطال المحتملة أو فقدان البيانات، نجحت ساينس سوفت في نشر وتهيئة مجموعة Hadoop في وضع التوافر العالي. وقد نفَّذ فريق ساينس سوفت المهام التالية:
- إضافة خادم NameNode احتياطي للقضاء على نقطة التعطل الأحادية.
- تهيئة آلية التوافر العالي (HDFS High Availability) في نظام Hadoop، وتحديث جميع المكونات التي تتفاعل مع خدمات NameNode (بما في ذلك Hadoop، وTEZ، وHive، وHive Metastore، وHiveServer2) لضمان التشغيل السليم في وضع التوافر العالي.
- تنفيذ آليات المراقبة والإنذار للكشف المبكر عن تدهور الأداء وضمان شفافية النظام لأغراض الصيانة المستقبلية.
يقول جوزيف جاكسون، مدير ومهندس شبكات IP لدى ANI Networks:
كان تعاوننا مع ساينس سوفت مثمرًا وشفافًا، إذ أدرك الفريق بسرعة مدى أهمية الحفاظ على موثوقية منظومة معالجة البيانات لدينا عند أعلى مستوى، ونجح في تعزيز بنيتها التقنية لتصبح أكثر مرونة واستقرارًا من أي وقت مضى. كما تمكَّنوا من تنفيذ نظام شامل للمراقبة والإنذار يمنحنا رؤية واضحة لحالة المنظومة، ويدعم الإدارة الاستباقية لأي تدهور محتمل في الأداء. نخطط لمواصلة التعاون مع فريق ساينس سوفت لتحسين مسارات عمل البيانات لدينا ودعم نمو خدماتنا المقدَّمة للعملاء.
من منظور المستخدم، ظل سير العمل دون تغيير؛ إذ تستمر التطبيقات في معالجة البيانات كالمعتاد، ولكن أصبح النظام قادرًا على التبديل تلقائيًا إلى خادم NameNode الاحتياطي عند تعطل الخادم الرئيسي، ما يسهم في تقليل احتمالية انقطاع الخدمات بقدرٍ ملحوظ.
أبرز النتائج التي حصلت عليها شركة ANI Networks
بفضل تهيئة نمط التوافر العالي الجديد، حصلت ANI Networks على مجموعة Hadoop قادرة على تحمل الأعطال والاستمرار في العمل حتى في حال تعطل خادم NameNode الأساسي. بفضل هذا الحل، حققت ANI Networks النتائج التالية:
- إلغاء الاعتماد على خادم NameNode كنقطة تعطل مركزية في مجموعة Hadoop دون التأثير في تجربة المستخدم الداخلية أو عمليات العملاء النهائيين.
- الحد من مخاطر تعطل الخدمات وعدم توفر البيانات.
- الحصول على رؤية واضحة في الوقت الفعلي لحالة المجموعة عبر نظام شامل للمراقبة والإنذار.
ونظرًا لرضا العميل عن دعم ساينس سوفت، تخطط شركة ANI Networks لإشراك فريقنا في تحسين مسارات عمل البيانات الضخمة لديها بهدف تسريع معالجة الاستعلامات.
التقنيات والأدوات
Hadoop, MapReduce, Tez, Hive, Hive Metastore, HiveServer2, HDFS High Availability (HDFS HA), Python, Shell.
نتواصل معكم على الفور
