تطوير حل مبتكر لاستخراج بيانات السوق من الويب تلقائياً لصالح صندوق استثماري كبير

نبذة عن عميلنا

شركة استثمار أميركية تدير محفظة استثمارية دولية تضم نحو 150 شركة، وتعمل في العديد من القطاعات، من بينها الرعاية الصحية والتصنيع.

التحليل اليدوي لأخبار السوق يعيق اتخاذ القرارات في الوقت المناسب

لتحسين جودة قراراته الاستثمارية، كان العميل يجري تحليلًا يوميًا لأخبار الأسواق المالية من عشرات المصادر على الإنترنت، مثل مواقع الأخبار المالية، وشركات أبحاث السوق، ومواقع الجهات التنظيمية. وكانت العملية تتم يدويًا بالكامل وتستغرق وقتًا طويلًا، ما صعّب مواكبة التغيرات السريعة في السوق، وزيادة احتمالية ضياع الفرص الاستثمارية.

كان لدى العميل فكرة لتطوير حل لاستخراج البيانات من مواقع الويب بهدف تبسيط عملية تحليل أخبار الأسواق المالية. وكان الهدف من هذا الحل جمع الروابط التي تحتوي على معلومات جديدة تتعلق بالشركات المستهدفة تلقائيًا، ثم تقديم هذه البيانات للمستخدمين لتحليلها. لكن لم يمتلك الفريق الداخلي لتقنية المعلومات في الشركة الخبرة اللازمة لتنفيذ الحل، ما اضطر العميل إلى الاستعانة بفريق خارجي سابق لتنفيذ فكرته. ومع ذلك، لم يتمكن هذا الفريق من تقديم الحل بما يتوافق مع رؤية العميل. في نهاية المطاف، لجأ العميل إلى ساينس سوفت، واثقًا بخبرتنا الواسعة في إدارة وتحليلات البيانات.

تطوير حل برمجي لأتمتة رصد الأخبار المالية

في البداية، حلَّل فريق ساينس سوفت مصادر الأخبار التي يحتاج العميل إلى متابعتها. وبعد ذلك، حدد خبراؤنا متطلبات تحليل وعرض البيانات للحل المستقبلي، بما في ذلك إمكانات تصنيف وتصفية البيانات، مثل تضمين أو استبعاد مصادر محددة، أو تحديد فترات زمنية مخصصة للبحث.

بناءً على نتائج التحليل، قدمنا حلًا مبتكرًا لاستخراج وتحليل البيانات يدعم التدفقات والعمليات التالية:

طلبات فحص الأخبار

باستخدام واجهة مستخدم (UI) قائمة على إطار العمل Angular، يمكن للمستخدمين بدء جلسة الفحص، وتحديد الشركات والمؤسسات المستهدفة بدقة، بالإضافة إلى تخصيص فترات زمنية مخصصة لعمليات البحث المطلوبة.

استخراج البيانات من الويب

يُفحص كل موقع ويب باستخدام نص برمجي مخصص طورته ساينس سوفت باستخدام أداة Selenium وفقًا لخصائص بنية موقع الويب (مثل أنماط عناوين URL، وخرائط المواقع)، وملفات Robots.txt، وتخطيط صفحات HTML، ومتطلبات تسجيل الدخول، ومهلة وقيود جلسات الإنترنت، وغيرها من العوامل.

أثناء جمع المعلومات، يحاكي النص البرمجي سلوك المستخدم البشري الفعلي في تصفح مواقع الويب (مثل تسجيل الدخول، والنقر فوق الروابط). تتيح أداة Selenium Grid إجراء فحص متزامن لعدة مواقع ويب في وقت واحد، ما يتيح تقديم نتائج أسرع. بالإضافة إلى ذلك، دمجت ساينس سوفت الحل مع خدمة خارجية أتاحت حل رموز التحقق (CAPTCHA) في غضون 30 ثانية فقط. تعمل هذه الخدمة على مدار الساعة، ما يضمن استمرارية عملية استخراج البيانات دون انقطاع، بغض النظر عن الصعوبات المتعلقة برموز CAPTCHA.

تجميع وتحليل وعرض البيانات

تُخزَّن البيانات المُجمعة في قاعدة البيانات Microsoft SQL Server في الواجهة الخلفية القائمة على إطار العمل .NET. تحلل الواجهة الخلفية البيانات لاستبعاد الأخبار التي شاهدها المستخدم بالفعل. وفي واجهة المستخدم (UI)، يمكن للمستخدمين الاطّلاع على عدد الأخبار المتعلقة بالشركة أو المؤسسة المستهدفة، كما يمكنهم النقر على كل خبر لعرض ملخص موجز، مع إمكانية الانتقال مباشرة إلى مصدره.

نقل المعرفة إلى الفريق الداخلي لدى العميل

بعد تجربة الحل، كان العميل راضيًا تمامًا عن النتائج. وقد أجرى فريقنا سلسلة من جلسات نقل المعرفة للفريق الداخلي للعميل، مع التركيز على تعديل الحل في حالة تغيّر بنية مواقع الويب. كما قدمنا للعميل وثائق برمجية شاملة للحل.

أتمتة فحص الأخبار لتجنب الفرص الاستثمارية الضائعة

بفضل دعم ساينس سوفت، حصل العميل على حلّ مبتكر لاستخراج بيانات الويب، يفحص تلقائيًا المواقع الإلكترونية للأسواق المالية، ويحدد المصادر التي تتضمن معلومات جديدة عن الشركات أو المؤسسات المستهدفة. وبعد نقل المعرفة، أصبح بإمكان فريق العميل صيانة وتعديل أدوات استخراج البيانات من الويب للتكيف مع أي تغييرات في المواقع الإلكترونية الإخبارية. أسهم الحل في تقليص وقت البحث عن التحديثات الإخبارية بقدرٍ كبير، وساعد في اتخاذ قرارات استثمارية مبنية على آخر مستجدات السوق.

التقنيات والأدوات

Selenium, Selenium Grid, .NET, Angular, Microsoft SQL Server.