Scrapy: نظام مخصص متعدد الزواحف

بنية تحتية قابلة للتوسع لحصاد البيانات للمعلومات الوصفية مفتوحة المصدر عالية الأبعاد

نظرة عامة

• الدور: متدرب هندسة برمجيات (مطور رئيسي)
• التقنيات المستخدمة: Scrapy، Selenium، Python، قاعدة بيانات NoSQL، خدمات مصغرة معبأة (Containers)، CI/CD، تدوير الوكلاء (Proxy Rotation)
• النتيجة الرئيسية: دقة استخراج بيانات بلغت 100% عبر أكثر من 60 متغيرًا هيكليًا من سجلات الويب العامة المعقدة
• الملخص: تطوير بنية تحتية مخصصة لجمع وكشط البيانات بمستوى الإنتاج (Production-grade)، مصممة لحصاد وهيكلة البيانات الوصفية المعقدة بشكل منهجي من منصات الويب الديناميكية. تم بناء خط المعالجة (Pipeline) بالتعاون الوثيق مع قائد الفريق الفني، والمطورين الأقدم والأحدث، حيث يعالج البيانات الخام ويخزنها في مستودع مهيكل لدعم محركات التحليل اللاحقة.

المشكلة

• التحدي: تعتمد التطبيقات الحديثة على كميات هائلة من البيانات العامة والحزم مفتوحة المصدر الموزعة عبر سجلات متعددة. يعد جمع البيانات الوصفية عالية الأبعاد (أشجار الاعتماديات، سلامة الحزم، ملفات تعريف المؤلفين، وإحصاءات التنزيل) أمرًا صعبًا على نطاق واسع. غالبًا ما تكون الصفحات عبارة عن تطبيقات الصفحة الواحدة (SPAs) ذات صيرورة ديناميكية معقدة من جانب العميل (Client-side rendering)، وغالبًا ما تؤدي طلبات HTTP البسيطة إلى تفعيل قيود معدل الطلبات (Rate limits) أو حظر عناوين IP.
• الجمهور المستهدف: محركات التحليل الخلفية ومنصات تحليل البيانات.
• القيود:
  • صيرورة المحتوى الديناميكي التي تتطلب التفاعل مع متصفح بلا واجهة رسومية (Headless browser).
  • قيود معدل الطلبات وحظر عناوين IP من المضيفين العموميين الكبار.
  • مخططات بيانات معقدة (خرائط وتطبيع لأكثر من 60 سمة عبر منصات مختلفة).
  • تصميم خدمات معبأة في حاويات لتشغيلها بسلاسة ضمن قيود صارمة للموارد والصلاحيات.

النهج والقرارات

• البنية الهيكلية: إطار عمل زحف مجزأ (Modular) يعتمد على Scrapy ويعمل في بيئات حاويات معزولة، باستخدام خطوط معالجة مدعومة بقواعد بيانات ومحفزات تلقائية.
• القرارات الرئيسية:
  • برمجيات وسيطة مخصصة للتنزيل باستخدام Selenium: تم بناؤها للتعامل مع الجداول الديناميكية التي يتم تصييرها بواسطة JavaScript وتوسيع المحددات (Selectors) بسلاسة، مما يضمن تحميل عناصر الصفحة بالكامل قبل عملية التحليل (Parsing).
  • أعباء العمل المعبأة في حاويات: تم حزم العناكب (Spiders)، والبرمجيات الوسيطة، وملفات Chrome الثنائية بلا واجهة (Headless) في حاويات نمطية لدعم التوسع ودورات النشر السريعة.
  • حفظ البيانات في NoSQL: تم استخدام مخطط تخزين مرن يعتمد على NoSQL للتعامل مع أعباء كتابة أكثر من 60 معلمة ديناميكية دون الحاجة لإجراء عمليات ترحيل للمخطط (Schema migrations) عند تحديث المواقع المصدرية.
• المقايضات: يعد تشغيل المتصفح بلا واجهة (Headless browser) أبطأ من طلبات HTTP القياسية. تم تحسين برمجيات التنزيل الوسيطة لتشغيل Selenium فقط للصفحات التي تتطلب تصيير JS من جانب العميل، مع استخدام طلبات HTTP غير المتزامنة الأصلية للنقاط النهائية الثابتة وواجهات البرمجة العامة (APIs).

النتائج الرئيسية والأثر

• النتيجة: تم بنجاح كشط حوالي 1,200 صفحة مصدر ديناميكية وإدارة استخراج البيانات عبر واجهات البرمجة على نطاق واسع، مما أدى إلى تجميع مجموعة بيانات غنية تغطي أكثر من 60 سمة هيكلية.
• الدقة: المحافظة على دقة استخراج بيانات بلغت 100% محكومة باختبارات محددات تلقائية وقواعد احتياطية هيكلية.
• الأثر: توفير تدفقات بيانات وصفية نظيفة ومهيكلة مكنت محركات التحليل الخلفية من إجراء عمليات تدقيق شاملة للحزم والتحقق من صحة البيانات.

التعمق التقني

• تفاصيل بارزة:
  • تم تجاوز مكدس البرمجيات الوسيطة لتشغيل مثيلات المتصفح بلا واجهة ديناميكيًا عند الطلب بناءً على علامات طلب مخصصة.
  • بناء برمجيات وسيطة مخصصة لتدوير الوكلاء (Rotating Proxy) للتعامل مع انقطاعات الاتصال المؤقتة وقيود معدل الطلبات تلقائيًا.
• التحقق من الصحة: إنشاء أدوات تحقق محلية لاختبار محددات التحليل مقابل لقطات ثابتة للصفحات للتحقق من منطق الاستخراج قبل النشر.
• التحسينات: ضبط التزامن (Concurrency) وتأخيرات التنزيل في Scrapy لتحسين معدل نقل البيانات مع الحفاظ على بصمة خفيفة للعناكب.

تأملات ودروس مستفادة

• ما كنت لأفعله بشكل مختلف: كنت لأستكشف دمج أدوات تحليل ديناميكية تعتمد على التعلم الآلي (مثل التحليل الهيكلي بمساعدة النماذج اللغوية الكبيرة) للتكيف تلقائيًا مع تغييرات التخطيط دون الحاجة لتحديث المحددات يدويًا.
• النجاحات: تم بنجاح تنفيذ النظام بالكامل من البداية إلى النهاية، مما وفر أداة كشط مرنة مجهزة بأدوات تحليل احتياطية هيكلية تحمي العناكب من التعطل أثناء تحديثات التخطيط. تم تحقيق ذلك من خلال مراجعات الكود القيمة، التوجيه المعماري، وحلقة التغذية الراجعة المستمرة مع قائد الفريق والمطورين الأقدم والأحدث.
• الدروس: إن إدارة عمليات النشر المشتركة بين الفرق ومشاركة الموارد تسلط الضوء على أهمية تصميم بيئات حاويات محمولة ومكتفية ذاتيًا تقلل من الاعتماد على الأنظمة الخارجية.

مساهماتي

• هندسة البنية التحتية للكاشط: تصميم وبناء محرك Scrapy الأساسي بالكامل، مع تنفيذ برمجيات وسيطة مخصصة لدمج Selenium وقواعد تدوير الوكلاء.
• تكامل خطوط معالجة البيانات: تطوير خطوط معالجة Scrapy المخصصة المسؤولة عن تحليل، وتنظيف، والتحقق من صحة، وكتابة أكثر من 60 متغيرًا من البيانات الوصفية في قواعد البيانات المهيكلة.
• العمليات وحزم الحاويات (DevOps): كتابة ملفات Dockerfiles، وتحسين ملفات تعريف التشغيل المحلي، وتكوين سير عمل CI/CD لبناء ونشر الخدمات المعبأة في حاويات.

بنية المشروع

يتبع هذا النظام بنية Scrapy القياسية، مخصصة بتجاوزات قوية للبرمجيات الوسيطة من أجل التصيير الديناميكي والتخزين السحابي الآمن:

• العناكب (Spiders): عناكب مكتوبة ديناميكيًا لتحليل الهياكل المختلفة عبر الأهداف المحددة.
• البرمجيات الوسيطة المخصصة للتنزيل: برمجيات وسيطة مخصصة للتنزيل تقاطع الطلبات وتستبدل جالب البيانات الافتراضي عبر HTTP بمثيل Web Driver مدفوع بـ Selenium إذا كان التصيير من جانب العميل مطلوبًا.
• خطوط معالجة البيانات (Pipelines): تتعامل مع التحقق من صحة البيانات بعد استخراجها وتكتب العناصر النظيفة في طبقة التخزين.

ملاحظة حول الاستضافة والسرية:
تم تطوير هذا المشروع كأداة داخلية. وتعتبر الشيفرة المصدرية وتكوينات النشر الخاصة ومجموعات البيانات التي تم جمعها سرية.