Scrapy: 独自のマルチクローラーシステム

高次元オープンソースメタデータ向けの拡張可能なデータ収集インフラストラクチャ

---

概要

• 役割: ソフトウェアエンジニアインターン（コア開発者）
• 技術スタック: Scrapy, Selenium, Python, NoSQLデータベース, コンテナ化マイクロサービス, CI/CD, プロキシローテーション
• 主な成果: 複雑な公開Webレジストリにおける60以上の構造化された変数全体で**データ抽出精度100%**を達成
• サマリー: 動的なWebプラットフォームから、複雑なメタデータを体系的に収集および構造化するために設計された、プロダクションレベルのカスタムスクレイピングおよびデータ集約インフラストラクチャを開発しました。テックリード、シニア、ジュニアのチームメンバーと緊密に連携し、生データを構造化ストレージに処理して、下流の分析エンジンをサポートするパイプラインを構築しました。

---

課題

• 課題: 現代のアプリケーションは、複数のレジストリに分散された膨大な量の公開データやオープンソースパッケージに依存しています。高次元のメタデータ（依存関係ツリー、パッケージの整合性、作成者プロフィール、ダウンロード統計など）を大規模に収集することは容易ではありません。ページは複雑な動的クライアントサイドレンダリングを伴うシングルページアプリケーション（SPA）であることが多く、単純なHTTPリクエストでは頻繁にレート制限やIP制限が発生します。
• 対象読者: バックエンド分析エンジンおよびデータ分析プラットフォーム。
• 制約事項:
  • ヘッドレブラウザとの対話を必要とする動的コンテンツのレンダリング。
  • 大規模な公開ホストによるレート制限およびIP制限。
  • 複雑なスキーマ（異なるプラットフォーム間で60以上の属性をマッピングおよび標準化）。
  • 限られたリソースと権限の制約内で、コンテナ化されたサービスをスムーズに動作させる設計。

---

アプローチと意思決定

• アーキテクチャ: 隔離されたコンテナ環境で実行されるモジュール式のScrapyベースのクローリングフレームワーク。データベース連携パイプラインと自動トリガーを活用。
• 主な意思決定:
  • カスタムSeleniumダウンローダーミドルウェア: 動的なJavaScriptレンダリングテーブルの処理やセレクターの展開をシームレスに行い、パース前にページの要素が完全にロードされるように構築。
  • コンテナ化されたワークロード: スパイダー、ミドルウェア、およびChromeヘッドレスバイナリをモジュール式コンテナにパッケージ化し、スケーリングと迅速なデプロイサイクルをサポート。
  • NoSQL永続化: ソースWebサイトの更新時にスキーマ移行を行うことなく、60以上の動的なパラメータの書き込み負荷を処理できる、柔軟なNoSQLストレージスキームを採用。
• トレードオフ: ヘッドレブラウザの実行は、標準的なリクエストよりも低速です。そのため、ダウンローダーミドルウェアを最適化し、クライアントサイドのJSレンダリングが必要なページに対してのみSeleniumを実行し、静的なエンドポイントや公開APIに対してはネイティブの非同期HTTPリクエストを使用するようにしました。

---

主な成果と影響

• 成果: 約1,200の動的なソースページのスクレイピングと大規模なAPI抽出に成功し、60以上の構造化属性にわたる豊富なデータセットを構築。
• 正確性: 自動セレクターテストと構造的フォールバックルールにより、100%のデータ抽出精度を維持。
• 影響: クリーンで構造化されたメタデータフィードを提供し、バックエンドの分析エンジンが包括的なパッケージ監査やデータ検証を実行できるようにしました。

---

技術的な深掘り

• 注目すべき詳細:
  • ミドルウェアスタックをオーバーライドし、カスタムリクエストフラグに基づいてヘッドレブラウザインスタンスをオンデマンドで動的に起動する仕組みを構築。
  • 一時的な接続切断やレート制限を自動的に処理する、カスタムプロキシローテーションミドルウェアを構築。
• 検証: ローカル検証ツールを作成し、デプロイ前にページのスナップショットに対してパースセレクターをテストして抽出ロジックを検証。
• 最適化: スパイダーの負荷を抑えつつスループットを最大化するため、Scrapyの同時実行数とダウンロード遅延を調整。

---

振り返り

• 異なるアプローチの検討: レイアウトの変更に手動のセレクター更新なしで自動的に適応できるよう、機械学習ベースの動的パーサー（例：LLM支援による構造分析）の統合を検討します。
• 成功体験: テックリード、シニア、そしてジュニアの同僚からの有益なコードレビュー、アーキテクチャの指導、および継続的なフィードバックループを通じて、レイアウト更新時にスパイダーの破損を防ぐ構造的フォールバックアンカーパーサーを備えた、回復力の高いスクレイピングツールをエンドツーエンドで実装しました。
• 学んだ教訓: チームをまたぐデプロイやリソース共有を行う中で、外部システムへの依存を最小限に抑える、自己完結型でポータブルなコンテナ環境を設計することの重要性が浮き彫りになりました。

---

私の貢献

• スクレイパーインフラストラクチャ開発: Scrapyエンジンコア全体の設計と構築を行い、Selenium統合とプロキシローテーションルールのためのカスタムミドルウェアを実装。
• データパイプライン統合: 収集した60以上のメタデータ変数をパース、クレンジング、検証し、構造化データベースに書き込むカスタムScrapyパイプラインを開発。
• DevOpsとコンテナ化: Dockerfileの作成、ローカル実行プロファイルの最適化、およびコンテナ化されたサービスをビルド・デプロイするためのCI/CDワークフローの設定。

---

プロジェクトアーキテクチャ

本システムは標準的なScrapyアーキテクチャに従い、動的レンダリングと安全なクラウドストレージのために大幅なミドルウェアのオーバーライドを行っています。

• スパイダー (Spiders): ターゲットごとの異なる構造をパースするために動的に記述。
• カスタムダウンローダーミドルウェア: リクエストをインターセプトし、クライアントサイドのレンダリングが必要な場合は、デフォルトのHTTPフェッチャーをSelenium駆動のWeb Driverインスタンスに切り替え。
• データパイプライン: 抽出後の検証を処理し、クリーンなアイテムをストレージレイヤーに書き込み。

---

ホスティングおよび機密保持に関する注意:
本プロジェクトは社内ツールとして開発されました。ソースコード、プライベートなデプロイ設定、および収集されたデータセットは機密情報です。