Scrapy: 커스텀 멀티 크롤러 시스템

고차원 오픈소스 메타데이터 수집을 위한 확장 가능한 데이터 하베스팅 인프라

---

개요

• 역할: 소프트웨어 엔지니어 인턴 (핵심 개발자)
• 기술 스택: Scrapy, Selenium, Python, NoSQL 데이터베이스, 컨테이너화된 마이크로서비스, CI/CD, 프록시 로테이션
• 핵심 성과: 복잡한 공공 웹 레지스트리 내 60개 이상의 구조적 변수 전반에 걸쳐 데이터 추출 정확도 100% 달성
• 요약: 동적 웹 플랫폼에서 복잡한 메타데이터를 체계적으로 수집하고 구조화하기 위해 설계된 프로덕션 급 커스텀 스크래핑 및 데이터 집계 인프라를 개발했습니다. 기술 리드, 시니어 및 주니어 팀원들과의 긴밀한 협업을 통해 원시 데이터를 구조화된 저장소로 처리하여 다운스트림 분석 엔진을 지원하는 파이프라인을 구축했습니다.

---

문제 해결 과정 (The Problem)

• 도전 과제: 현대적인 애플리케이션들은 다양한 레지스트리에 분산되어 있는 방대한 양의 공개 데이터와 오픈소스 패키지에 의존합니다. 고차원 메타데이터(의존성 트리, 패키지 무결성, 작성자 프로필, 다운로드 통계 등)를 대규모로 수집하는 것은 어렵습니다. 페이지들은 종종 복잡한 동적 클라이언트 사이드 렌더링이 포함된 싱글 페이지 애플리케이션(SPA)이며, 단순한 HTTP 요청은 자주 속도 제한이나 IP 차단을 유발합니다.
• 대상: 백엔드 분석 엔진 및 데이터 분석 플랫폼.
• 제약 조건:
  • 헤드리스 브라우저 상호작용이 필요한 동적 콘텐츠 렌더링.
  • 대형 퍼블릭 호스트로부터의 속도 제한 및 IP 제한.
  • 복잡한 스키마 (서로 다른 플랫폼에서 60개 이상의 속성을 매핑 및 정규화).
  • 제한된 리소스 및 권한 한도 내에서 원활하게 작동하도록 컨테이너화된 서비스 설계.

---

접근 방식 및 의사 결정

• 아키텍처: 격리된 컨테이너 환경에서 실행되며 데이터베이스 기반 파이프라인 및 자동 트리거를 활용하는 모듈형 Scrapy 기반 크롤링 프레임워크.
• 주요 의사 결정:
  • 커스텀 Selenium 다운로더 미들웨어: 동적 JavaScript 렌더링 테이블을 처리하고 셀렉터를 원활하게 확장하도록 설계하여, 구문 분석 전에 페이지 요소가 완전히 로드되도록 보장합니다.
  • 컨테이너화된 워크로드: 스파이더, 미들웨어, Chrome 헤드리스 바이너리를 모듈형 컨테이너로 패키징하여 확장성과 빠른 배포 주기를 지원했습니다.
  • NoSQL 영속성: 소스 웹사이트가 업데이트될 때 스키마 마이그레이션 없이 60개 이상의 동적 매개변수에 대한 쓰기 부하를 처리하기 위해 유연한 NoSQL 스토리지 방식을 사용했습니다.
• 트레이드오프: 헤드리스 브라우저 실행은 표준 요청보다 느립니다. 따라서 클라이언트 사이드 JS 렌더링이 필요한 페이지에만 Selenium을 실행하고, 정적 엔드포인트 및 퍼블릭 API에는 네이티브 비동기 HTTP 요청을 사용하도록 다운로더 미들웨어를 최적화했습니다.

---

핵심 성과 및 영향력

• 성과: 약 1,200개의 동적 소스 페이지를 성공적으로 스크래핑하고 대규모 API 추출을 관리하여, 60개 이상의 구조적 속성에 걸친 풍부한 데이터 세트를 수집했습니다.
• 정확도: 자동화된 셀렉터 테스트 및 구조적 폴백 규칙을 기반으로 100% 데이터 추출 정확도를 유지했습니다.
• 영향력: 백엔드 분석 엔진이 포괄적인 패키지 감사 및 데이터 검증을 수행할 수 있도록 정제되고 구조화된 메타데이터 피드를 제공했습니다.

---

기술적 상세 분석 (Technical Deep Dive)

• 주요 세부 사항:
  • 커스텀 요청 플래그를 기반으로 필요에 따라 헤드리스 브라우저 인스턴스를 동적으로 구동하도록 미들웨어 스택을 재정의했습니다.
  • 일시적인 연결 끊김 및 속도 제한을 자동으로 처리하기 위해 커스텀 로테이팅 프록시 미들웨어를 구축했습니다.
• 검증: 배포 전 추출 로직을 확인하기 위해 페이지 스냅샷과 비교하여 파싱 셀렉터를 테스트하는 로컬 검증 도구를 개발했습니다.
• 최적화: 스파이더의 리소스 점유율을 가볍게 유지하면서 처리량을 극대화하기 위해 Scrapy 동시성 및 다운로드 지연 시간을 조정했습니다.

---

회고 및 고찰

• 개선 방향: 레이아웃 변경에 수동 셀렉터 업데이트 없이 자동 적응할 수 있도록 기계 학습 기반 동적 파서(예: LLM 지원 구조 분석)의 통합을 고려해 볼 것입니다.
• 성공 요인: 레이아웃 업데이트 중에 스파이더가 손상되지 않도록 보호하는 구조적 폴백 앵커 파서를 탑재한 복원력 있는 스크래핑 도구를 구현하며 시스템을 성공적으로 엔드투엔드로 구축했습니다. 이는 기술 리드, 시니어 및 주니어 동료들의 유익한 코드 리뷰, 아키텍처 가이드라인, 그리고 지속적인 피드백 루프 덕분이었습니다.
• 교훈: 교차 팀 배포 및 리소스 공유 과정을 거치며, 외부 시스템 의존성을 최소화하는 독립적이고 이식성 높은 컨테이너 환경 설계의 중요성을 깊이 깨달았습니다.

---

기여한 내용

• 스크래퍼 인프라 엔지니어링: 전체 핵심 Scrapy 엔진을 설계 및 구축했으며, Selenium 연동 및 프록시 로테이션 규칙을 위한 커스텀 미들웨어를 구현했습니다.
• 데이터 파이프라인 통합: 60개 이상의 메타데이터 변수를 파싱, 정제, 검증하고 구조화된 데이터베이스에 쓰는 역할을 담당하는 커스텀 Scrapy 파이프라인을 개발했습니다.
• DevOps 및 컨테이너화: Dockerfile을 작성하고 로컬 실행 프로필을 최적화했으며, 컨테이너화된 서비스를 빌드 및 배포하기 위한 CI/CD 워크플로우를 구성했습니다.

---

프로젝트 아키텍처

본 시스템은 표준 Scrapy 아키텍처를 따르며, 동적 렌더링 및 안전한 클라우드 스토리지를 위해 미들웨어를 대폭 커스터마이징했습니다.

• Spiders: 대상 웹사이트별로 서로 다른 구조를 파싱하도록 동적으로 작성되었습니다.
• 커스텀 다운로더 미들웨어: 요청을 가로채고, 클라이언트 사이드 렌더링이 필요한 경우 기본 HTTP 패처를 Selenium 기반 웹 드라이버 인스턴스로 대체합니다.
• 데이터 파이프라인: 추출 후 데이터 검증을 처리하고 정제된 아이템을 스토리지 레이어에 씁니다.

---

호스팅 및 기밀 유지 참고 사항:
본 프로젝트는 내부 도구로 개발되었습니다. 소스 코드, 프라이빗 배포 구성 및 수집된 데이터 세트는 기밀 사항입니다.