이커머스 스크래핑은 데이터 수집 업계에서 가장 어려운 루틴 작업입니다. 대형 마켓플레이스는 인터넷에서 가장 성숙한 안티봇 스택을 운영합니다: 요청 속도 제한, IP 평판 스코어링, JavaScript 챌린지, 행동 분석을 겹쳐 쌓았습니다. 한 계층만 해결하는 수집기—IP는 로테이션하지만 헤드리스 지문이 드러남—는 며칠만 버텨요.
이커머스 스크래핑의 4계층 아키텍처
- 계층 1 — 신원: 소비자 ISP 레지덴셜 IP. 데이터센터는 평판 검사에서 즉사하고, 레지덴셜은 문을 통과해 실제 상품 페이지를 봅니다. 리스팅 수집은 요청당 로테이션, 신원 유지 플로우는 스티키.
- 계층 2 — 지문 위생: User-Agent, Accept-Language, 시간대, 화면 지오메트리를 출구 IP의 지리와 일치. JS 챌린지는 실제 브라우저 엔진, 뷰포트는 가볍게 랜덤화.
- 계층 3 — 인간 리듬: 고정 간격 대신 무작위 지연, 그럴듯한 탐색 순서. 행동 분석은 요청 박자를 읽습니다; 메트로놈 타이밍이 가장 싸게 잡히는 신호.
- 계층 4 — 어트리뷰션 로깅: 모든 요청에 세션·출구 IP·국가·재시도 수를 태그, 모든 응답에 상태 기록. 차단 물결을 서브넷 단위로 귀속할 수 있어요.
첫 프로덕션 실행 전 체크리스트
- 출구 IP가 ASN·평판 검사 통과 — 프록시 테스트 방법으로 몇 분이면 됩니다.
- 출구 지리마다 브라우저 프로필 1개, 헤더는 IP의 국가·언어와 일치.
- 세션별 초당 요청 예산을 정하고 스케줄러에서 강제.
- 429 정책을 미리 정의: 지수 백오프, 세션 재활용, 풀 보호를 위한 하드 스톱.
- 로깅 배선: 모든 요청에 출구 IP와 상태.
- 갱신 주기 결정: 대부분의 가격 데이터는 매분 바뀌지 않습니다.
페이지 유형별 로테이션 전략 비교
- 검색·리스팅: 요청당 로테이션, 세션 연속성 불필요.
- 상품 상세: 스티키 5~15분, 열람 중에는 동일 IP.
- 장바구니·결제: 정적 또는 긴 스티키 — 퍼널 전체에서 하나의 신원.
- 계정 대시보드: 계정별 정적 IP, 로그인 후 절대 로테이션 금지.
밴 없이 확장하는 4단계
- 먼저 한 마켓 한 카테고리, 아키텍처 증명 후 복제.
- 트래픽 분할: 스윕은 로테이션, 상품/장바구니는 스티키, 계정은 전용 정적 IP.
- 서브넷별 동시성 제한 — 온화한 워커 10개가 공격적인 100개를 이깁니다.
- 429면 즉시 백오프: 지연 두 배, 세션 재활용, 백오프 창 후 재개.
FAQ
이커머스 스크래핑에서 밴을 피하려면?
확률을 낮추는 것이지 없애는 게 아닙니다: 깨끗한 레지덴셜 ASN, 일치하는 지문, 인간 리듬, 규율 있는 429 백오프. 요청 박자가 가장 큰 레버.
Amazon에 가장 좋은 프록시는?
스티키 지원 로테이팅 레지덴셜: 리스팅은 요청당, 상품/장바구니는 스티키, 계정은 정적 IP. 데이터센터는 평판 계층에서 탈락.
FTProxy 레지덴셜 프록시 — 깨끗한 소비자 ISP 신원, 요청당 로테이션과 스티키를 한 풀에서.