레지덴셜 프록시 웹 스크래핑의 성패는 코드의 요령이 아니라 아키텍처에서 갈립니다. 첫 페이지는 완벽하다가 다섯째 페이지에서 403을 받는 스크래퍼는 고장이 아니라 자폭입니다. 사이트는 여러 신호로 동시에 채점합니다: 어느 IP에서 왔는지, 지문과 일치하는지, 세션의 행동, 패턴이 오늘 아침의 천 개 스크립트와 닮았는지.

레지덴셜 프록시는 첫 신호——IP——를 Comcast·Vodafone·NTT·Viettel 같은 ISP의 실제 소비자 주소로 해결합니다. 그러나 IP은 오디션에 불과합니다. 지문·페이스·지역·오류 처리도 IP과 일치해야 합니다. 모두 맞으면 몇 달을 달리고, 한 계층이 빠지면 나머지는 무의미합니다. 스크래핑에는 법적·약관상 경계가 있어 실전 구성은 첫날부터 이를 존중합니다.

5계층 아키텍처가 필요한 이유

오래 사는 스크래퍼는 5계층의 적층이며 IP은 그중 하나일 뿐입니다:

  • 프록시 계층: 로테이션이 수천 가정에 분산해 단일 주소에 제한 기록이 쌓이지 않게 합니다. 연속성 작업은 스티키로 고정.
  • 신원과 지문: 진짜 Chrome은 UA·Sec-CH-UA·헤더·쿠키가 맞습니다. 지문 없는 신식 UA는 즉시 읽히는 모순.
  • 행동과 페이스: 사람은 쉬면서 봅니다. 무작위 지연, 동시성 상한, 사람 같은 시퀀스.
  • 로깅: 출구 IP·상태 코드·지연·재시도 수를 기록. 밴이 시작되면 로그가 무너진 계층을 알려줍니다.

시작 전 체크리스트

  1. 법무·약관 검토: 대상이 허용하는 범위, robots.txt, 더 싼 공식 API 유무.
  2. ASN 확인: 한 IP로 접속해 소비자 ISP 소속인지 확인.
  3. 로테이션 vs 스티키 배치: 페이지 유형별로 결정. 리스트는 로테이션, 세션 있는 것은 스티키.
  4. 페이스 예산 설정: 초당 요청 수, 지터 범위, 동시성 상한을 실행 전에 기록.
  5. 재시도 정책 정의: 지터 있는 지수 백오프, N회 실패 시 IP 교체, 소진 시 데드레터.
  6. 지역은 의도적으로 선택: 데이터가 대표할 시장에서 수집. 메커니즘은 지오타게팅 가이드 참조.

작업 유형별 프록시 전략 매칭

가장 흔한 설계 오류는 모든 곳에 하나의 전략을 쓰는 것입니다:

작업 유형프록시 전략효과 이유
리스트·카테고리요청마다 로테이션URL이 독립적. 새 IP가 커버리지 극대화
상품·상세 페이지스티키 5-15분한 방문자가 여러 페이지 열람. 쿠키가 사람 같음
결제·로그인긴 스티키, 지문 고정하나의 신원으로 전 플로우 통과
장기 가격 모니터링정기 스티키 창같은 IP·같은 시각에 비교 가능한 데이터

파이프라인 구축 단계

  1. 가장 작은 조각부터: 카테고리 하나, 시장 하나, 페이지 유형 하나.
  2. 게이트웨이 연결: SOCKS5 또는 HTTP(S) 엔드포인트, 인증 포함, 로테이션 on, 세션 작업엔 스티키 키.
  3. 지문 고정: 소수의 실제 최신 UA, 언어 헤더를 IP 국가와 일치, 스티키에서 쿠키 활성.
  4. 지터 있는 페이스: 요청 간 수 초를 무작위화. 오류율 상승 시 자동 감속.
  5. 실패 시 후퇴: 429나 403은 정지——지수 백오프, 새 IP, 소진 시 데드레터.
  6. 모니터링과 개선: 대상·IP·세션 나이별 성공률 추적. 쇼핑몰 규모는 아마존 스크래핑 가이드 참조.

흔한 실수

  • 세션 도중 로테이션——3페이지와 4페이지 사이 IP 교체가 고정보다 더 수상합니다.
  • 수 초 뒤 같은 IP 재시도——연타 재시도는 닿는 밴을 깊게 합니다.
  • 안티봇 계층 무시——깨끗한 IP만으로 부족한 대상도 있습니다. Cloudflare 회피 가이드 참조.
  • 로그 생략——디버깅에 필요한 것은 바로 로그입니다.

FAQ

IP당 몇 요청이 안전?

보편적 숫자는 없습니다. 1IP당 수십 건부터 페이스와 지터를 걸고 시작해 오류율을 보고, 나머지는 로테이션에 맡깁니다.

캡차를 없애나요?

크게 줄입니다. 저신뢰 IP라는 방아쇠가 사라지기 때문입니다. 강한 대상은 지문이나 행동으로 여전히 시험합니다.

로테이션? 스티키?

둘 다, 작업에 배정합니다. 독립 리스트는 로테이션, 페이지네이션·장바구니·로그인·모니터링 창은 스티키.

합법인가요?

기술은 합법이고 중요한 것은 용도입니다. 공개 데이터를 수집하고 약관과 robots.txt를 존중하며, 공식 API가 있으면 우선하세요.

결론

살아남는 스크래퍼는 수수합니다. 깨끗한 IP, 일관된 지문, 사람 같은 페이스, 규율 있는 재시도, 모든 것을 설명하는 로그. 레지덴셜 프록시는 신뢰 계층을 공급하고 나머지 계층이 그 신뢰를 지킵니다.

스크래퍼를 신뢰의 기반 위에: FTProxy 레지덴셜 프록시 — 로테이션·스티키·지오타게팅 내장.