프록시로 아마존을 스크래핑하는 일은 속도 문제가 아니라 지리와 페이싱 문제입니다. 같은 ASIN도 요청이 어디서 나가느냐에 따라 가격, Buy Box 판매자, 때로는 재고가 달라집니다. 그래서 빠르게 회전하기만 하는 IP는 보이지 않는 방식으로 틀린 데이터를 만듭니다.

이 글은 아마존이 IP로 무엇을 개인화하는지, 마켓플레이스와 지역별로 주거용 IP를 고정하는 방법, 회전이 정확성을 깨는 경우를 다룹니다.

아마존이 지리로 개인화하는 항목

  • 가격과 통화: 환산, 세금 표시, 프로모션 가격이 도메인과 국가 내 감지 지역에 따라 달라집니다. 같은 ASIN에 두 번 요청해 서로 다른 합계가 나오는 것은 정상입니다.
  • Buy Box 소유자: 어떤 판매자가 Buy Box를 얻는지는 배송지, 판매자 성과, 재고로 요청마다 결정됩니다. 잘못된 지역의 IP는 고객이 절대 보지 못하는 판매자에게 Box를 줄 수 있습니다.
  • 재고와 배송 약속: “재고 있음”, 배송일, Prime 자격은 IP에서 추론한 목적지로 계산됩니다. 유럽 출구로 미국을 크롤하면 잘못된 배송 약속이 나옵니다.
  • 리뷰와 콘텐츠 변형: 리뷰 모집단, “함께 본 상품” 레일, 현지화된 제목이 마켓플레이스마다 다르고 같은 도메인 안에서도 부분 현지화가 나타납니다.

첫 크롤 전 5가지 점검

  1. 대상을 마켓플레이스와 지역의 조합으로 나열합니다. amazon.com/US-East, amazon.com/US-West, amazon.de, amazon.co.jp처럼요.
  2. 조합별로 지역 고정 주거용 IP 풀을 확보하고 동시성과 추적 카탈로그 수에 맞춰 크기를 정합니다.
  3. 페이지 유형별로 결정합니다. 검색 페이지는 회전이 가능하지만 상품 상세는 불가합니다. 중간 IP 변경이 오퍼 집합을 바꿀 수 있습니다.
  4. 마켓플레이스에 맞는 Accept-Language, 통화 쿠키, 그럴듯한 타임존을 설정합니다. 독일 IP에 일본어 로케일은 실제 사용자에게 없는 하이브리드 페이지입니다.
  5. 요청마다 5~15초 무작위 지연을 넣고 가끔 더 길게 쉽니다. 균일한 고속 버스트는 제한을 받는 가장 확실한 길입니다. 모든 오퍼에 타임스탬프, 출구 IP, 지역을 기록합니다.

페이지 유형과 프록시 전략

  • 검색 결과 — 같은 지역 풀 안에서 요청별 회전. 양이 많고 상태가 적습니다.
  • 상품 상세 — 수집 전체에 스티키, 5~15분. 가격, Buy Box, 배송 약속이 하나의 아이덴티티에서 나와야 합니다.
  • 리뷰 — 스티키로 페이지네이션에도 같은 IP 사용. 중간에 회전하면 중복이 돌아옵니다.
  • Best Sellers와 Deals — 요청별 회전, 정해진 시각에 샘플링. IP 다양성보다 샘플링 시각의 일관성이 중요합니다.

파이프라인 구축 단계

  1. 먼저 마켓플레이스 하나와 지역 하나로 시작합니다. 가격, Buy Box, 배송 필드가 안정된 뒤 두 번째 지역을 추가하세요.
  2. 지역 고정 IP로 접속하고 요청 전에 출구 국가와 ASN을 검증합니다.
  3. 마켓플레이스에 맞는 헤더와 쿠키를 보냅니다. 언어, 통화, 상세 수집 동안 유지되는 세션입니다.
  4. 5~15초 무작위 페이싱과 429에서 지수 백오프를 적용합니다. 503이나 CAPTCHA면 회전하고 해당 대상을 몇 분 쿨다운합니다. 방어적으로 파싱하고 필드별 원본 HTML을 저장하며 오퍼당 한 행을 기록합니다.

자주 묻는 질문

프록시를 써도 아마존이 차단하는 이유

대개 IP가 아니라 행동이 방아쇠입니다. 일정한 간격, 수천 번의 요청에 동일한 헤더 조합, 신고된 기기와 모순되는 핑거프린트 같은 것입니다. 프록시는 네트워크 신원만 바꿉니다. 페이싱을 고치고 헤더를 그럴듯하게 변화시키고 세션 내 쿠키를 일관되게 유지하며, IP를 더 사기 전에 동시성을 낮추세요.

아마존에 가장 좋은 프록시 유형

마켓플레이스 지역에 고정한 주거용 IP입니다. 데이터센터 대역은 널리 알려져 있고 종종 저하된 응답(다른 레이아웃, 잘린 오퍼)을 받아 요청이 성공해도 데이터가 오염됩니다. Buy Box와 배송 약속이 실제 구매자와 비슷해지는 것도 주거용 IP의 효과입니다.

리뷰를 중복 없이 수집하는 방법

리뷰 크롤마다 스티키 IP 하나를 유지하고 그 세션 안에서 페이지네이션합니다. 목록이 세션 상태에 의존하기 때문입니다. 위치가 아니라 리뷰 ID로 중복을 제거하고, “상위”와 “최신”을 따로 수집한 뒤 일정에 따라 다시 크롤해 ID로 차이를 비교합니다.

아마존 스크래핑은 합법인가

관할, 수집 데이터, 사용 방식에 따라 다릅니다. 공개 상품 데이터는 개인정보와 다르게 취급되는 경우가 많지만 이용약관은 적용됩니다. 필요한 것만 수집하고 개인정보를 피하며 속도 제한을 지키고, 구체적 사안에 대해 법률 검토를 받으세요.

결론

아마존은 느리고 지리적으로 일관된 수집을 보상하고 빠르고 균일한 수집을 벌합니다. 마켓플레이스와 지역별로 주거용 IP를 고정하고, 상태 없는 페이지에서만 회전하고, 5~15초로 페이싱하며, 모든 오퍼에 타임스탬프와 출구 IP를 남기세요. FTProxy 주거용 프록시로 시작하고 지역 필드를 스키마의 일급 항목으로 다루세요.