E-commerce scraping là việc thường hardest trong ngành thu thập dữ liệu vì các marketplace lớn chạy bộ anti-bot hoàn thiện nhất mạng: rate limiting, chấm điểm IP reputation, JS challenge và phân tích hành vi, chồng lên nhau. Collector chỉ giải một tầng — ví dụ rotate IP nhưng fingerprint headless lộ liễu — sống được ngày, không phải tháng.

Kiến trúc 4 tầng cho e-commerce scraping

  • Tầng 1 — Danh tính: residential IP của ISP tiêu dùng. Datacenter IP chết ngay ở bước reputation; residential đi qua cửa và thấy trang thật. Rotate per request cho listing sweep, sticky cho flow cần giữ định danh.
  • Tầng 2 — Fingerprint: User-Agent, Accept-Language, timezone, kích thước màn hình phải khớp địa lý của exit IP. Dùng browser engine thật cho trang JS challenge và randomize nhẹ viewport.
  • Tầng 3 — Nhịp người: delay ngẫu nhiên thay vì cố định, chuỗi điều hướng hợp lý. Phân tích hành vi đọc cadence request; đều như metronome là tín hiệu rẻ nhất để bị bắt.
  • Tầng 4 — Logging truy vết: mỗi request gắn session, exit IP, quốc gia, số retry; mỗi response ghi status. Block wave tới thì biết subnet nào thối thay vì đoán.

Checklist trước lần chạy production đầu

  1. Exit IP pass check ASN + reputation — quy trình how to test a proxy làm được trong vài phút.
  2. Một browser profile cho mỗi geography, header khớp quốc gia/ngôn ngữ của IP.
  3. Đặt budget request/giây mỗi session và enforce bằng scheduler.
  4. Chọn chính sách 429 trước khi cần: backoff mũ, recycle session, hard stop bảo vệ pool.
  5. Gắn logging: exit IP + status cho từng request.
  6. Định tần suất: đa số dữ liệu giá không đổi từng phút.

So sánh chiến lược rotation theo loại trang

  • Trang tìm kiếm/listing: rotate per request, không cần continuity.
  • Trang sản phẩm: sticky 5–15 phút, giữ một IP trong lúc xem.
  • Cart/checkout: IP tĩnh hoặc sticky dài — một định danh cho cả funnel.
  • Dashboard account: IP tĩnh theo account, không rotate khi đã login.

Scale mà không bị ban trong 4 bước

  1. Bắt đầu một marketplace, một category; chứng minh kiến trúc trước khi nhân target.
  2. Chia traffic: sweep trên rotation, sản phẩm/cart trên sticky, account trên IP tĩnh riêng.
  3. Giới hạn concurrency mỗi subnet — 10 worker nhẹ nhàng hơn 100 worker hung hăng.
  4. Chạm 429 là lùi ngay: tăng gấp đôi delay, recycle session, quay lại sau backoff window.

FAQ

Tránh ban khi scrape e-commerce thế nào?

Giảm xác suất chứ không triệt tiêu: residential sạch, fingerprint khớp, nhịp người, backoff 429 kỷ luật. Nhịp request là đòn bẩy lớn nhất.

Proxy nào tốt nhất cho Amazon?

Rotating residential có sticky: per-request cho listing, sticky cho sản phẩm/cart, IP tĩnh cho account. Datacenter chết ở tầng reputation.

FTProxy residential proxies — identity ISP tiêu dùng sạch, rotation per-request và sticky trong một pool.