E-commerce scraping là việc thường hardest trong ngành thu thập dữ liệu vì các marketplace lớn chạy bộ anti-bot hoàn thiện nhất mạng: rate limiting, chấm điểm IP reputation, JS challenge và phân tích hành vi, chồng lên nhau. Collector chỉ giải một tầng — ví dụ rotate IP nhưng fingerprint headless lộ liễu — sống được ngày, không phải tháng.
Kiến trúc 4 tầng cho e-commerce scraping
- Tầng 1 — Danh tính: residential IP của ISP tiêu dùng. Datacenter IP chết ngay ở bước reputation; residential đi qua cửa và thấy trang thật. Rotate per request cho listing sweep, sticky cho flow cần giữ định danh.
- Tầng 2 — Fingerprint: User-Agent, Accept-Language, timezone, kích thước màn hình phải khớp địa lý của exit IP. Dùng browser engine thật cho trang JS challenge và randomize nhẹ viewport.
- Tầng 3 — Nhịp người: delay ngẫu nhiên thay vì cố định, chuỗi điều hướng hợp lý. Phân tích hành vi đọc cadence request; đều như metronome là tín hiệu rẻ nhất để bị bắt.
- Tầng 4 — Logging truy vết: mỗi request gắn session, exit IP, quốc gia, số retry; mỗi response ghi status. Block wave tới thì biết subnet nào thối thay vì đoán.
Checklist trước lần chạy production đầu
- Exit IP pass check ASN + reputation — quy trình how to test a proxy làm được trong vài phút.
- Một browser profile cho mỗi geography, header khớp quốc gia/ngôn ngữ của IP.
- Đặt budget request/giây mỗi session và enforce bằng scheduler.
- Chọn chính sách 429 trước khi cần: backoff mũ, recycle session, hard stop bảo vệ pool.
- Gắn logging: exit IP + status cho từng request.
- Định tần suất: đa số dữ liệu giá không đổi từng phút.
So sánh chiến lược rotation theo loại trang
- Trang tìm kiếm/listing: rotate per request, không cần continuity.
- Trang sản phẩm: sticky 5–15 phút, giữ một IP trong lúc xem.
- Cart/checkout: IP tĩnh hoặc sticky dài — một định danh cho cả funnel.
- Dashboard account: IP tĩnh theo account, không rotate khi đã login.
Scale mà không bị ban trong 4 bước
- Bắt đầu một marketplace, một category; chứng minh kiến trúc trước khi nhân target.
- Chia traffic: sweep trên rotation, sản phẩm/cart trên sticky, account trên IP tĩnh riêng.
- Giới hạn concurrency mỗi subnet — 10 worker nhẹ nhàng hơn 100 worker hung hăng.
- Chạm 429 là lùi ngay: tăng gấp đôi delay, recycle session, quay lại sau backoff window.
FAQ
Tránh ban khi scrape e-commerce thế nào?
Giảm xác suất chứ không triệt tiêu: residential sạch, fingerprint khớp, nhịp người, backoff 429 kỷ luật. Nhịp request là đòn bẩy lớn nhất.
Proxy nào tốt nhất cho Amazon?
Rotating residential có sticky: per-request cho listing, sticky cho sản phẩm/cart, IP tĩnh cho account. Datacenter chết ở tầng reputation.
FTProxy residential proxies — identity ISP tiêu dùng sạch, rotation per-request và sticky trong một pool.