Scrape Amazon với proxy thực chất không phải bài toán tốc độ mà là bài toán địa lý và nhịp độ. Cùng một ASIN hiển thị giá khác, người thắng buy-box khác, đôi khi tồn kho khác tùy nơi request xuất phát — nên một IP chỉ biết xoay nhanh sẽ tạo ra dữ liệu sai theo cách bạn không nhìn thấy.

Bài này nói về những gì Amazon cá nhân hóa theo IP, cách ghim IP residential theo marketplace và vùng, khi nào rotation giúp và khi nào phá độ chính xác, cùng kỷ luật snapshot theo thời gian.

Amazon cá nhân hóa theo địa lý những gì

  • Giá và tiền tệ: quy đổi, hiển thị thuế và giá khuyến mại thay đổi theo tên miền marketplace và theo vùng phát hiện được trong quốc gia. Hai request cho cùng ASIN có thể trả về hai tổng tiền khác nhau.
  • Quyền sở hữu buy-box: seller nào thắng Buy Box được quyết theo từng request dựa trên điểm giao hàng, hiệu suất seller và tồn kho. IP ở sai vùng có thể trao buy-box cho seller mà khách của bạn không bao giờ thấy.
  • Tồn kho và cam kết giao hàng: “còn hàng”, ngày giao và điều kiện Prime được tính từ điểm đến suy ra từ IP. Crawl US qua exit châu Âu sẽ báo sai cam kết giao hàng.
  • Review và biến thể nội dung: tập review, rail “khách cũng xem” và tiêu đề bản địa hóa khác nhau theo marketplace, và bản địa hóa một phần xuất hiện ngay trong cùng một tên miền.

Checklist 5 điểm trước lần crawl đầu

  1. Liệt kê target dưới dạng cặp marketplace + vùng — amazon.com/US-East, amazon.com/US-West, amazon.de, amazon.co.jp — chứ không chỉ tên miền.
  2. Dành một pool IP residential ghim theo từng cặp, đủ cho concurrency và số catalog theo dõi.
  3. Quyết định theo loại trang: trang search chịu được rotation, trang chi tiết sản phẩm thì không vì đổi IP giữa chừng có thể đổi bộ offer.
  4. Đặt Accept-Language, cookie tiền tệ và timezone hợp lý theo marketplace. Locale Nhật trên IP Đức tạo ra trang hybrid không khớp người dùng thật nào.
  5. Delay ngẫu nhiên 5–15 giây mỗi request, thỉnh thoảng dừng lâu hơn; burst đều đặn là cách chắc chắn nhất để bị throttle. Ghi timestamp, exit IP và vùng cho mọi offer đã lấy.

So sánh loại trang và chiến lược proxy

  • Trang search — rotate theo request trong cùng pool vùng; khối lượng lớn, ít state.
  • Chi tiết sản phẩm — sticky suốt lần lấy dữ liệu 5–15 phút; giá, buy-box và giao hàng phải đến từ một danh tính.
  • Review — sticky và dùng lại cùng IP cho phân trang; đổi IP giữa danh sách sẽ trả về bản trùng.
  • Best Sellers và Deals — rotate theo request, lấy mẫu vào giờ cố định; thời điểm lấy mẫu quan trọng hơn đa dạng IP.

Các bước xây pipeline

  1. Bắt đầu với một marketplace và một vùng. Ổn định trường giá, buy-box, giao hàng trước khi thêm vùng thứ hai, nếu không sẽ không phân biệt được lỗi parse và khác biệt vùng.
  2. Đi qua IP ghim vùng và xác minh quốc gia, ASN trước khi request.
  3. Gửi header và cookie phù hợp marketplace: ngôn ngữ, tiền tệ, session duy trì suốt lần lấy chi tiết.
  4. Áp pacing ngẫu nhiên 5–15 giây, backoff exponential khi 429; gặp 503 hoặc CAPTCHA thì rotate và cho target cool-down vài phút. Parse phòng thủ, lưu HTML thô cho từng trường, và ghi mỗi offer một dòng kèm thời gian, exit IP, vùng, tiền tệ, seller.

Câu hỏi thường gặp

Vì sao Amazon vẫn chặn dù đã dùng proxy?

Thường là do hành vi chứ không phải IP: khoảng cách request đều nhau, bộ header giống hệt nhau qua hàng nghìn request, hoặc fingerprint mâu thuẫn với thiết bị khai báo. Proxy chỉ đổi danh tính mạng. Hãy sửa pacing, đa dạng header hợp lý, giữ cookie nhất quán trong session và giảm concurrency trước khi mua thêm IP.

Loại proxy nào tốt nhất cho Amazon?

Residential ghim theo vùng marketplace. Dải datacenter được biết đến rộng rãi và thường nhận trải nghiệm bị hạ cấp — layout khác hoặc bộ offer bị cắt — làm hỏng dữ liệu dù request thành công. Residential cũng là thứ khiến buy-box và cam kết giao hàng giống người mua thật.

Thu thập review mà không trùng lặp thế nào?

Giữ một sticky IP cho mỗi lần crawl review và phân trang trong session đó, vì danh sách review phụ thuộc state. Khử trùng theo review ID thay vì vị trí, lấy riêng view “top” và “mới nhất”, rồi crawl lại theo lịch và diff theo ID để bắt chỉnh sửa và xóa.

Scrape Amazon có hợp pháp không?

Tùy quyền hạn pháp lý, loại dữ liệu và cách bạn dùng. Dữ liệu sản phẩm công khai thường được đối xử khác dữ liệu cá nhân, và điều khoản dịch vụ vẫn áp dụng. Chỉ thu thập thứ bạn cần, tránh thông tin cá nhân, tôn trọng rate limit và hỏi ý kiến pháp lý cho trường hợp cụ thể.

Kết luận

Amazon thưởng cho việc thu thập chậm và nhất quán về địa lý, phạt việc thu thập nhanh và đều đặn. Ghim IP residential theo marketplace và vùng, chỉ rotate ở trang stateless, pacing 5–15 giây và snapshot mọi offer kèm timestamp, exit IP. Bắt đầu với FTProxy residential proxies và coi trường vùng là phần hạng nhất của schema.