用代理抓取亚马逊,本质不是速度问题,而是地理位置与节奏问题。同一个 ASIN 会因请求来源不同而显示不同价格、不同 Buy Box 卖家,甚至不同库存状态,所以一个只会快速轮换的 IP 会产出你察觉不到的错数据。

本文说明亚马逊按 IP 个性化哪些内容、如何按站点与地区固定住宅 IP、何时轮换会破坏准确性,以及快照与节奏纪律。

亚马逊按地理个性化什么

  • 价格与货币:换算、税费展示与促销价随站点域名变化,也随国家内识别出的地区变化。同一 ASIN 的两次请求可能合法地返回两个总价。
  • Buy Box 归属:哪个卖家赢得 Buy Box 按每次请求结合配送地、卖家表现和库存计算。位于错误地区的 IP 可能把 Buy Box 交给你的客户永远看不到的卖家。
  • 库存与配送承诺:“有货”、送达日期和 Prime 资格由 IP 推断的目的地计算。从欧洲出口抓美国站点会得到错误的配送承诺。
  • 评论与内容变体:评论人群、“看过还买”推荐位和本地化标题因站点而异,同一域名内部也会出现部分本地化。

首次抓取前的 5 项检查

  1. 把目标列成站点加地区的组合——amazon.com/US-East、amazon.com/US-West、amazon.de、amazon.co.jp——而不是只列域名。
  2. 为每个组合预留一组固定地区的住宅 IP,容量按并发和你跟踪的目录数量计算。
  3. 按页面类型决定轮换还是粘性:搜索页可以轮换,商品详情页不行,因为中途换 IP 会改变报价集合。
  4. 按站点设置 Accept-Language、货币 Cookie 和合理时区。德国 IP 配日文环境会得到一个不对应任何真实用户的混合页面。
  5. 每个请求随机延迟 5–15 秒,偶尔更长停顿;匀速高频是最容易被限流的方式。每条报价都记录时间戳、出口 IP 和地区。

页面类型与代理策略对比

  • 搜索结果页——同一地区池内按请求轮换;请求量大、状态少。
  • 商品详情页——整次抓取使用粘性 IP,持续 5–15 分钟;价格、Buy Box 与配送承诺必须来自同一身份。
  • 评论页——粘性并在分页中复用同一 IP;中途换 IP 会返回重复条目。
  • Best Sellers 与 Deals——按请求轮换,在固定时间点采样;采样时间的一致性比 IP 多样性更重要。

搭建流水线的步骤

  1. 先做一个站点加一个地区。价格、Buy Box、配送字段稳定后再加第二个地区,否则无法区分解析错误和地区差异。
  2. 通过固定地区的 IP 出网,并在请求前校验出口国家与 ASN。
  3. 发送匹配站点的请求头和 Cookie:语言、货币,以及在整个详情抓取期间保持的会话。
  4. 应用 5–15 秒随机节奏,429 时指数退避;遇到 503 或验证码则轮换 IP 并对该目标冷却数分钟。防御性解析,保存原始 HTML 片段,每条报价一行并记录时间、出口 IP、地区、货币与卖家。

常见问题

为什么用了代理仍被封

通常是行为而非 IP 触发的:间隔完全一致、成千上万次请求使用同一套请求头,或指纹与声称的设备矛盾。代理只改变网络身份。先修节奏、合理变化请求头、在会话内保持 Cookie 一致,并在买更多 IP 之前降低并发。

亚马逊最适合哪种代理

按站点地区固定的住宅 IP。机房网段广为人知,常被降低体验——不同布局或被裁剪的报价集合——即便请求成功也会污染数据。住宅 IP 也是让 Buy Box 与配送承诺接近真实买家的关键。

如何收集评论而不重复

每次评论抓取保留一个粘性 IP,并在该会话内分页,因为评论列表依赖会话状态。按评论 ID 而不是位置去重,分别抓取“最有帮助”和“最新”,再按计划重抓并用 ID 做差异,以捕捉编辑与删除。

抓取亚马逊合法吗

取决于司法辖区、数据类型和使用方式。公开商品数据通常与个人数据区别对待,但服务条款仍然适用。只收集必要数据,避免个人信息,遵守限流,并针对具体情况寻求法律意见,而不是依赖一篇博客。

结论

亚马逊奖励缓慢且地理一致的采集,惩罚快速均匀的采集。按站点与地区固定住宅 IP,只在无状态页面轮换,节奏控制在 5–15 秒,并为每条报价保存时间戳与出口 IP。可从 FTProxy 住宅代理开始,并把地区字段作为数据结构的一等公民。