プロキシを使ったAmazonスクレイピングは、速度の問題ではなく地理とペーシングの問題です。同じASINでもリクエストの起点によって価格、Buy Boxの獲得者、ときに在庫状況が変わるため、速く回すだけのIPは「見えない形で間違った」データを生みます。

本記事では、AmazonがIPで何を出し分けるのか、マーケットプレイスと地域ごとに住宅IPを固定する方法、ローテーションが精度を壊す場面を扱います。

Amazonが地理で出し分けるもの

  • 価格と通貨:換算、税表示、プロモ価格はドメインごと、そして国内の検出地域ごとに変わります。同じASINへの2回のリクエストが異なる合計を返すことは正当に起こります。
  • Buy Boxの保有者:どの出品者がBuy Boxを得るかは、配送先、出品者パフォーマンス、在庫からリクエストごとに決まります。誤った地域のIPは、顧客が決して見ない出品者にBoxを渡す可能性があります。
  • 在庫と配送予定:「在庫あり」、配送日、Prime対象はIPから推定された配送先で計算されます。欧州の出口から米国をクロールすると誤った配送予定になります。
  • レビューとコンテンツの差異:レビュー母集団、「この商品を見た人はこちらも」、ローカライズされたタイトルはマーケットプレイスごとに異なり、同一ドメイン内でも部分的なローカライズが現れます。

初回クロール前の5項目チェック

  1. ターゲットはマーケットプレイスと地域の組で列挙する。amazon.com/US-East、amazon.com/US-West、amazon.de、amazon.co.jp のように。
  2. 組ごとに地域固定の住宅IPプールを確保し、並列数と追跡カタログ数に合わせてサイズを決める。
  3. ページ種別で判断する。検索ページはローテーション可能、商品詳細は不可。途中のIP変更がオファー集合を変えるためです。
  4. マーケットプレイスに合うAccept-Language、通貨Cookie、妥当なタイムゾーンを設定する。ドイツIPに日本語ロケールは実在しないハイブリッドページになります。
  5. リクエストごとに5〜15秒のランダム待機を入れ、時々長めに休む。均一な高速バーストは制限を受ける最短経路です。各オファーにタイムスタンプ、出口IP、地域を記録します。

ページ種別とプロキシ戦略

  • 検索結果 — 同一地域プール内でリクエストごとにローテーション。量大で状態が少ない。
  • 商品詳細 — 取得全体を通してスティッキー、5〜15分。価格、Buy Box、配送予定を同一アイデンティティで揃える。
  • レビュー — スティッキーでページ送りも同じIP。途中で回すと重複が返ります。
  • Best SellersとDeals — リクエストごとにローテーションし、決まった時刻にサンプリング。IPの多様性より取得時刻の一貫性が重要。

パイプライン構築手順

  1. まず1つのマーケットプレイスと1つの地域から。価格、Buy Box、配送の各フィールドが安定してから2つ目の地域を追加します。
  2. 地域固定IP経由で接続し、リクエスト前に出口国とASNを検証する。
  3. マーケットプレイスに合ったヘッダーとCookieを送る。言語、通貨、詳細取得の間持続するセッション。
  4. 5〜15秒のランダムペーシングと429時の指数バックオフを実装。503やCAPTCHAではローテーションし対象を数分クールダウン。防御的にパースし、フィールドごとに生HTMLを保存し、オファー1件1行で記録します。

よくある質問

プロキシを使ってもAmazonにブロックされる理由

多くの場合、引き金はIPではなく挙動です。一定間隔、数千リクエストで同一のヘッダー群、申告デバイスと矛盾するフィンガープリント。プロキシはネットワーク上の身元しか変えません。ペーシングを直し、ヘッダーを自然に変え、セッション内のCookieを一貫させ、IPを増やす前に並列数を下げてください。

Amazonに最適なプロキシ種別

マーケットプレイスの地域に固定した住宅IPです。データセンター帯域は広く知られ、劣化した応答——異なるレイアウトや削られたオファー——を受けることが多く、成功してもデータが汚染されます。Buy Boxや配送予定が実購買者に近づくのも住宅IPの効果です。

レビューを重複なく集める方法

レビュー取得ごとにスティッキーIPを1つ保持し、そのセッション内でページ送りします。リストがセッション状態に依存するためです。位置ではなくレビューIDで重複排除し、「トップ」と「最新」を別々に取得し、定期再取得してIDで差分を取ります。

Amazonのスクレイピングは合法か

管轄、収集データ、利用方法によります。公開商品データは個人データと扱いが異なることが多い一方、利用規約は適用されます。必要な分だけ収集し、個人情報を避け、レート制限を守り、個別案件として法務確認を行ってください。

まとめ

Amazonは遅く地理的に一貫した収集を評価し、速く均一な収集を罰します。マーケットプレイスと地域ごとに住宅IPを固定し、状態のないページだけローテーションし、5〜15秒でペーシングし、すべてのオファーにタイムスタンプと出口IPを付けます。FTProxyのレジデンシャルプロキシから始め、地域フィールドをスキーマの一級項目として扱ってください。