プロキシを使ったAmazonスクレイピングは、速度の問題ではなく地理とペーシングの問題です。同じASINでもリクエストの起点によって価格、Buy Boxの獲得者、ときに在庫状況が変わるため、速く回すだけのIPは「見えない形で間違った」データを生みます。
本記事では、AmazonがIPで何を出し分けるのか、マーケットプレイスと地域ごとに住宅IPを固定する方法、ローテーションが精度を壊す場面を扱います。
Amazonが地理で出し分けるもの
- 価格と通貨:換算、税表示、プロモ価格はドメインごと、そして国内の検出地域ごとに変わります。同じASINへの2回のリクエストが異なる合計を返すことは正当に起こります。
- Buy Boxの保有者:どの出品者がBuy Boxを得るかは、配送先、出品者パフォーマンス、在庫からリクエストごとに決まります。誤った地域のIPは、顧客が決して見ない出品者にBoxを渡す可能性があります。
- 在庫と配送予定:「在庫あり」、配送日、Prime対象はIPから推定された配送先で計算されます。欧州の出口から米国をクロールすると誤った配送予定になります。
- レビューとコンテンツの差異:レビュー母集団、「この商品を見た人はこちらも」、ローカライズされたタイトルはマーケットプレイスごとに異なり、同一ドメイン内でも部分的なローカライズが現れます。
初回クロール前の5項目チェック
- ターゲットはマーケットプレイスと地域の組で列挙する。amazon.com/US-East、amazon.com/US-West、amazon.de、amazon.co.jp のように。
- 組ごとに地域固定の住宅IPプールを確保し、並列数と追跡カタログ数に合わせてサイズを決める。
- ページ種別で判断する。検索ページはローテーション可能、商品詳細は不可。途中のIP変更がオファー集合を変えるためです。
- マーケットプレイスに合うAccept-Language、通貨Cookie、妥当なタイムゾーンを設定する。ドイツIPに日本語ロケールは実在しないハイブリッドページになります。
- リクエストごとに5〜15秒のランダム待機を入れ、時々長めに休む。均一な高速バーストは制限を受ける最短経路です。各オファーにタイムスタンプ、出口IP、地域を記録します。
ページ種別とプロキシ戦略
- 検索結果 — 同一地域プール内でリクエストごとにローテーション。量大で状態が少ない。
- 商品詳細 — 取得全体を通してスティッキー、5〜15分。価格、Buy Box、配送予定を同一アイデンティティで揃える。
- レビュー — スティッキーでページ送りも同じIP。途中で回すと重複が返ります。
- Best SellersとDeals — リクエストごとにローテーションし、決まった時刻にサンプリング。IPの多様性より取得時刻の一貫性が重要。
パイプライン構築手順
- まず1つのマーケットプレイスと1つの地域から。価格、Buy Box、配送の各フィールドが安定してから2つ目の地域を追加します。
- 地域固定IP経由で接続し、リクエスト前に出口国とASNを検証する。
- マーケットプレイスに合ったヘッダーとCookieを送る。言語、通貨、詳細取得の間持続するセッション。
- 5〜15秒のランダムペーシングと429時の指数バックオフを実装。503やCAPTCHAではローテーションし対象を数分クールダウン。防御的にパースし、フィールドごとに生HTMLを保存し、オファー1件1行で記録します。
よくある質問
プロキシを使ってもAmazonにブロックされる理由
多くの場合、引き金はIPではなく挙動です。一定間隔、数千リクエストで同一のヘッダー群、申告デバイスと矛盾するフィンガープリント。プロキシはネットワーク上の身元しか変えません。ペーシングを直し、ヘッダーを自然に変え、セッション内のCookieを一貫させ、IPを増やす前に並列数を下げてください。
Amazonに最適なプロキシ種別
マーケットプレイスの地域に固定した住宅IPです。データセンター帯域は広く知られ、劣化した応答——異なるレイアウトや削られたオファー——を受けることが多く、成功してもデータが汚染されます。Buy Boxや配送予定が実購買者に近づくのも住宅IPの効果です。
レビューを重複なく集める方法
レビュー取得ごとにスティッキーIPを1つ保持し、そのセッション内でページ送りします。リストがセッション状態に依存するためです。位置ではなくレビューIDで重複排除し、「トップ」と「最新」を別々に取得し、定期再取得してIDで差分を取ります。
Amazonのスクレイピングは合法か
管轄、収集データ、利用方法によります。公開商品データは個人データと扱いが異なることが多い一方、利用規約は適用されます。必要な分だけ収集し、個人情報を避け、レート制限を守り、個別案件として法務確認を行ってください。
まとめ
Amazonは遅く地理的に一貫した収集を評価し、速く均一な収集を罰します。マーケットプレイスと地域ごとに住宅IPを固定し、状態のないページだけローテーションし、5〜15秒でペーシングし、すべてのオファーにタイムスタンプと出口IPを付けます。FTProxyのレジデンシャルプロキシから始め、地域フィールドをスキーマの一級項目として扱ってください。