Eコマーススクレイピングはデータ収集業界で最難関のルーチン作業です。主要マーケットはインターネットで最も成熟したアンチボットスタックを展開しています:レート制限、IP評判スコアリング、JavaScriptチャレンジ、行動分析を積み重ねているのです。1層しか解決しない収集器—IPはローテートするがヘッドレス指纹が丸見え—は数日で落ちます。

Eコマーススクレイピングの4層アーキテクチャ

  • 層1—身元:消費者ISPのレジデンシャルIP。データセンターは評判チェックで即死。レジデンシャルは門を通って実商品ページを見る。リスト採取はリクエスト毎ローテート、身元保持フローはスティッキー。
  • 層2—フィンガープリント衛生:User-Agent、Accept-Language、タイムゾーン、画面ジオメトリを出口IPの地理に一致。JSチャレンジは実ブラウザエンジンで、ビューポートは軽くランダム化。
  • 層3—人間のペース:固定間隔ではなくランダム遅延、もっともらしい遷移。行動分析はリクエストのリズムを読む;メトロノーム的タイミングは最も安く検出される信号。
  • 層4—アトリビューション記録:全リクエストにセッション・出口IP・国・リトライ回数をタグ、全レスポンスに状態を記録。ブロックの波をサブネット単位で帰着できます。

初回本番ラン前のチェックリスト

  1. 出口IPがASN・評判チェックを通過—プロキシのテスト方法で数分。
  2. 出口の地理ごとに1つのブラウザプロファイル、ヘッダーはIPの国と言語に一致。
  3. セッション毎の秒間リクエスト予算を設定しスケジューラで強制。
  4. 429方針を事前に定義:指数バックオフ、セッション再利用、プール保護のハードストップ。
  5. 記録を配線:全リクエストに出口IPと状態。
  6. 更新頻度を決める:価格データの大半は毎分変わらない。

ページタイプ別ローテーション戦略

  • 検索・リスト:リクエスト毎ローテート、セッション連続性不要。
  • 商品詳細:スティッキー5〜15分、閲覧中は同一IP。
  • カート・決済:静的または長スティッキー—ファネル全体で1つの身元。
  • アカウント画面:アカウント毎に静的IP、ログイン中は絶対ローテートしない。

4ステップでBANされずに拡大

  1. まず1マーケット1カテゴリ、アーキテクチャを証明してから複製。
  2. トラフィック分割:採取はローテート、商品/カートはスティッキー、アカウントは専用静的IP。
  3. サブネット毎の同時実行を上限化—穏やかな10ワーカーは攻撃的な100ワーカーに勝つ。
  4. 429で即バックオフ:遅延を倍増、セッション再利用、バックオフ後に再開。

FAQ

EコマーススクレイピングでBANを避けるには?

確率を下げるのであってゼロにしない:清潔なレジデンシャルASN、一致するフィンガープリント、人間的ペース、規律ある429バックオフ。リクエストのリズムが最大のレバー。

Amazon向けの最適プロキシは?

スティッキー対応のローテーションレジデンシャル:リストはリクエスト毎、商品/カートはスティッキー、アカウントは静的IP。データセンターは評判層で落ちます。

FTProxyレジデンシャルプロキシ—清潔な消費者ISPの身元、ローテーションとスティッキーを1プールで。