Eコマーススクレイピングはデータ収集業界で最難関のルーチン作業です。主要マーケットはインターネットで最も成熟したアンチボットスタックを展開しています:レート制限、IP評判スコアリング、JavaScriptチャレンジ、行動分析を積み重ねているのです。1層しか解決しない収集器—IPはローテートするがヘッドレス指纹が丸見え—は数日で落ちます。
Eコマーススクレイピングの4層アーキテクチャ
- 層1—身元:消費者ISPのレジデンシャルIP。データセンターは評判チェックで即死。レジデンシャルは門を通って実商品ページを見る。リスト採取はリクエスト毎ローテート、身元保持フローはスティッキー。
- 層2—フィンガープリント衛生:User-Agent、Accept-Language、タイムゾーン、画面ジオメトリを出口IPの地理に一致。JSチャレンジは実ブラウザエンジンで、ビューポートは軽くランダム化。
- 層3—人間のペース:固定間隔ではなくランダム遅延、もっともらしい遷移。行動分析はリクエストのリズムを読む;メトロノーム的タイミングは最も安く検出される信号。
- 層4—アトリビューション記録:全リクエストにセッション・出口IP・国・リトライ回数をタグ、全レスポンスに状態を記録。ブロックの波をサブネット単位で帰着できます。
初回本番ラン前のチェックリスト
- 出口IPがASN・評判チェックを通過—プロキシのテスト方法で数分。
- 出口の地理ごとに1つのブラウザプロファイル、ヘッダーはIPの国と言語に一致。
- セッション毎の秒間リクエスト予算を設定しスケジューラで強制。
- 429方針を事前に定義:指数バックオフ、セッション再利用、プール保護のハードストップ。
- 記録を配線:全リクエストに出口IPと状態。
- 更新頻度を決める:価格データの大半は毎分変わらない。
ページタイプ別ローテーション戦略
- 検索・リスト:リクエスト毎ローテート、セッション連続性不要。
- 商品詳細:スティッキー5〜15分、閲覧中は同一IP。
- カート・決済:静的または長スティッキー—ファネル全体で1つの身元。
- アカウント画面:アカウント毎に静的IP、ログイン中は絶対ローテートしない。
4ステップでBANされずに拡大
- まず1マーケット1カテゴリ、アーキテクチャを証明してから複製。
- トラフィック分割:採取はローテート、商品/カートはスティッキー、アカウントは専用静的IP。
- サブネット毎の同時実行を上限化—穏やかな10ワーカーは攻撃的な100ワーカーに勝つ。
- 429で即バックオフ:遅延を倍増、セッション再利用、バックオフ後に再開。
FAQ
EコマーススクレイピングでBANを避けるには?
確率を下げるのであってゼロにしない:清潔なレジデンシャルASN、一致するフィンガープリント、人間的ペース、規律ある429バックオフ。リクエストのリズムが最大のレバー。
Amazon向けの最適プロキシは?
スティッキー対応のローテーションレジデンシャル:リストはリクエスト毎、商品/カートはスティッキー、アカウントは静的IP。データセンターは評判層で落ちます。
FTProxyレジデンシャルプロキシ—清潔な消費者ISPの身元、ローテーションとスティッキーを1プールで。