ローテーティングプロキシ設定は「スイッチ」として扱われがちです。ローテーションをオンにすればブロックが消える、という前提です。しかし実際のローテーションはポリシーであり、1つのIPアイデンティティをどれだけの期間保持するかを決める設計判断です。設計が正しければクローラーは数週間動き続け、誤ると帯域をすべて「ローテーションでは行動ベースのブロックは直らない」ことの証明に費やすことになります。

本記事では実務で必要な3つのモデル、失敗時の処理、そしてどの出口IPがどの応答を取得したかを示す監査記録を扱います。

タスクに合わせてローテーション窓を選ぶ

  • リクエスト毎:毎回新しい出口IP。状態を持たない対象——一覧ページ、検索結果、公開JSON、価格フィード——に適します。維持すべきセッションも、失うCookieもありません。
  • 分毎またはNリクエスト毎:一定の窓または回数だけ同じアイデンティティ。部分的な継続性が必要な多段クロール——ページ送り、ファセット検索、商品バリエーション——に適します。
  • スティッキーセッション:フロー全体で1つのIP。ログイン、カート、チェックアウト、管理画面では必須です。途中でIPが変わると検証が再発火し、カートが空になることもあります。
  • ハイブリッド:ホスト名単位でスティッキー、CDNアセットはリクエスト毎。HTMLの一貫性を保ちながら、画像やスクリプトは広いIP分散で取得します。

ローテーション開始前の5項目チェック

  1. すべてのURLを状態依存性で分類する:セッション、カート、認証トークンを設定または参照するか。結果をキューのレコードに保存し、ワーカーがモデルを自動選択できるようにする。
  2. セッションキー戦略を決める:アカウント単位、カート単位、市場単位のいずれか。複数アカウントで1つのキーを共有すると汚染が始まります。
  3. セッションの分数とキーあたりの最大リクエスト数を設定し、早く到達した方で終了する。
  4. 地理プールは全体ではなく対象ごとに選ぶ。米国の価格クロールが、EUプールが大きいという理由でEU出口に落ちてはいけません。
  5. すべての応答に出口IP、セッションキー、ステータスコード、レイテンシを記録する。この列がなければ、成功と偶然を区別できません。

ローテーション窓の比較

  • リクエスト毎——分散最大。一覧、検索結果、JSON向け。Cookieやトークンに依存するフローは壊れます。
  • 分毎/N毎——ページ送りに短い継続性を提供。Nはトークンの寿命より短く。
  • スティッキー10〜30分——ログイン、カート、チェックアウト、地域テストに必須。1つのIPが全リクエスト予算を負担します。
  • ハイブリッド——HTMLは安定、アセットは広く分散。構成要素が増えるため、リクエスト毎にモデルを記録します。

設定手順

  1. 入口を2つ用意する:状態を持たない処理用のローテーションエンドポイントと、セッション用のスティッキー対応ユーザー名形式。認証情報は1か所にまとめる。
  2. モデルをキューに組み込む:ワーカーが状態フラグを読み、新しいIPか、アカウントID・カートIDから導いたセッションキーを要求する。
  3. 出口国に合うローカライズヘッダーを付ける——Accept-Language、通貨、対応していればタイムゾーン。ドイツのIPにen-USヘッダーは避けるべき不一致です。
  4. ローテーションの前にバックオフを実装する。429はジッター付き指数バックオフ、403はローテーションと対象のクールダウン。最後に出口IPを検証してから応答を信頼する。

よくある質問

リクエスト毎に回すべきか、スティッキーを使うべきか

対象が状態を持たない場合(一覧、検索結果、JSONフィード)はリクエスト毎。状態がある場合(ログイン、カート、チェックアウト、管理画面)はスティッキーです。途中のIP変更が検証を再発火させるためです。判断が難しい場合は、まず1セッションをスティッキーで実行し、応答にCookieやトークンが現れるか確認してください。現れるならスティッキーを維持します。

ローテーションがまったく効かないのはどんな場合か

ローテーションが直せるのはIPに紐づくブロックだけです。アカウント単位のレート制限、フィンガープリントやリクエストパターンによるWAFルール、ログインウォールの場合は、IPを変えても何も変わらず、より早く再ブロックされるだけです。まずステータスコードと応答本文を確認し、同じIPで別アカウントから同じリクエストを試して原因を切り分けます。

どのくらいの速さで回すべきか

タスクが許す限り遅くです。リクエスト毎は状態を持たないエンドポイントのみ。スティッキーは多段フローが成立する最短の窓、多くの場合5〜15分に設定します。速く回すほどIP消費と検証が増え、ペーシングが正しければ成功率はほとんど上がりません。

監査記録はどう残すか

応答ごとに1レコード:タイムスタンプ、対象URL、セッションキー、出口IP、出口国、ステータスコード、レイテンシ、バイト数。スクリーンショットやデータスナップショットにも同じ項目を保存します。これにより障害の再現、IPの紐付け、地域ターゲティングの証明が可能になります。

まとめ

ローテーションはタスクごとに設計するポリシーであり、一度押すスイッチではありません。URLを状態で分類し、窓を選び、地理の規律を守り、回す前にバックオフし、すべての応答に出口IPを記録してください。まずは FTProxyのレジデンシャルプロキシ から——同じ認証情報でリクエスト毎とスティッキーの両方を利用できます。