レジデンシャルプロキシでのWebスクレイピングは、コードの巧拙でなくアーキテクチャで決まります。1ページ目は完璧、5ページ目で403——故障ではなく自白です。サイトは複数シグナルで採点します。どのIPからか、指紋と整合するか、セッションの振る舞い、千のスクリプトに似ていないか。

レジデンシャルプロキシは最初のシグナル——IP——をISPの消費者アドレスで解決します。ただしIPはオーディションに過ぎず、指紋・ペース・地域・エラー処理も揃う必要があります。スクレイピングには法的・規約上の境界があり、実務構成は初日から尊重します。

5層アーキテクチャの理由

長持ちするスクレイパーは5層の積み重ねで、IPは一層に過ぎません:

  • プロキシ層:ローテーションで数千家庭に分散し、制限履歴を溜めない。連続性の仕事はスティッキー。
  • 識別と指紋:本物のChromeはUA・Sec-CH-UA・Cookieが揃う。指紋のない新型UAは即座に読める矛盾。
  • 行動とペース:人間は間隔を置いて閲覧します。ランダム遅延・同時数上限・擬人シーケンス。
  • ログ:出口IP・ステータス・遅延・リトライ数を記録。BAN時、壊れた層を指します。

開始前チェックリスト

  1. 法務と規約確認:対象が許す範囲、robots.txt、公式APIの方が安いか。
  2. ASN確認:1IPで接続し、消費者ISPに属すか確認。
  3. ローテーションとスティッキーの割り当て:ページ種別に決める。リストはローテーション、セッションはスティッキー。
  4. ペース予算を設定:秒間リクエスト数、ジッター幅、同時数上限を事前文書化。
  5. リトライ方針を定義:ジッター付き指数バックオフ、N回失敗でIP変更、使い切ったらデッドレター。
  6. 地域は意図的に選ぶ:データが表すべき市場から取得。詳細はジオターゲティングガイド。

タスク別の戦略対応

最多の設計ミスは、どこでも同じ戦略です:

タスク戦略効果
一覧・カテゴリリクエスト毎にローテーションURLが独立。新しいIPで網羅率を最大化
商品・詳細ページスティッキー5-15分一人の訪問者が複数ページ閲覧。Cookieが人間らしい
決済・ログイン長めスティッキー、指紋固定一つの識別子で全フローを生き延びる
長期価格監視定期スティッキー窓同じIP・同時刻で比較可能なデータ

構築手順

  1. 最小の断片から:1カテゴリ、1市場、1ページ種別。
  2. ゲートウェイ接続:SOCKS5かHTTP(S)エンドポイント、認証付き、ローテーション有効、セッションはスティッキー。
  3. 指紋を固定:少数の実在UA、言語ヘッダーをIPの国に一致、スティッキーでCookie有効。
  4. ジッター付きペース:リクエスト間に数秒のランダム間隔。エラー上昇で自動減速。
  5. 失敗時は後退:429や403は停止——指数バックオフ、新しいIP、済んだらデッドレター。
  6. 監視と改善:対象・IP・セッション年齢別の成功率を追跡。EC規模はAmazonスクレイピングガイド参照。

よくある失敗

  • セッション途中でローテーション——ページ3と4の間でIPを変えるのは固定より疑わしい。
  • 数秒後に同じIPで再試行——連打リトライは触れたBANを深める。
  • 反ボット層を無視——きれいなIPだけで足りない対象もある。Cloudflare回避ガイド参照。
  • ログを飛ばす——デバッグに要るのはログです。

FAQ

1IPあたり何リクエストまで安全?

普遍の数字はありません。1IP数十リクエストから、ペースとジッター付きで開始し、エラー率で分散。

CAPTCHAは消える?

大幅に減ります。低信頼IPの引き金が消えるためです。強固な対象は指紋や行動で掛かります。

ローテーション?スティッキー?

両方を任務に割り当てます。一覧はローテーション、ページ送りはスティッキー。

合法?

技術は合法で、問題は使い方です。公開データを取得し、規約とrobots.txtを尊重、公式APIがあれば優先。

まとめ

生き残るスクレイパーは地味です。きれいなIP、一貫した指紋、人間らしいペース、規律あるリトライ、説明するログ。プロキシは信頼の層を供給し、他の層が守ります。

信頼の土台へ:FTProxyレジデンシャルプロキシ——ローテーション、スティッキー、ジオターゲティング内蔵。