レジデンシャルプロキシでのWebスクレイピングは、コードの巧拙でなくアーキテクチャで決まります。1ページ目は完璧、5ページ目で403——故障ではなく自白です。サイトは複数シグナルで採点します。どのIPからか、指紋と整合するか、セッションの振る舞い、千のスクリプトに似ていないか。
レジデンシャルプロキシは最初のシグナル——IP——をISPの消費者アドレスで解決します。ただしIPはオーディションに過ぎず、指紋・ペース・地域・エラー処理も揃う必要があります。スクレイピングには法的・規約上の境界があり、実務構成は初日から尊重します。
5層アーキテクチャの理由
長持ちするスクレイパーは5層の積み重ねで、IPは一層に過ぎません:
- プロキシ層:ローテーションで数千家庭に分散し、制限履歴を溜めない。連続性の仕事はスティッキー。
- 識別と指紋:本物のChromeはUA・Sec-CH-UA・Cookieが揃う。指紋のない新型UAは即座に読める矛盾。
- 行動とペース:人間は間隔を置いて閲覧します。ランダム遅延・同時数上限・擬人シーケンス。
- ログ:出口IP・ステータス・遅延・リトライ数を記録。BAN時、壊れた層を指します。
開始前チェックリスト
- 法務と規約確認:対象が許す範囲、robots.txt、公式APIの方が安いか。
- ASN確認:1IPで接続し、消費者ISPに属すか確認。
- ローテーションとスティッキーの割り当て:ページ種別に決める。リストはローテーション、セッションはスティッキー。
- ペース予算を設定:秒間リクエスト数、ジッター幅、同時数上限を事前文書化。
- リトライ方針を定義:ジッター付き指数バックオフ、N回失敗でIP変更、使い切ったらデッドレター。
- 地域は意図的に選ぶ:データが表すべき市場から取得。詳細はジオターゲティングガイド。
タスク別の戦略対応
最多の設計ミスは、どこでも同じ戦略です:
| タスク | 戦略 | 効果 |
|---|---|---|
| 一覧・カテゴリ | リクエスト毎にローテーション | URLが独立。新しいIPで網羅率を最大化 |
| 商品・詳細ページ | スティッキー5-15分 | 一人の訪問者が複数ページ閲覧。Cookieが人間らしい |
| 決済・ログイン | 長めスティッキー、指紋固定 | 一つの識別子で全フローを生き延びる |
| 長期価格監視 | 定期スティッキー窓 | 同じIP・同時刻で比較可能なデータ |
構築手順
- 最小の断片から:1カテゴリ、1市場、1ページ種別。
- ゲートウェイ接続:SOCKS5かHTTP(S)エンドポイント、認証付き、ローテーション有効、セッションはスティッキー。
- 指紋を固定:少数の実在UA、言語ヘッダーをIPの国に一致、スティッキーでCookie有効。
- ジッター付きペース:リクエスト間に数秒のランダム間隔。エラー上昇で自動減速。
- 失敗時は後退:429や403は停止——指数バックオフ、新しいIP、済んだらデッドレター。
- 監視と改善:対象・IP・セッション年齢別の成功率を追跡。EC規模はAmazonスクレイピングガイド参照。
よくある失敗
- セッション途中でローテーション——ページ3と4の間でIPを変えるのは固定より疑わしい。
- 数秒後に同じIPで再試行——連打リトライは触れたBANを深める。
- 反ボット層を無視——きれいなIPだけで足りない対象もある。Cloudflare回避ガイド参照。
- ログを飛ばす——デバッグに要るのはログです。
FAQ
1IPあたり何リクエストまで安全?
普遍の数字はありません。1IP数十リクエストから、ペースとジッター付きで開始し、エラー率で分散。
CAPTCHAは消える?
大幅に減ります。低信頼IPの引き金が消えるためです。強固な対象は指紋や行動で掛かります。
ローテーション?スティッキー?
両方を任務に割り当てます。一覧はローテーション、ページ送りはスティッキー。
合法?
技術は合法で、問題は使い方です。公開データを取得し、規約とrobots.txtを尊重、公式APIがあれば優先。
まとめ
生き残るスクレイパーは地味です。きれいなIP、一貫した指紋、人間らしいペース、規律あるリトライ、説明するログ。プロキシは信頼の層を供給し、他の層が守ります。
信頼の土台へ:FTProxyレジデンシャルプロキシ——ローテーション、スティッキー、ジオターゲティング内蔵。