プロキシを使ったGoogle Mapsスクレイピングで難しいのは解析ではなく、各リクエストを正しい場所から正しい間隔で送ることです。Mapsの結果は地域配信・厳しいレート制限・自動化パターンへの高い感度があり、単純なクローラーは数分で停止します。
Maps収集の構造
- グリッド検索:都市を緯度経度のセルに分割して一つずつ照会 — 中心の一括照会では周辺部を取りこぼします。
- 地理合致レジデンシャルIP:対象都市付近を出口にして、結果・言語・表示範囲を現地ユーザーに合わせます。
- place IDから詳細取得:place IDを一度解決し、レビュー・営業時間・混雑帯はより遅い間隔で取得します。
- レート制御:単一IPのバーストは数分で停止 — ペーシングは設計入力であり後付けではありません。
収集チェックリスト
- 都市の境界を正確に定め、密度の高い区域は1–2kmのグリッドに分割。
- 対象都市に位置づけられるレジデンシャルIPを用意し、セル群ごとにスティッキーセッションを割当。
- 照会間に3–10秒のランダム遅延。全体のグリッドは時間単位で回します。
- セルは重なるため、place IDで早めに重複排除。
- 積極的にキャッシュし週次で再クロール。各実行前に出口IPと国を確認。
簡易比較
- 地理合致レジデンシャル:現地ユーザーと同じ結果、適切なペースならほぼブロックされない。
- データセンター:安価だが結果がサーバー地点に偏り、途中で頻繁に遮断される。
- セッション:レジデンシャルは地区単位のスティッキーで身元が安定。データセンターは常時ローテーション必須。
- 重要なのは精度:200kmのズレで一覧・順位・言語まで変わります。
4ステップの実行
- 都市のバウンディングボックスを算出し、短いスクリプトでグリッド分割。
- セル群ごとにスティッキーセッションを割当。
- セル中心を3–10秒のランダム遅延で照会し、セル単位でログ。
- place IDを統合・重複排除してキャッシュし、1週間後の差分再クロールを予約。
FAQ
Google Mapsのスクレイピングは違法?
法域・方法・利用目的次第です。自動収集はGoogleの利用規約と衝突し得るため、公式APIで足りる場面ではAPIを優先し、量を抑え、拡大前に現地のデータベース権を確認します。
適切なペーシングは?
照会間に3–10秒のランダム遅延が標準で、グリッド全体は時間単位。エラー率が上がったら間隔を広げ、重いグリッドを同一スティッキーセッションで並走させません。
FTProxyのレジデンシャルプロキシは都市レベルの地理指定に対応し、まさにこの種のパイプライン向けです。まず一都市で検証し、被覆の計算を確かめてから全市場へ展開してください。