Google-Maps-Scraping mit Proxys gelingt, weil die eigentliche Schwierigkeit nie das Parsing war — sondern jeden Request vom richtigen Ort im richtigen Takt zu senden. Maps-Ergebnisse sind geobasiert, streng ratenlimitiert und erkennen automatisierte Muster schnell; ein naiver Crawler stirbt in Minuten.

Wie Maps-Scraping strukturiert ist

  • Grid-Suche: die Stadt in Lat/Lng-Zellen teilen und jede abfragen — eine einzige Zentrumabfrage übersieht die Randgebiete komplett.
  • Geo-gematchte Residential-IPs: nahe der Zielstadt aussteigen, damit Ergebnisse, Sprache und lokale Verfügbarkeit echten Nutzern dort entsprechen.
  • Detail-Ernte über Place-IDs: Place-IDs einmal auflösen, dann Bewertungen, Öffnungszeiten und Stoßzeiten in einem langsameren Takt nachziehen.
  • Rate-Limiting: Single-IP-Bursts sterben in Minuten — Pacing ist eine Designeingabe, kein nachträgliches Patch.

Sammel-Checkliste

  1. Stadtgrenze exakt festlegen; dichte Quartiere mit 1–2 km Zellen gridden.
  2. Residential-IPs beschaffen, die in oder nahe der Stadt geolokalisieren; eine Sticky-Session pro Zellencluster.
  3. Zufällige 3–10 Sekunden Abstand zwischen Abfragen; ein volles Grid dauert Stunden.
  4. Früh nach Place-IDs deduplizieren, weil Zellen sich überlappen.
  5. Aggressiv cachen, wöchentlich neu crawlen; vor jedem Lauf Exit-IP und Land prüfen.

Kurzvergleich

  • Geo-gematchte Residential: Ergebnisse wie für lokale Nutzer, bei vernünftigem Tempo selten blockiert.
  • Datacenter: günstig, aber Ergebnisse verzerren zur Serverlage und Sperren kommen mitten im Crawl.
  • Sessions: Residential sticky pro Viertel hält die Identität stabil; Datacenter braucht ständige Rotation.
  • Genauigkeit ist der Punkt: 200 km Abweichung ändern Liste, Reihenfolge und sogar die Sprache.

Umsetzung in 4 Schritten

  1. Bounding Box der Stadt berechnen und das Grid mit einem kurzen Skript schneiden.
  2. Pro Zellencluster eine Sticky-Session binden.
  3. Zellzentren mit 3–10 s Zufallsabstand abfragen und je Zelle loggen.
  4. Place-IDs zusammenführen, deduplizieren, cachen und den Delta-Re-Crawl für kommende Woche terminieren.

FAQ

Ist Maps-Scraping legal?

Je nach Rechtsraum, Methode und Verwendung: automatisierte Einsammlung kann mit den Google-ToS kollidieren; am sichersten offizielle APIs nutzen, Volumen moderat halten und das lokale Datenbankrecht prüfen, bevor skaliert wird.

Welches Tempo passt?

Standard: zufällige 3–10 s zwischen Abfragen, ein Grid in Stunden; bei steigender Fehlerrate zurückfahren und nie zwei schwere Grids über dieselbe Sticky-Session schicken.

FTProxy Residential-Proxys mit Geo-Targeting auf Stadtebene füttern genau solche Pipelines — erst eine Stadt pilotieren, dann die Vorlage auf alle Märkte rollen.