Google-Maps-Scraping mit Proxys gelingt, weil die eigentliche Schwierigkeit nie das Parsing war — sondern jeden Request vom richtigen Ort im richtigen Takt zu senden. Maps-Ergebnisse sind geobasiert, streng ratenlimitiert und erkennen automatisierte Muster schnell; ein naiver Crawler stirbt in Minuten.
Wie Maps-Scraping strukturiert ist
- Grid-Suche: die Stadt in Lat/Lng-Zellen teilen und jede abfragen — eine einzige Zentrumabfrage übersieht die Randgebiete komplett.
- Geo-gematchte Residential-IPs: nahe der Zielstadt aussteigen, damit Ergebnisse, Sprache und lokale Verfügbarkeit echten Nutzern dort entsprechen.
- Detail-Ernte über Place-IDs: Place-IDs einmal auflösen, dann Bewertungen, Öffnungszeiten und Stoßzeiten in einem langsameren Takt nachziehen.
- Rate-Limiting: Single-IP-Bursts sterben in Minuten — Pacing ist eine Designeingabe, kein nachträgliches Patch.
Sammel-Checkliste
- Stadtgrenze exakt festlegen; dichte Quartiere mit 1–2 km Zellen gridden.
- Residential-IPs beschaffen, die in oder nahe der Stadt geolokalisieren; eine Sticky-Session pro Zellencluster.
- Zufällige 3–10 Sekunden Abstand zwischen Abfragen; ein volles Grid dauert Stunden.
- Früh nach Place-IDs deduplizieren, weil Zellen sich überlappen.
- Aggressiv cachen, wöchentlich neu crawlen; vor jedem Lauf Exit-IP und Land prüfen.
Kurzvergleich
- Geo-gematchte Residential: Ergebnisse wie für lokale Nutzer, bei vernünftigem Tempo selten blockiert.
- Datacenter: günstig, aber Ergebnisse verzerren zur Serverlage und Sperren kommen mitten im Crawl.
- Sessions: Residential sticky pro Viertel hält die Identität stabil; Datacenter braucht ständige Rotation.
- Genauigkeit ist der Punkt: 200 km Abweichung ändern Liste, Reihenfolge und sogar die Sprache.
Umsetzung in 4 Schritten
- Bounding Box der Stadt berechnen und das Grid mit einem kurzen Skript schneiden.
- Pro Zellencluster eine Sticky-Session binden.
- Zellzentren mit 3–10 s Zufallsabstand abfragen und je Zelle loggen.
- Place-IDs zusammenführen, deduplizieren, cachen und den Delta-Re-Crawl für kommende Woche terminieren.
FAQ
Ist Maps-Scraping legal?
Je nach Rechtsraum, Methode und Verwendung: automatisierte Einsammlung kann mit den Google-ToS kollidieren; am sichersten offizielle APIs nutzen, Volumen moderat halten und das lokale Datenbankrecht prüfen, bevor skaliert wird.
Welches Tempo passt?
Standard: zufällige 3–10 s zwischen Abfragen, ein Grid in Stunden; bei steigender Fehlerrate zurückfahren und nie zwei schwere Grids über dieselbe Sticky-Session schicken.
FTProxy Residential-Proxys mit Geo-Targeting auf Stadtebene füttern genau solche Pipelines — erst eine Stadt pilotieren, dann die Vorlage auf alle Märkte rollen.