Парсинг Google Maps с прокси работает потому, что сложность никогда не была в разборе данных — а в том, чтобы каждый запрос уходил из правильного места и в правильном темпе. Результаты Maps раздаются по гео, жестко лимитируются и чувствительны к автоматным паттернам, поэтому наивный краулер умирает за минуты.
Как устроен сбор данных Maps
- Грид-поиск: город делится на ячейки lat/lng и опрашивается каждая — один запрос из центра пропускает всю кольцевую зону.
- Гео-соответствующие резидентные IP: выход рядом с целевым городом, чтобы результаты, язык и доступность совпадали с местными пользователями.
- Сбор деталей по place ID: place ID разрешаются один раз, затем отзывы, часы и часы пик добираются в медленном цикле.
- Рейт-лимиты: одиночный IP-всплеск умирает за минуты — темп это вход проектирования, а не заплата потом.
Чек-лист сбора
- Точно определить границу города; плотные зоны гридить ячейками 1–2 км.
- Взять резидентные IP, геолокализующиеся в городе или рядом; одна sticky-сессия на кластер ячеек.
- Случайные паузы 3–10 секунд между запросами; полный грид идет часами.
- Рано дедуплицировать по place ID — ячейки перекрываются.
- Агрессивный кэш и еженедельный перекраул; перед каждым прогоном проверять выходной IP и страну.
Краткое сравнение
- Гео-резидентные: результаты как у местных, блокировки редки при разумном темпе.
- Датацентр: дешево, но результаты смещены к локации сервера, блокировки приходят посреди процесса.
- Сессии: sticky-резидентные по району дают стабильную идентичность; датацентру нужна постоянная ротация.
- Главное — точность: сдвиг в 200 км меняет список, порядок и даже язык выдачи.
Реализация за 4 шага
- Посчитать bounding box города и разрезать грид коротким скриптом.
- Привязать по sticky-сессии к каждому кластеру ячеек.
- Опросить центры ячеек с паузами 3–10 с и логом по каждой ячейке.
- Свести place ID, дедуплицировать, закэшировать и назначить дельта-перекраул через неделю.
FAQ
Легален ли парсинг Google Maps?
Зависит от юрисдикции, метода и использования: автоматический сбор может конфликтовать с ToS Google; безопасная позиция — официальные API там, где их хватает, скромные объемы и проверка местных прав на базы данных перед масштабированием.
Какой темп лучше?
По умолчанию случайные 3–10 с между запросами, полный грид за часы; при росте ошибок отступайте и не гоните два тяжелых грида через одну sticky-сессию.
Резидентные прокси FTProxy с гео-таргетингом до уровня города созданы для таких пайплайнов — пилот на одном городе, затем шаблон на все рынки.