Scrape Google Maps với proxy hiệu quả vì phần khó của dữ liệu local không phải parsing — mà là gửi mỗi request từ đúng vị trí, đúng nhịp. Kết quả Maps phân theo geo, rate-limit rất gắt và dễ nhận diện pattern tự động, nên crawler một máy chết trong vài phút.

Cách thu thập Maps được cấu trúc

  • Grid search: chia thành phố thành lưới lat/lng và truy vấn từng ô — chỉ truy điểm giữa sẽ sót hết vùng rìa.
  • IP residential khớp geo: exit gần thành phố mục tiêu để kết quả, ngôn ngữ và độ phủ khớp người dùng thật tại đó.
  • Thu chi tiết theo place ID: resolve place ID một lần, rồi lấy review, giờ mở cửa, giờ cao điểm theo nhịp chậm hơn.
  • Rate limit: burst từ một IP chết trong vài phút — pacing là đầu vào thiết kế, không phải phần đính kèm sau.

Checklist thu thập

  1. Xác định ranh giới thành phố và dựng lưới lat/lng 1–2 km/ô ở khu đông.
  2. Lấy residential IP geolocate trong hoặc gần thành phố, một sticky session cho mỗi cụm ô.
  3. Random delay 3–10 giây giữa các truy vấn; quét trọn lưới tính bằng giờ.
  4. Dedupe theo place ID sớm vì các ô chồng lấn lên nhau.
  5. Cache mạnh và crawl lại theo tuần; trước mỗi lần chạy kiểm tra exit IP và quốc gia.

So sánh nhanh

  • Residential khớp geo: kết quả khớp người dùng local, gần như không bị chặn khi pacing hợp lý.
  • Datacenter: rẻ nhưng kết quả lệch theo vị trí máy chủ, hay bị chặn giữa chừng.
  • Session: residential sticky theo khu vực cho danh tính ổn định; datacenter phải xoay liên tục.
  • Chính xác mới là mục tiêu: lệch 200 km cũng đổi danh sách, thứ hạng, thậm chí ngôn ngữ.

Thực hiện trong 4 bước

  1. Tính bounding box của thành phố, chia ô bằng một đoạn script ngắn.
  2. Gán một sticky session cho mỗi cụm ô.
  3. Truy từng tâm ô với delay random 3–10s, log theo từng ô.
  4. Gom place ID, dedupe, cache và hẹn crawl delta lại sau một tuần.

FAQ

Scrape Google Maps có hợp pháp?

Tùy pháp quyền, cách làm và mục đích dùng: thu thập tự động có thể xung đột ToS của Google dù không phạm pháp; ưu tiên API chính thức khi đủ dùng, giữ volume vừa phải và kiểm tra luật địa phương trước khi scale.

Pacing bao nhiêu là hợp lý?

Mặc định 3–10 giây random giữa các truy vấn; cả lưới tính bằng giờ; lùi nhịp khi tỷ lệ lỗi tăng và không chạy hai lưới nặng trên cùng một sticky session.

Proxy residential FTProxy có geo targeting cấp thành phố, sinh ra cho pipeline dạng này — chạy thử một thành phố trước rồi nhân công thức ra các thị trường khác.