프록시를 활용한 구글맵 스크래핑에서 어려운 부분은 파싱이 아니라 모든 요청을 올바른 위치에서 올바른 간격으로 보내는 일입니다. Maps 결과는 지역 기반으로 제공되고 레이트 리밋이 매우 엄격하며 자동화 패턴에 민감해 단일 서버 크롤러는 몇 분 만에 죽습니다.
구글맵 수집의 구조
- 그리드 검색: 도시를 위도/경도 셀로 나누어 하나씩 조회 — 중심 한 번 조회로는 외곽을 모두 놓칩니다.
- 지오 매칭 레지덴셜 IP: 대상 도시 인근에서 나가 결과·언어·표시 범위를 실제 현지 사용자와 맞춥니다.
- place ID 기반 세부 수집: place ID을 한 번 해석한 뒤 리뷰·영업시간·혼잡 시간을 더 느린 주기로 가져옵니다.
- 레이트 제한: 단일 IP 버스트는 몇 분 만에 끊깁니다 — 페이싱은 설계 입력값이지 덧붙임이 아닙니다.
수집 체크리스트
- 도시 경계를 정확히 정하고 밀집 구역은 1–2km 셀로 그리드화.
- 대상 도시로 지오로케이트되는 레지덴셜 IP을 확보하고 셀 묶음마다 스티키 세션 할당.
- 조회 간 3–10초 무작위 지연, 전체 그리드는 시간 단위로 진행.
- 셀이 겹치므로 place ID으로 조기 중복 제거.
- 적극 캐싱 후 주간 재크롤, 실행마다 출구 IP과 국가 확인.
간단 비교
- 지오 매칭 레지덴셜: 현지 사용자와 동일한 결과, 합리적 페이싱이면 차단이 드묾.
- 데이터센터: 저렴하지만 결과가 서버 위치로 치우치고 도중 차단이 잦음.
- 세션: 레지덴셜은 구역별 스티키로 신원 안정, 데이터센터는 상시 로테이션 필요.
- 핵심은 정확도: 200km 차이로 목록·순위·언어까지 달라집니다.
4단계 실행
- 도시 바운딩 박스를 계산하고 짧은 스크립트로 그리드 분할.
- 셀 묶음마다 스티키 세션 바인딩.
- 셀 중심을 3–10초 무작위 지연으로 조회하고 셀 단위 로깅.
- place ID 통합·중복 제거·캐싱 후 1주 뒤 델타 재크롤 예약.
FAQ
구글맵 스크래핑은 불법인가요?
관할권·방법·용도에 따라 다릅니다. 자동 수집은 Google ToS와 충돌할 수 있으므로 공식 API로 충분하면 API을 우선하고 물량을 절제하며, 확장 전 현지 데이터베이스 권리를 확인하세요.
적절한 페이싱은?
기본값은 조회 간 3–10초 무작위 지연이며 전체 그리드는 시간 단위입니다. 오류율이 오르면 간격을 넓히고 무거운 그리드 두 개를 같은 스티키 세션으로 돌리지 마세요.
FTProxy 레지덴셜 프록시는 도시 단위 지오 타기팅을 지원해 이런 파이프라인에 딱 맞습니다 — 한 도시로 먼저 검증한 뒤 전체 시장으로 확장하세요.