로테이팅 프록시 설정은 흔히 스위치처럼 다뤄집니다. 로테이션을 켜면 차단이 사라질 것이라고 가정합니다. 하지만 실제로 로테이션은 정책입니다. 하나의 IP 아이덴티티가 언제까지 유지되고 다음 요청이 새 IP를 받을지를 결정하는 설계 판단입니다. 정책이 맞으면 크롤러는 몇 주씩 돌아가고, 틀리면 로테이션이 행동 기반 차단을 고치지 못한다는 사실을 대역폭으로 증명하게 됩니다.
이 글은 실무에서 필요한 세 가지 모델과 실패 처리, 그리고 어떤 출구 IP가 어떤 응답을 가져왔는지 보여 주는 감사 기록을 다룹니다.
작업에 맞춰 회전 창 선택하기
- 요청별 로테이션: 요청마다 새 출구 IP. 상태가 없는 대상에 적합합니다. 목록 페이지, 검색 결과, 공개 JSON, 가격 피드 등입니다. 유지할 세션이 없고 잃을 쿠키도 없습니다.
- 분별 또는 N회 요청별: 정해진 시간이나 횟수 동안 하나의 아이덴티티. 부분적 연속성이 필요한 다단계 크롤(페이지네이션, 패싯 검색, 상품 변형)에 적합합니다.
- 스티키 세션: 전체 흐름에 하나의 IP. 로그인, 장바구니, 결제, 대시보드에는 필수입니다. 흐름 중간에 IP가 바뀌면 인증이 다시 트리거되고 장바구니가 비워질 수 있습니다.
- 하이브리드: 호스트별 스티키, CDN 자산은 요청별. HTML 일관성을 유지하면서 이미지와 스크립트는 더 넓은 IP 분산으로 가져옵니다.
회전 전 5가지 점검
- 모든 URL을 상태 의존성으로 분류합니다. 세션·장바구니·인증 토큰을 설정하거나 읽는지 확인하고 결과를 큐 레코드에 저장해 워커가 모델을 자동 선택하게 합니다.
- 세션 키 전략을 정합니다. 계정별, 장바구니별, 시장별 중 하나입니다. 여러 계정이 하나의 키를 공유하면 오염이 시작됩니다.
- 세션 유지 시간(분)과 키당 최대 요청 수를 함께 설정하고 먼저 도달하는 쪽에서 종료합니다.
- 지역 풀은 전체가 아니라 대상별로 고릅니다. 미국 가격 크롤이 EU 풀이 더 크다는 이유로 EU 출구를 쓰면 안 됩니다.
- 모든 응답에 출구 IP, 세션 키, 상태 코드, 지연 시간을 기록합니다. 이 항목이 없으면 로테이션 성공과 우연을 구분할 수 없습니다.
회전 창 비교
- 요청별 — 최대 분산. 목록, 검색 결과, JSON에 적합하며 쿠키나 토큰에 의존하는 흐름은 깨집니다.
- 분별 / N회별 — 페이지네이션에 짧은 연속성을 제공. N은 토큰 수명보다 작아야 합니다.
- 스티키 10~30분 — 로그인, 장바구니, 결제, 지역 테스트에 필수. 하나의 IP가 전체 요청 예산을 감당합니다.
- 하이브리드 — HTML은 안정적이고 자산은 넓게 분산. 구성 요소가 많으므로 요청별로 모델을 기록해야 합니다.
설정 단계
- 진입점 두 개를 준비합니다. 상태 없는 작업용 로테이션 엔드포인트와 세션용 스티키 지원 사용자 이름 형식입니다. 인증 정보는 한곳에 모읍니다.
- 모델을 큐에 연결합니다. 워커가 상태 플래그를 읽고 새 IP 또는 계정·장바구니 ID에서 파생한 세션 키를 요청합니다.
- 출구 국가에 맞는 지역화 헤더를 붙입니다. Accept-Language, 통화, 지원 시 타임존입니다. 독일 IP에 en-US 헤더를 붙이는 불일치는 피해야 합니다.
- 회전 전에 백오프를 구현합니다. 429는 지터를 준 지수 백오프, 403은 회전과 대상 쿨다운입니다. 마지막으로 출구 IP를 검증한 뒤 응답을 신뢰합니다.
자주 묻는 질문
요청별로 회전할까요, 스티키를 쓸까요?
상태가 없는 대상(목록, 검색 결과, JSON 피드)은 요청별 회전이 맞습니다. 상태가 있는 경우(로그인, 장바구니, 결제, 대시보드)는 스티키입니다. 흐름 중간의 IP 변경이 인증을 다시 트리거하기 때문입니다. 판단이 어렵다면 한 세션을 스티키로 실행하고 응답에 쿠키나 토큰이 나타나는지 확인하세요. 나타나면 스티키를 유지합니다.
로테이션이 전혀 도움이 되지 않는 경우는?
로테이션은 IP에 묶인 차단만 해결합니다. 계정 단위 속도 제한, 핑거프린트나 요청 패턴으로 인한 WAF 규칙, 로그인 벽에 막힌 경우 새 IP는 아무것도 바꾸지 못하고 더 빨리 다시 차단될 뿐입니다. 먼저 상태 코드와 응답 본문을 확인하고, 같은 IP에서 다른 계정으로 동일 요청을 보내 원인을 좁히세요.
얼마나 빠르게 회전해야 하나요?
작업이 허락하는 한 느리게. 요청별 회전은 상태 없는 엔드포인트에만 쓰고, 스티키는 다단계 흐름이 유지되는 가장 짧은 창, 보통 5~15분으로 설정합니다. 더 빠른 회전은 IP를 더 쓰고 인증을 더 유발하며, 페이싱이 맞으면 성공률을 거의 올리지 못합니다.
감사 기록은 어떻게 남기나요?
응답마다 한 레코드를 남깁니다. 타임스탬프, 대상 URL, 세션 키, 출구 IP, 출구 국가, 상태 코드, 지연 시간, 바이트 수입니다. 스크린샷과 데이터 스냅숏에도 같은 항목을 저장하면 장애 재현과 IP 증명, 지역 타기팅 검증이 가능합니다.
결론
로테이션은 작업마다 설계하는 정책이며 한 번 켜는 스위치가 아닙니다. URL을 상태로 분류하고, 창을 고르고, 지역 규율을 지키고, 회전 전에 백오프하며, 모든 응답의 출구 IP를 기록하세요. FTProxy 주거용 프록시로 시작하면 같은 인증 정보로 요청별과 스티키를 모두 사용할 수 있습니다.