프록시 풀 관리는 조용히 망가지는 시스템과 고객이 눈치채기 전에 알람을 울리는 시스템을 가릅니다. 풀의 품질은 가동 중 가장 나쁜 IP가 결정합니다. 썩은 엑시트 하나가 작업 전체를 오염시키고, 건강한데 놀고 있는 IP 수십 개는 요금만 불립니다.

이 글은 전체 운영 루프를 다룹니다: 헬스체크, 스코어링, 쿨다운, 로테이션 정책, 장애 귀속.

프록시 풀 관리의 네 기둥

  • 상시 헬스체크: 백그라운드 워커가 몇 분마다 모든 IP의 연결 지연, TLS 핸드셰이크, DNS를 점검해 작업보다 먼저 장애를 알립니다.
  • 죽음과 아픔 분리: 죽은 IP는 연결 자체가 불가, 아픈 IP는 연결되지만 오류와 캡차 — 대응이 완전히 다릅니다.
  • 감이 아닌 점수: 성공률, 지연, 마지막 차단 시점으로 만든 실시간 점수로 라우팅합니다.
  • 모든 응답 귀속: 요청마다 출구 IP를 기록해 실패 시 “어떤 IP, 어떤 오류, 몇 번째 재시도”에 답합니다.

운영 체크리스트

  1. 계획적으로 프로브: 생사 플래그가 아닌 지연 퍼센타일을 저장.
  2. 실패 분류: 죽은 IP는 제거 검토, 아픈 IP는 쿨다운 후 재테스트.
  3. 3가지 입력으로 점수화: 최근 N개 요청 성공률, p95 지연, 마지막 차단 이후 경과 시간.
  4. 점수로 라우팅: 중요 트래픽은 임계값 이상만. 탐색 작업은 미지 IP도 시도해 점수판이 학습하게.
  5. 쿨다운은 분이 아닌 시간 단위. 반복 위반은 제거하고 격리 로그에 기록.

IP 상태 비교

  • 건강: 응답 깨끗, 수 주 무차단 → 중요 트래픽 담당 유지, 드리프트 관찰.
  • 아픔: 오류, 캡차, 403 → 수 시간 쿨다운 후 저가치 트래픽으로 재테스트.
  • 죽음: TCP/TLS 불통 → 즉시 격리하고 예비로 교체.
  • 제거: 차단 반복, 점수가 하한 미달 → 영구 제외하고 패턴 기록.

4단계 구축

  1. 모든 엔드포인트를 한곳에: 공급자, 국가, 세션 유형, 구매일을 메타데이터로.
  2. 소박한 프로버 구축: 연결 + TLS + 샘플 요청, 결과는 한 테이블에.
  3. 점수 입력과 작업별 라우팅 임계값 정의(거래는 스티키, 탐색은 로테이션).
  4. 쿨다운·제거 정책을 정하고 건강 IP 수가 안전 마진 아래로 내려가면 알람.

FAQ

풀 크기는 얼마나?

피크 동시성 × 세션 길이 × 안전계수 1.5~2, 여기에 20~30% 예비. 밴 파도에도 프로덕션이 멈추지 않습니다.

언제 IP를 제거하나요?

쿨다운 창 안에서 차단이 반복되거나, 두 번의 완전한 재테스트 후에도 점수가 하한 미만일 때. 한 번은 노이즈, 두 주에 세 번은 평판 문제입니다.

FTProxy 대시보드는 노드별 상태를 보여줍니다.