프록시 사용량 분석은 수천 줄의 원시 요청 로그를 몇 개의 숫자로 압축해, 풀이 건강한지, 퇴화 중인지, 아니면 조용히 비즈니스 프로세스를 망치고 있는지 판단하는 작업입니다. 대부분의 팀은 이미 원료를 갖고 있습니다. 공급자 대시보드, 스크래퍼 로그, 대역폭 청구서입니다. 그러나 이를 비즈니스가 궁금해하는 단 하나의 질문에 답하는 하나의 뷰로 합치는 경우는 드뭅니다. 프록시 계층이 방어 가능한 비용으로 성공하는 작업을 만들고 있는가, 라는 질문입니다.
실패 양상은 예측 가능합니다. 풀이 하드 오류 대신 소프트 차단을 반환하기 시작하고, 성공률이 주당 2포인트씩 미끄러지고, 재시도가 대역폭을 부풀리는데, 고객이 데이터가 왜 사흘 늦었냐고 물을 때까지 아무도 모릅니다. 그때 장애는 이미 한 달째입니다. 여덟 개 KPI가 이 구멍을 메웁니다. 계산은 저렴하고, 비용과 신뢰성에 직결되며, 합치면 프록시 운영의 실패 표면 약 90퍼센트를 덮습니다.
무엇을 보호하는지로 묶은 여덟 개 KPI
- 신뢰성 — 작업 성공률과 차단/캡차율. 성공률은 시도 대비 완료를 대상별·풀별로 세고, 차단율은 403·429·챌린지 비율을 셉니다. 둘을 합치면 “사이트가 바뀌었다”와 “우리 신원이 탔다”를 구분할 수 있습니다.
- 신원 안정성 — 출구 IP 체인지와 대상별 지연 p50/p95. 체인지는 스티키 세션이 한 시간에 출구 IP를 몇 번 바꾸는지 측정하고, 지연 백분위는 꼬리를 봅니다. 전역 평균은 큐를 오염시키는 바로 그 엔드포인트를 가리기 때문입니다.
- 경제성 — 작업당 GB와 성공 작업당 비용. 작업당 대역폭은 작업 유형 간 트래픽을 정규화하고, 성공당 비용은 재시도·실패·오버헤드를 공급자 간 비교 가능한 하나의 숫자로 접습니다.
- 복원력 — 공급자/풀 구성과 알림 커버리지. 구성은 단일 풀에 걸린 트래픽 비중을, 커버리지는 알려진 실패 유형 중 실제로 사람을 호출하는 비율을 보여줍니다. 둘 다 다음 장애의 심각도를 미리 알려주는 지표입니다.
풀 건강 체크리스트
- 작업 성공률은 HTTP 200이 아니라 완료된 작업으로 측정합니다. 캡차를 렌더링한 페이지는 실패입니다.
- 차단 및 캡차율은 대상별 7일 추세로 추적하고 3포인트 이상 움직이면 알립니다.
- 출구 IP 체인지는 스티키 세션에서 매시간 샘플링합니다. 30분 창에서 시간당 두 번 넘게 바뀌면 결함입니다.
- 지연 p50/p95는 대상별로 저장하고 절대 전역 집계하지 않으며 주 단위로 비교합니다.
- 작업당 GB는 재시도 정책을 바꿀 때마다 확인합니다. 대역폭 급증의 흔한 원인이 재시도 폭풍입니다.
간단 비교
- 성공률: 단일 대상이나 풀의 조용한 기능 퇴화를 잡지만 이유는 말하지 않습니다.
- 차단율: 신원 품질과 페이싱 문제를 몇 주 전에 경고하지만 이미 지불한 재시도 비용은 보지 못합니다.
- 성공당 비용: 스티커 가격 착각과 재시도 팽창을 깨부수지만 운영에 쓴 엔지니어링 시간은 무시합니다.
- 알림 커버리지: 사람에게 도달하지 않는 실패 유형을 드러내지만, 계측할 생각조차 못 한 실패는 보이지 않습니다.
네 단계로 대시보드 만들기
- 요청보다 작업을 먼저 정의합니다. 파싱된 상품 페이지, 확인된 계정, 수집된 가격.
- 시도마다 여섯 필드를 기록합니다. 시각, 풀, 대상, 출구 IP, 결과, 바이트.
- 모든 차트를 대상과 풀로 나눕니다. 하나로 합친 선은 죽어가는 대상을 몇 주씩 놓치는 가장 흔한 이유입니다.
- 절대값이 아니라 변화율로 알림하고, 주 15분 동안 세 질문에 답합니다. 무엇이 움직였나, 왜인가, 우리는 무엇을 했나.
자주 묻는 질문
가장 먼저 계측할 KPI는?
작업 성공률입니다. 전달 가치를 직접 대표하는 유일한 지표이고, 기존 로그로 저렴하게 계산되며, 다른 KPI를 해석 가능하게 만듭니다. 바로 뒤에 차단율을 붙이세요. 성공률 변동의 대부분을 설명합니다.
왜 p50이 아니라 p95인가?
큐 행동은 꼬리가 결정하기 때문입니다. 요청의 5퍼센트가 네 배 느리면 워커는 뒤처진 요청을 기다리며 놀고, 처리량은 중앙값이 시사하는 것보다 훨씬 크게 떨어집니다. p50은 용량 계획, p95는 실제 통증에 씁니다.
특별할 것은 없습니다. 로그 테이블, 예약 쿼리, 십여 줄의 SQL이면 여덟 중 일곱 개가 나옵니다. 여덟 번째는 새벽 두 시에 누구를 깨울지에 대한 결정입니다. 성공률, 체인지, 지연 백분위, 작업당 비용을 대시보드에 이미 노출하는 풀을 원한다면 FTProxy 주거용 프록시로 시작해 나머지를 자체 스택에 연결하세요.