Phân tích usage proxy là việc rút hàng nghìn dòng log request về một nhóm nhỏ con số đủ để nói pool của bạn đang khỏe, đang suy, hay đang âm thầm làm hỏng một quy trình nghiệp vụ. Hầu hết team đã có nguyên liệu thô — dashboard nhà cung cấp, log scraper, hóa đơn băng thông — nhưng hiếm khi ghép chúng thành một góc nhìn trả lời đúng câu hỏi duy nhất: tầng proxy có đang tạo ra công việc thành công với chi phí bảo vệ được không?

Kiểu hỏng rất dễ đoán. Pool bắt đầu trả về soft block thay vì lỗi cứng, tỷ lệ thành công tụt hai điểm mỗi tuần, retry làm phình băng thông, và không ai để ý cho đến khi khách hỏi vì sao dữ liệu trễ ba ngày. Lúc đó sự cố đã kéo dài một tháng. Tám KPI lấp đúng khoảng trống đó.

Tám KPI, nhóm theo thứ chúng bảo vệ

  • Độ tin cậy — task success rate và block/captcha rate. Success rate tính trên task hoàn thành chia task thử, theo target và theo pool; block rate là tỷ lệ 403/429/challenge trên tổng lần thử. Hai chỉ số này tách “site đổi” khỏi “danh tính của ta đã cháy”.
  • Ổn định danh tính — churn exit IP và độ trễ p50/p95 theo target. Churn đo số lần IP thoát đổi trong một giờ của phiên sticky; phân vị độ trễ đo phần đuôi, vì trung bình toàn cục che mất đúng endpoint đang làm tắc hàng đợi.
  • Kinh tế — GB mỗi task và chi phí mỗi task thành công. GB/task chuẩn hóa lưu lượng giữa các loại job; cost per success gộp retry, thất bại và overhead thành một số duy nhất để so giữa các nhà cung cấp.
  • Khả năng chịu lỗi — mix provider/pool và alert coverage. Mix cho biết bao nhiêu lưu lượng phụ thuộc một pool; alert coverage cho biết bao nhiêu nhóm lỗi thực sự gọi được người trực. Cả hai là chỉ báo sớm cho mức độ tệ của sự cố tiếp theo.

Checklist sức khỏe pool

  1. Task success rate đo trên việc hoàn thành, không phải HTTP 200 — trang trả captcha là task thất bại.
  2. Block và captcha rate theo xu hướng bảy ngày cho từng target, cảnh báo khi lệch quá ba điểm.
  3. Churn exit IP lấy mẫu mỗi giờ trên phiên sticky; cửa sổ 30 phút mà đổi quá hai lần mỗi giờ là lỗi.
  4. Độ trễ p50/p95 lưu theo target, không gộp toàn cục, so theo tuần.
  5. GB mỗi task xem lại sau mỗi lần đổi chính sách retry, vì bão retry là nguyên nhân quen thuộc của spike băng thông.

So sánh nhanh

  • Success rate: bắt được suy giảm chức năng âm thầm, nhưng không nói vì sao.
  • Block rate: cảnh báo sớm chất lượng danh tính và nhịp request, nhưng không thấy chi phí retry đã trả.
  • Cost per success: phá ảo giác giá niêm yết, nhưng bỏ qua giờ kỹ sư ngồi trông pool.
  • Alert coverage: phơi ra nhóm lỗi không bao giờ tới được người, nhưng không thấy lỗi bạn chưa từng nghĩ tới việc đo.

Bốn bước dựng dashboard

  1. Định nghĩa task trước request: một trang đã parse, một tài khoản đã kiểm, một mức giá đã lấy.
  2. Log sáu trường mỗi lần thử: thời gian, pool, target, IP thoát, kết quả, số byte.
  3. Tách mọi biểu đồ theo target và pool; một đường gộp là lý do phổ biến nhất khiến team bỏ sót target hỏng.
  4. Cảnh báo theo tốc độ thay đổi, không theo giá trị tuyệt đối, rồi họp mười lăm phút mỗi tuần với ba câu hỏi: cái gì đổi, vì sao, ta đã làm gì.

Câu hỏi thường gặp

Nên đo KPI nào trước?

Task success rate. Đây là chỉ số duy nhất đại diện trực tiếp cho giá trị giao được, tính rất rẻ từ log sẵn có, và làm mọi KPI khác trở nên dễ diễn giải. Thêm block rate ngay sau đó vì nó giải thích phần lớn biến động của success rate.

Vì sao dùng p95 thay vì p50?

Vì hành vi hàng đợi do phần đuôi quyết định. Nếu năm phần trăm request chậm gấp bốn lần, worker sẽ ngồi chờ và thông lượng giảm mạnh hơn nhiều so với gợi ý của trung vị. Theo dõi p50 để tính công suất, p95 để thấy nỗi đau thực tế.

Không có gì cao siêu ở đây: một bảng log, một truy vấn định kỳ và vài dòng SQL là ra bảy trong tám KPI; cái thứ tám là quyết định ai sẽ bị gọi lúc hai giờ sáng. Nếu muốn pool hiển thị sẵn success rate, churn, phân vị độ trễ và chi phí mỗi task, hãy bắt đầu với proxy dân cư FTProxy rồi nối phần còn lại vào stack của bạn.