代理用量分析,是把成千上万条原始请求日志压缩成少数几个数字的功夫,用来判断你的池是健康、正在退化,还是在悄悄毁掉某个业务流程。多数团队其实已经拥有原料——供应商控制台、爬虫日志、带宽账单——却很少把它们拼成一张能回答唯一关键问题的视图:代理层是否在可辩护的成本下持续产出成功的工作。

失效模式非常可预测。池开始返回软封锁而不是硬错误,成功率每周滑落两个点,重试把带宽撑大,直到客户问为什么数据延迟三天才有人发现。那时事故已经持续一个月。八个KPI正好补上这个缺口:计算便宜、直接对应成本与可靠性,合起来覆盖代理运维约九成的故障面。

八个KPI,按它们保护的对象分组

  • 可靠性——任务成功率与封锁/验证码率。成功率按目标、按池统计完成数除以尝试数;封锁率统计403、429与挑战响应的占比。两者合起来能区分“站点改了”与“我们的身份被打穿”。
  • 身份稳定性——出口IP漂移与各目标延迟p50/p95。漂移衡量粘性会话每小时换几次出口IP;延迟百分位看尾部,因为全局均值会掩盖那个正在毒化队列的端点。
  • 经济性——每任务GB与每成功任务成本。每任务带宽把不同作业类型的流量归一化;每成功成本把重试、失败与开销折成一个可跨供应商比较的数字。
  • 韧性——供应商/池结构与告警覆盖率。结构显示多少流量压在单一池上;覆盖率显示已知故障类型中真正会呼叫到人的比例。两者都是下一次事故严重程度的前置指标。

池健康检查清单

  1. 任务成功率按完成的工作计,而不是HTTP 200——渲染出验证码的页面是失败任务。
  2. 封锁与验证码率按目标看七天趋势,波动超过三个点即告警。
  3. 出口IP漂移对粘性会话每小时采样;三十分钟粘性窗口若每小时换两次以上即为缺陷。
  4. 延迟p50与p95按目标存储,绝不全局聚合,按周对比。
  5. 每任务GB在每次调整重试策略后复查,重试风暴是带宽尖峰的常见成因。

快速对比

  • 成功率:能抓到单池或单目标的功能性衰减,但说不出原因。
  • 封锁率:提前数周预警身份质量与节奏问题,但看不到已付出的重试成本。
  • 每成功成本:戳破标价幻觉与重试膨胀,但忽略工程师盯池的时间。
  • 告警覆盖率:暴露永远到不了人的故障类型,但看不到你从未想到要埋点的失败。

四步搭起看板

  1. 先定义任务再定义请求:一个已解析的商品页、一个已核验的账号、一个已抓取的价格。
  2. 每次尝试记录六个字段:时间、池、目标、出口IP、结果、字节数。
  3. 每张图都按目标与池拆分;合并成一条线是团队漏掉故障目标的最常见原因。
  4. 按变化速率而非绝对值告警,每周固定十五分钟回答三个问题:什么变了、为什么、我们做了什么。

常见问题

应该先埋哪个KPI?

任务成功率。它是唯一直接代表交付价值的指标,用现有日志就能廉价算出,而且一旦知道工作是否完成,其他KPI才可解释。紧接着加封锁率,因为它解释了成功率的大部分波动。

为什么看p95而不是p50?

因为队列行为由尾部决定。如果百分之五的请求慢四倍,worker会空等掉队者,吞吐下降幅度远超中位数暗示的水平。p50用于容量规划,p95用于真实痛感。

这些都不玄乎:一张日志表、一个定时查询、十几行SQL就能产出八个KPI中的七个;第八个是决定凌晨两点该叫醒谁。若想要一个已经在控制台里暴露成功率、漂移、延迟百分位与每任务成本的池,可以从FTProxy住宅代理开始,再把其余指标接进自己的系统。