轮换代理设置常被当成一个开关:打开轮换,然后以为封禁会消失。实际上轮换是一种策略——你需要决定一个 IP 身份活多久,下一个请求才换用新 IP。策略选对了,爬虫可以连续运行数周;选错了,你只是花光带宽预算来证明轮换治不了行为层面的封禁。
本文讲三种最常用的轮换模型,以及配套的失败处理和审计记录。
按任务选择轮换窗口
- 按请求轮换:每个请求一个全新出口 IP。适合无状态目标——列表页、搜索结果、公开 JSON、价格订阅源。没有会话要维护,也没有 Cookie 会丢。
- 按分钟或按 N 次请求:固定窗口或固定请求数内保持一个身份。适合需要部分连续性的多步抓取——翻页、筛选搜索、商品变体。
- 粘性会话:整个流程一个 IP。登录、购物车、结账、后台面板必须使用。流程中途换 IP 会重新触发验证,甚至清空购物车。
- 混合模式:按主机名粘性,CDN 资源按请求轮换。HTML 保持一致,图片和脚本走更宽的 IP 分布。
开始轮换前的 5 项检查
- 按状态性给每个 URL 分类:是否设置或读取会话、购物车、认证令牌?把结论写进队列记录,让 worker 自动选模型。
- 确定会话键策略:每个账号、每个购物车或每个目标市场一个键。多个账号共用一个键就是交叉污染的起点。
- 同时设置会话时长(分钟)和每个键的最大请求数,先到先止。
- 按目标选择地理池,而不是全局选择。抓美国价格不该因为欧盟池更大就落到欧盟出口。
- 为每个响应记录出口 IP、会话键、状态码和延迟。没有这一列,你无法区分轮换成功和运气。
轮换窗口对比
- 按请求——覆盖最广,适合列表、搜索结果、JSON;会破坏依赖 Cookie 或令牌的流程。
- 按分钟 / 按 N——为翻页抓取保留短时连续性;N 必须小于令牌有效期。
- 粘性 10–30 分钟——登录、购物车、结账、地域测试的必选项;单个 IP 承担全部请求预算。
- 混合——HTML 稳定、资源覆盖广;组件更多,必须逐请求记录所用模型。
配置步骤
- 准备两个入口:无状态任务用单一轮换端点,会话任务用支持粘性的用户名格式,凭证统一存放。
- 把模型接入队列:worker 读取状态性标记,决定取新 IP 还是用账号或购物车 ID 派生会话键。
- 加上与出口国家匹配的本地化请求头——Accept-Language、货币,以及客户端支持时的时区。德国 IP 配 en-US 请求头是不该出现的错配。
- 先退避再轮换:429 用带抖动的指数退避,403 轮换并对该目标设置冷却期;最后校验出口 IP 后再信任响应内容。
常见问题
应该按请求轮换还是用粘性会话?
目标无状态(列表、搜索结果、JSON)时按请求轮换;涉及状态(登录、购物车、结账、面板)时用粘性,因为中途换 IP 会重新触发验证。目标不明确时,先粘性跑一个会话,看响应里是否出现 Cookie 或令牌;出现就保持粘性。
轮换完全无效的情况有哪些?
轮换只能解决与 IP 绑定的封禁。若你被按账号限流、因指纹或请求模式触发 WAF 规则,或被登录墙拦住,换 IP 毫无作用,只会更快再次被拦。先看状态码和响应体,再用同 IP 上的另一个账号重试同一请求来定位原因。
轮换速度多快合适?
在任务允许的前提下尽量慢。只有无状态端点用按请求轮换;粘性会话设为仍能让多步流程连贯的最短窗口,通常是 5–15 分钟。更快轮换会消耗更多 IP、触发更多验证,一旦节奏正确几乎不会提升成功率。
如何保留审计记录?
每个响应一条记录:时间戳、目标 URL、会话键、出口 IP、出口国家、状态码、延迟、字节数。截图和数据快照保存同样字段,便于复现故障、证明某页面由哪个 IP 抓取,以及说明地域定向确实生效。
结论
轮换是按任务设计的策略,不是一次打开的开关。按状态性给 URL 分类、选好窗口、保持地域纪律、先退避再轮换、每个响应记录出口 IP,轮换就会变成安静的基础设施。可从 FTProxy 住宅代理 开始——同一套凭证同时支持按请求与粘性窗口。