电商采集是数据采集行业里最难的常规任务,因为主流电商平台部署着互联网上最成熟的反爬栈:请求限流、IP信誉评分、JavaScript挑战和行为分析层层叠加。只解决一层的采集器——比如会轮换IP但指纹一眼无头浏览器——能活几天,活不过几个月。
电商采集的四层架构
- 层一——身份:消费级ISP住宅IP。数据中心地址在信誉检查就死掉;住宅IP通过大门看到真实商品页。列表扫描按请求轮换,需要保持身份的流程用粘性会话。
- 层二——指纹卫生:User-Agent、Accept-Language、时区、屏幕尺寸必须与出口IP地理一致。JS挑战页用真实浏览器引擎,viewport轻微随机化。
- 层三——人类节奏:随机延迟替代固定间隔、合理的导航序列。行为分析读请求节奏;节拍器一样的时序是最廉价的被识别信号。
- 层四——归因日志:每个请求标记session、出口IP、国家、重试次数;每个响应记录状态。封锁潮来时能看出哪个子网在坏,而不是靠猜。
首次生产运行前的清单
- 出口IP通过ASN与信誉检查——如何测试代理几分钟搞定。
- 每个出口地理一个浏览器档案,请求头匹配IP国家与语言。
- 为每个会话设定每秒请求预算,由调度器强制执行。
- 提前定好429策略:指数退避、回收会话、保护地址池的硬停。
- 接好日志:每个请求记录出口IP与状态。
- 定刷新频率:多数价格数据不会每分钟都变。
按页面类型的轮换策略对比
- 搜索/列表页:按请求轮换,无需会话连续性。
- 商品详情页:粘性5–15分钟,浏览期间保持同一IP。
- 购物车/结账:静态或长粘性——整个漏斗一个身份。
- 账号后台:每账号一个静态IP,登录后绝不轮换。
4步扩量不被封
- 先打一个平台一个类目,验证架构后再复制。
- 分流:扫描走轮换,商品/购物车走粘性,账号走专属静态IP。
- 限制每个子网并发——10个温和worker胜过100个凶猛worker。
- 碰到429立刻退避:延迟翻倍、回收会话、退避窗口后再继续。
FAQ
采集电商如何避免封禁?
降低概率而非消灭:干净ASN住宅、匹配指纹、人类节奏、守纪律的429退避。请求节奏是最大的杠杆。
采集Amazon用什么代理最好?
支持粘性会话的轮换住宅:列表按请求轮换,商品/购物车粘性,账号用静态IP。数据中心在信誉层就出局。
FTProxy住宅代理——干净消费级ISP身份、按请求轮换与粘性会话一个池子全有。