Setup proxy rotating thường bị coi là một công tắc: bật rotation lên và hy vọng block biến mất. Thực tế rotation là một chính sách — quyết định có ý thức về việc một danh tính IP sống bao lâu trước khi request tiếp theo nhận IP mới. Chọn đúng thì crawler chạy hàng tuần; chọn sai thì bạn đốt hết băng thông chỉ để chứng minh rotation không sửa được một block hành vi.
Bài này đi qua ba mô hình rotation mà phần lớn team cần, cùng cách xử lý lỗi và audit trail chứng minh IP nào đã trả về response nào.
Chọn cửa sổ rotation theo task
- Per-request: mỗi request một IP mới. Dùng cho target stateless — trang listing, SERP, JSON public, feed giá. Không có session để giữ, không có cookie để mất.
- Per-minute hoặc per-N: một danh tính trong một cửa sổ hoặc một số request cố định. Dùng cho crawl nhiều bước cần continuity một phần — phân trang, faceted search, variant sản phẩm.
- Sticky: một IP cho cả luồng. Bắt buộc với login, giỏ hàng, checkout, dashboard. Đổi IP giữa luồng sẽ kích hoạt lại verification và có thể làm mất giỏ.
- Hybrid: sticky theo hostname, per-request cho asset CDN. HTML giữ ổn định, ảnh và script vẫn trải qua nhiều IP.
Checklist 5 điểm trước khi rotate
- Phân loại mọi URL theo statefulness: có set hoặc đọc session, giỏ hàng, token không? Ghi vào record của queue để worker tự chọn mô hình.
- Đặt chiến lược session key: một key cho mỗi account, mỗi giỏ, hoặc mỗi thị trường. Dùng chung một key cho nhiều account là khởi đầu của cross-contamination.
- Đặt thời lượng session (phút) và số request tối đa mỗi key, cái nào tới trước thì dừng.
- Chọn geo pool theo từng target, không chọn toàn cục. Crawl giá US không nên rơi vào exit EU chỉ vì pool EU lớn hơn.
- Log exit IP, session key, status code và latency cho mọi response. Thiếu trường này thì không phân biệt được rotation thành công với may mắn.
So sánh các cửa sổ rotation
- Per request — nhanh, trải rộng, phù hợp listing/SERP/JSON; phá mọi luồng cần cookie hoặc token.
- Per minute / per N — giữ được continuity ngắn cho crawl phân trang; N phải nhỏ hơn vòng đời token.
- Sticky 10–30 phút — bắt buộc cho login, giỏ hàng, checkout; một IP gánh toàn bộ request budget.
- Hybrid — ổn định cho HTML, rộng cho asset; nhiều thành phần hơn nên phải log mô hình theo từng request.
Các bước setup
- Tách hai entry point: endpoint rotating cho việc stateless và username format hỗ trợ sticky cho session. Giữ cả hai trong một chỗ.
- Đưa mô hình vào queue: worker đọc cờ statefulness rồi lấy IP mới hoặc session key suy ra từ account/cart ID.
- Gắn header localization khớp quốc gia exit — Accept-Language, currency, timezone. IP Đức đi với header en-US là một mismatch nên tránh.
- Backoff trước khi rotate: 429 thì chờ exponential jitter; 403 thì rotate và cho target đó cool-down. Cuối cùng là kiểm tra exit IP trước khi tin payload.
Câu hỏi thường gặp
Nên rotate per request hay dùng sticky?
Per request khi target stateless: listing, kết quả tìm kiếm, JSON feed. Sticky khi có state: login, giỏ hàng, checkout, dashboard — vì đổi IP giữa luồng sẽ kích hoạt lại verification. Nếu chưa rõ, chạy sticky một session rồi xem response có cookie hoặc token không; có thì giữ sticky.
Khi nào rotation hoàn toàn không giúp gì?
Rotation chỉ sửa được block gắn với IP. Nếu bạn bị rate-limit theo account, vướng rule WAF do fingerprint hoặc pattern request, hoặc bị chặn bởi login wall, IP mới không đổi được gì — bạn chỉ bị chặn lại nhanh hơn. Hãy xem status code và body trước, rồi thử cùng request từ account khác trên cùng IP.
Rotation nhanh bao nhiêu là đủ?
Chậm nhất mà task cho phép. Per-request chỉ dùng cho endpoint stateless; sticky đặt ở cửa sổ ngắn nhất còn giữ được luồng nhiều bước, thường 5–15 phút. Rotate nhanh hơn tốn IP, sinh nhiều verification hơn và hiếm khi tăng tỉ lệ thành công.
Audit trail giữ thế nào?
Mỗi response một record: timestamp, URL, session key, exit IP, quốc gia, status code, latency, bytes. Gắn cùng các trường đó cho screenshot và snapshot dữ liệu để replay được lỗi và chứng minh geo-targeting được tôn trọng.
Kết luận
Rotation là chính sách thiết kế theo task, không phải công tắc bật một lần. Phân loại URL theo statefulness, chọn cửa sổ, giữ kỷ luật geo, backoff trước khi rotate và log exit IP mọi response. Bắt đầu với FTProxy residential proxies — per-request và sticky trên cùng bộ credential.