Настройку ротирующего прокси часто воспринимают как переключатель: включили ротацию и ждём, что блокировки исчезнут. На деле ротация — это политика, осознанное решение о том, сколько живёт одна идентичность IP, прежде чем следующий запрос получит новую. Выбрали верно — краулер работает неделями; ошиблись — потратили весь бюджет трафика на доказательство того, что ротация не лечит поведенческую блокировку.
Разберём три модели, которые реально нужны командам, обработку ошибок и журнал аудита, показывающий, какой исходящий IP отдал каждый ответ.
Окно ротации выбирается под задачу
- На каждый запрос: новый исходящий IP при каждом обращении. Подходит для целей без состояния — списков, выдачи поиска, публичных JSON, лент цен. Ничего не нужно поддерживать, нечего терять.
- На минуту или на N запросов: одна идентичность на фиксированное окно или число запросов. Для многошагового обхода с частичной непрерывностью — пагинация, фасетный поиск, варианты товара.
- Sticky-сессии: один IP на весь сценарий. Обязателен для входа, корзины, оформления заказа, панелей. Смена IP посреди сценария повторно запускает проверку и может очистить корзину.
- Гибрид: sticky по имени хоста плюс ротация для ресурсов CDN. HTML остаётся согласованным, а изображения и скрипты идут через более широкий набор IP.
Пять проверок перед запуском ротации
- Классифицируйте каждый URL по состоянию: устанавливает или читает сессию, корзину, токен? Сохраните ответ в записи очереди, чтобы воркер сам выбирал модель.
- Определите стратегию ключа сессии: один ключ на аккаунт, корзину или рынок. Общий ключ на несколько аккаунтов — начало перекрёстного загрязнения.
- Задайте длительность сессии в минутах и максимум запросов на ключ; что наступит раньше, то и завершает сессию.
- Выбирайте гео-пул под цель, а не глобально. Обход цен США не должен уходить через европейский выход только потому, что пул больше.
- Логируйте исходящий IP, ключ сессии, код статуса и задержку для каждого ответа. Без этого поля успех не отличить от везения.
Сравнение окон ротации
- На запрос — максимальный разброс, подходит для списков, поиска и JSON; ломает сценарии с cookie и токенами.
- На минуту / на N — короткая непрерывность для пагинации; N должно быть меньше времени жизни токена.
- Sticky 10–30 минут — обязателен для входа, корзины, оформления и гео-тестов; один IP несёт весь бюджет запросов.
- Гибрид — стабильный HTML и широкое покрытие ресурсов; больше деталей, поэтому фиксируйте модель для каждого запроса.
Пошаговая настройка
- Сделайте две точки входа: ротационный эндпоинт для задач без состояния и формат логина с поддержкой sticky для сессий. Храните учётные данные в одном месте.
- Встройте модель в очередь: воркер читает флаг состояния и запрашивает либо свежий IP, либо ключ, производный от ID аккаунта или корзины.
- Добавьте заголовки локализации под страну выхода — Accept-Language, валюту и часовой пояс, если клиент поддерживает. Немецкий IP с заголовком en-US — нежелательное несоответствие.
- Реализуйте backoff до ротации: экспоненциальная задержка с джиттером при 429, ротация и пауза для цели при 403. В конце проверьте исходящий IP, прежде чем доверять данным.
Частые вопросы
Ротировать на каждый запрос или использовать sticky?
На запрос — когда цель без состояния: списки, результаты поиска, JSON-ленты. Sticky — когда состояние есть: вход, корзина, оформление, панель управления, поскольку смена IP посреди сценария повторно запускает проверку. Если неясно, проведите одну sticky-сессию и посмотрите, появляются ли в ответе cookie или токены; если да — оставляйте sticky.
Когда ротация вообще не помогает?
Ротация устраняет только блокировки, привязанные к IP. При лимитах на аккаунт, срабатывании правил WAF из-за отпечатка или шаблона запросов, при экране входа новый IP ничего не меняет — вас просто быстрее заблокируют снова. Сначала изучите код статуса и тело ответа, затем повторите тот же запрос с другого аккаунта на том же IP.
Как быстро ротировать?
Настолько медленно, насколько позволяет задача. Ротация на запрос — только для целей без состояния; sticky настраивайте на минимальное окно, при котором многошаговый сценарий остаётся связным, обычно 5–15 минут. Более быстрая ротация расходует больше IP, вызывает больше проверок и редко повышает успешность при верном темпе.
Как вести журнал аудита?
Одна запись на ответ: время, целевой URL, ключ сессии, исходящий IP, страна, код статуса, задержка, байты. Сохраняйте те же поля на скриншотах и снимках данных — это позволяет воспроизвести сбой и доказать, какой IP получил страницу.
Итог
Ротация — политика, проектируемая под задачу. Классифицируйте URL по состоянию, выбирайте окно, держите гео-дисциплину, делайте backoff до ротации и логируйте исходящий IP в каждом ответе. Начните с резидентных прокси FTProxy — ротация на запрос и sticky на одних учётных данных.