Парсинг e-commerce — самая сложная рутинная задача в сборе данных, потому что крупные маркетплейсы держат самые зрелые анти-бот стеки в интернете: рейт-лимиты, скоринг репутации IP, JavaScript-челленджи и поведенческая аналитика, наслоенные друг на друга. Коллектор, решающий только один слой — ротирует IP, но светит headless-фингерпринтом — живет дни, а не месяцы.
Четырёхслойная архитектура парсинга e-commerce
- Слой 1 — Идентичность: резидентные IP потребительских ISP. Датацентр-адреса умирают на проверке репутации; резидентные проходят дверь и видят настоящие карточки товаров. Ротация на запрос для обхода листингов, sticky для потоков с единой личностью.
- Слой 2 — Гигиена фингерпринта: User-Agent, Accept-Language, таймзона и геометрия экрана должны совпадать с географией выходного IP. Реальный браузерный движок для JS-челленджей, легкая рандомизация viewport.
- Слой 3 — Человеческий темп: случайные задержки вместо фиксированных интервалов, правдоподобные цепочки навигации. Поведенческая аналитика читает ритм запросов; метрономный тайминг — самый дешевый для детекта сигнал.
- Слой 4 — Логи атрибуции: каждый запрос с тегами сессии, выходного IP, страны и счетчика ретраев; каждый ответ со статусом. Волна блоков привязывается к подсети, а не угадывается.
Чек-лист перед первым продуктовым запуском
- Выходные IP проходят ASN- и репутационную проверку — рутина как тестировать прокси занимает минуты.
- Один браузерный профиль на географию выхода, заголовки совпадают со страной и языком IP.
- Бюджет запросов в секунду на сессию, принудительно в планировщике.
- Политика 429 заранее: экспоненциальный бэкофф, рецикл сессии, жесткий стоп для защиты пула.
- Логирование подключено: выходной IP и статус на каждый запрос.
- Каденс определен: большинство цен не меняется поминутно.
Стратегия ротации по типам страниц
- Поиск/листинги: ротация на запрос, непрерывность сессии не нужна.
- Карточки товаров: sticky 5–15 минут, один IP на время просмотра.
- Корзина/чекаут: статичный или длинный sticky — одна личность на всю воронку.
- Кабинеты аккаунтов: статичный IP на аккаунт, после логина не ротировать никогда.
Масштабирование без банов за 4 шага
- Сначала один маркетплейс и одна категория; докажите архитектуру, потом размножайте.
- Сегментируйте трафик: обходы на ротации, товар/корзина на sticky, аккаунты на выделенные статичные IP.
- Ограничьте конкурентность на подсеть — десять мягких воркеров бьют сотню агрессивных.
- На 429 сразу отступайте: удвойте паузу, рециклите сессию, продолжайте после окна бэкоффа.
FAQ
Как избегать банов при парсинге e-commerce?
Снижать вероятность, а не обнулять: чистые резидентные ASN, согласованный фингерпринт, человеческий темп, дисциплина 429-бэкоффа. Ритм запросов — главный рычаг.
Лучший прокси для Amazon?
Ротационный резидентный со sticky: на запрос для листингов, sticky для товара/корзины, статика для аккаунтов. Датацентр умирает на слое репутации.
Резидентные прокси FTProxy — чистая идентичность потребительских ISP, ротация и sticky в одном пуле.