Парсинг e-commerce — самая сложная рутинная задача в сборе данных, потому что крупные маркетплейсы держат самые зрелые анти-бот стеки в интернете: рейт-лимиты, скоринг репутации IP, JavaScript-челленджи и поведенческая аналитика, наслоенные друг на друга. Коллектор, решающий только один слой — ротирует IP, но светит headless-фингерпринтом — живет дни, а не месяцы.

Четырёхслойная архитектура парсинга e-commerce

  • Слой 1 — Идентичность: резидентные IP потребительских ISP. Датацентр-адреса умирают на проверке репутации; резидентные проходят дверь и видят настоящие карточки товаров. Ротация на запрос для обхода листингов, sticky для потоков с единой личностью.
  • Слой 2 — Гигиена фингерпринта: User-Agent, Accept-Language, таймзона и геометрия экрана должны совпадать с географией выходного IP. Реальный браузерный движок для JS-челленджей, легкая рандомизация viewport.
  • Слой 3 — Человеческий темп: случайные задержки вместо фиксированных интервалов, правдоподобные цепочки навигации. Поведенческая аналитика читает ритм запросов; метрономный тайминг — самый дешевый для детекта сигнал.
  • Слой 4 — Логи атрибуции: каждый запрос с тегами сессии, выходного IP, страны и счетчика ретраев; каждый ответ со статусом. Волна блоков привязывается к подсети, а не угадывается.

Чек-лист перед первым продуктовым запуском

  1. Выходные IP проходят ASN- и репутационную проверку — рутина как тестировать прокси занимает минуты.
  2. Один браузерный профиль на географию выхода, заголовки совпадают со страной и языком IP.
  3. Бюджет запросов в секунду на сессию, принудительно в планировщике.
  4. Политика 429 заранее: экспоненциальный бэкофф, рецикл сессии, жесткий стоп для защиты пула.
  5. Логирование подключено: выходной IP и статус на каждый запрос.
  6. Каденс определен: большинство цен не меняется поминутно.

Стратегия ротации по типам страниц

  • Поиск/листинги: ротация на запрос, непрерывность сессии не нужна.
  • Карточки товаров: sticky 5–15 минут, один IP на время просмотра.
  • Корзина/чекаут: статичный или длинный sticky — одна личность на всю воронку.
  • Кабинеты аккаунтов: статичный IP на аккаунт, после логина не ротировать никогда.

Масштабирование без банов за 4 шага

  1. Сначала один маркетплейс и одна категория; докажите архитектуру, потом размножайте.
  2. Сегментируйте трафик: обходы на ротации, товар/корзина на sticky, аккаунты на выделенные статичные IP.
  3. Ограничьте конкурентность на подсеть — десять мягких воркеров бьют сотню агрессивных.
  4. На 429 сразу отступайте: удвойте паузу, рециклите сессию, продолжайте после окна бэкоффа.

FAQ

Как избегать банов при парсинге e-commerce?

Снижать вероятность, а не обнулять: чистые резидентные ASN, согласованный фингерпринт, человеческий темп, дисциплина 429-бэкоффа. Ритм запросов — главный рычаг.

Лучший прокси для Amazon?

Ротационный резидентный со sticky: на запрос для листингов, sticky для товара/корзины, статика для аккаунтов. Датацентр умирает на слое репутации.

Резидентные прокси FTProxy — чистая идентичность потребительских ISP, ротация и sticky в одном пуле.