Скрапинг Amazon с прокси — это задача не про скорость, а про географию и темп. Один и тот же ASIN показывает разные цену, победителя Buy Box и иногда наличие в зависимости от того, откуда пришёл запрос. Поэтому IP, который умеет только быстро ротироваться, даёт данные, неверные незаметным для вас образом.

Разберём, что Amazon персонализирует по IP, как привязать резидентные IP к маркетплейсу и региону и когда ротация разрушает точность.

Что Amazon персонализирует по географии

  • Цена и валюта: конвертация, отображение налога и акционные цены меняются по домену и часто по определённому региону внутри страны. Два запроса по одному ASIN могут законно вернуть две разные суммы.
  • Владелец Buy Box: победитель определяется для каждого запроса по месту доставки, показателям продавца и складу. IP в неверном регионе может отдать бокс продавцу, которого ваши клиенты никогда не видят.
  • Наличие и сроки доставки: «в наличии», даты и условия Prime считаются от пункта назначения, выведенного из IP. Обход США через европейский выход сообщает неверные сроки.
  • Отзывы и варианты контента: пул отзывов, блоки «смотрели также» и локализованные заголовки различаются по маркетплейсам, а частичная локализация встречается даже внутри одного домена.

Пять проверок перед первым обходом

  1. Перечисляйте цели парами маркетплейс плюс регион — amazon.com/US-East, amazon.com/US-West, amazon.de, amazon.co.jp — а не только доменами.
  2. Резервируйте пул гео-привязанных резидентных IP на каждую пару, исходя из параллельности и числа каталогов.
  3. Решайте по типу страницы: поиск терпит ротацию, карточка товара нет, так как смена IP посреди сбора меняет набор предложений.
  4. Задавайте Accept-Language, cookie валюты и правдоподобный часовой пояс под маркетплейс. Японская локаль на немецком IP даёт гибридную страницу, которой не видит ни один реальный пользователь.
  5. Ставьте случайную задержку 5–15 секунд на запрос, иногда дольше. Ровные быстрые серии — самый надёжный способ получить троттлинг. Сохраняйте метку времени, исходящий IP и регион для каждого предложения.

Тип страницы и стратегия прокси

  • Результаты поиска — ротация на запрос внутри одного регионального пула; большой объём, мало состояния.
  • Карточка товара — sticky на весь сбор, 5–15 минут; цена, Buy Box и доставка должны приходить от одной личности.
  • Отзывы — sticky и тот же IP для пагинации; ротация посреди списка вернёт дубликаты.
  • Best Sellers и Deals — ротация на запрос, выборка в фиксированные часы; постоянство времени важнее разнообразия IP.

Сборка пайплайна по шагам

  1. Начните с одного маркетплейса и региона. Стабилизируйте поля цены, Buy Box и доставки, прежде чем добавлять вторую географию.
  2. Идите через гео-привязанный IP и проверяйте страну выхода и ASN до запроса.
  3. Отправляйте подходящие заголовки и cookie: язык, валюту и сессию, живущую весь сбор карточки.
  4. Применяйте случайный темп 5–15 секунд и экспоненциальный backoff с джиттером на 429; при 503 или CAPTCHA ротируйте и остужайте цель несколько минут. Парсите осторожно, храните сырой HTML по каждому полю и одну строку на предложение.

Частые вопросы

Почему Amazon блокирует скрапер даже с прокси

Обычно триггер — поведение, а не IP: ровные интервалы, одинаковые заголовки на тысячи запросов или отпечаток, противоречащий заявленному устройству. Прокси меняет только сетевую личность. Исправьте темп, правдоподобно варьируйте заголовки, держите cookie согласованными в сессии и снизьте параллельность, прежде чем покупать больше IP.

Какой тип прокси лучше для Amazon

Резидентные IP, привязанные к региону маркетплейса. Диапазоны дата-центров широко известны и часто получают ухудшенный опыт — другой макет или урезанный набор предложений — что портит данные даже при успешном запросе. Резидентные также делают Buy Box и сроки доставки похожими на то, что видит реальный покупатель.

Как собирать отзывы без дубликатов

Держите один sticky IP на обход отзывов и листайте внутри этой сессии, так как список зависит от состояния. Удаляйте дубликаты по ID отзыва, а не по позиции, собирайте «главные» и «новые» отдельно, затем повторяйте обход по расписанию и сравнивайте по ID.

Законен ли скрапинг Amazon

Зависит от юрисдикции, собираемых данных и их использования. Публичные товарные данные обычно трактуются иначе, чем персональные, но условия использования всё равно действуют. Собирайте только нужное, избегайте персональных данных, соблюдайте лимиты и получите юридическую оценку своего случая.

Итог

Amazon вознаграждает медленный и географически согласованный сбор и наказывает быстрый равномерный. Привязывайте резидентные IP к маркетплейсу и региону, ротируйте только на страницах без состояния, держите темп 5–15 секунд и сохраняйте по каждому предложению метку времени и исходящий IP. Начните с резидентных прокси FTProxy и считайте регион полноправным полем схемы.