Скрапинг Amazon с прокси — это задача не про скорость, а про географию и темп. Один и тот же ASIN показывает разные цену, победителя Buy Box и иногда наличие в зависимости от того, откуда пришёл запрос. Поэтому IP, который умеет только быстро ротироваться, даёт данные, неверные незаметным для вас образом.
Разберём, что Amazon персонализирует по IP, как привязать резидентные IP к маркетплейсу и региону и когда ротация разрушает точность.
Что Amazon персонализирует по географии
- Цена и валюта: конвертация, отображение налога и акционные цены меняются по домену и часто по определённому региону внутри страны. Два запроса по одному ASIN могут законно вернуть две разные суммы.
- Владелец Buy Box: победитель определяется для каждого запроса по месту доставки, показателям продавца и складу. IP в неверном регионе может отдать бокс продавцу, которого ваши клиенты никогда не видят.
- Наличие и сроки доставки: «в наличии», даты и условия Prime считаются от пункта назначения, выведенного из IP. Обход США через европейский выход сообщает неверные сроки.
- Отзывы и варианты контента: пул отзывов, блоки «смотрели также» и локализованные заголовки различаются по маркетплейсам, а частичная локализация встречается даже внутри одного домена.
Пять проверок перед первым обходом
- Перечисляйте цели парами маркетплейс плюс регион — amazon.com/US-East, amazon.com/US-West, amazon.de, amazon.co.jp — а не только доменами.
- Резервируйте пул гео-привязанных резидентных IP на каждую пару, исходя из параллельности и числа каталогов.
- Решайте по типу страницы: поиск терпит ротацию, карточка товара нет, так как смена IP посреди сбора меняет набор предложений.
- Задавайте Accept-Language, cookie валюты и правдоподобный часовой пояс под маркетплейс. Японская локаль на немецком IP даёт гибридную страницу, которой не видит ни один реальный пользователь.
- Ставьте случайную задержку 5–15 секунд на запрос, иногда дольше. Ровные быстрые серии — самый надёжный способ получить троттлинг. Сохраняйте метку времени, исходящий IP и регион для каждого предложения.
Тип страницы и стратегия прокси
- Результаты поиска — ротация на запрос внутри одного регионального пула; большой объём, мало состояния.
- Карточка товара — sticky на весь сбор, 5–15 минут; цена, Buy Box и доставка должны приходить от одной личности.
- Отзывы — sticky и тот же IP для пагинации; ротация посреди списка вернёт дубликаты.
- Best Sellers и Deals — ротация на запрос, выборка в фиксированные часы; постоянство времени важнее разнообразия IP.
Сборка пайплайна по шагам
- Начните с одного маркетплейса и региона. Стабилизируйте поля цены, Buy Box и доставки, прежде чем добавлять вторую географию.
- Идите через гео-привязанный IP и проверяйте страну выхода и ASN до запроса.
- Отправляйте подходящие заголовки и cookie: язык, валюту и сессию, живущую весь сбор карточки.
- Применяйте случайный темп 5–15 секунд и экспоненциальный backoff с джиттером на 429; при 503 или CAPTCHA ротируйте и остужайте цель несколько минут. Парсите осторожно, храните сырой HTML по каждому полю и одну строку на предложение.
Частые вопросы
Почему Amazon блокирует скрапер даже с прокси
Обычно триггер — поведение, а не IP: ровные интервалы, одинаковые заголовки на тысячи запросов или отпечаток, противоречащий заявленному устройству. Прокси меняет только сетевую личность. Исправьте темп, правдоподобно варьируйте заголовки, держите cookie согласованными в сессии и снизьте параллельность, прежде чем покупать больше IP.
Какой тип прокси лучше для Amazon
Резидентные IP, привязанные к региону маркетплейса. Диапазоны дата-центров широко известны и часто получают ухудшенный опыт — другой макет или урезанный набор предложений — что портит данные даже при успешном запросе. Резидентные также делают Buy Box и сроки доставки похожими на то, что видит реальный покупатель.
Как собирать отзывы без дубликатов
Держите один sticky IP на обход отзывов и листайте внутри этой сессии, так как список зависит от состояния. Удаляйте дубликаты по ID отзыва, а не по позиции, собирайте «главные» и «новые» отдельно, затем повторяйте обход по расписанию и сравнивайте по ID.
Законен ли скрапинг Amazon
Зависит от юрисдикции, собираемых данных и их использования. Публичные товарные данные обычно трактуются иначе, чем персональные, но условия использования всё равно действуют. Собирайте только нужное, избегайте персональных данных, соблюдайте лимиты и получите юридическую оценку своего случая.
Итог
Amazon вознаграждает медленный и географически согласованный сбор и наказывает быстрый равномерный. Привязывайте резидентные IP к маркетплейсу и региону, ротируйте только на страницах без состояния, держите темп 5–15 секунд и сохраняйте по каждому предложению метку времени и исходящий IP. Начните с резидентных прокси FTProxy и считайте регион полноправным полем схемы.