Le scraping d’Amazon avec proxys n’est pas un problème de vitesse mais de géographie et de rythme. Un même ASIN affiche un prix, un gagnant de la Buy Box et parfois une disponibilité différents selon l’origine de la requête : une IP qui ne sait que tourner vite produit donc des données fausses d’une manière invisible.

Ce guide couvre ce qu’Amazon personnalise par IP, comment épingler des IP résidentielles par place de marché et par région, et quand la rotation détruit la précision.

Ce qu’Amazon personnalise selon la géographie

  • Prix et devise : conversion, affichage des taxes et prix promotionnels changent selon le domaine et souvent selon la région détectée dans un pays. Deux requêtes sur le même ASIN peuvent légitimement renvoyer deux totaux.
  • Propriétaire de la Buy Box : le vendeur gagnant est décidé par requête selon le lieu de livraison, la performance du vendeur et le stock. Une IP résidentielle dans la mauvaise région peut attribuer la box à un vendeur que vos clients ne voient jamais.
  • Disponibilité et promesses de livraison : « en stock », dates de livraison et éligibilité Prime sont calculés depuis la destination déduite de l’IP. Un crawl US via une sortie européenne annonce la mauvaise promesse.
  • Avis et variantes de contenu : populations d’avis, rails « les clients ont aussi vu » et titres localisés diffèrent par place de marché, avec une localisation partielle au sein d’un même domaine.

Cinq vérifications avant le premier crawl

  1. Lister les cibles en couples place de marché et région — amazon.com/US-East, amazon.com/US-West, amazon.de, amazon.co.jp — et non en simples domaines.
  2. Réserver un pool d’IP résidentielles géo-épinglées par couple, dimensionné selon la concurrence et le nombre de catalogues suivis.
  3. Décider par type de page : les pages de recherche tolèrent la rotation, les fiches produit non, car un changement d’IP en cours de capture peut modifier l’offre.
  4. Définir Accept-Language, cookie de devise et fuseau plausible par place de marché. Un locale japonais sur une IP allemande produit une page hybride qu’aucun utilisateur réel ne voit.
  5. Attendre 5 à 15 secondes de façon aléatoire par requête, avec des pauses plus longues occasionnelles. Les rafales régulières sont le moyen le plus sûr d’être limité. Enregistrez horodatage, IP de sortie et région pour chaque offre.

Type de page et stratégie proxy

  • Résultats de recherche — rotation par requête dans un même pool régional ; volume élevé, peu d’état.
  • Fiche produit — sticky pendant toute la capture, 5 à 15 minutes ; prix, Buy Box et livraison doivent venir d’une seule identité.
  • Avis — sticky et même IP pour la pagination ; une rotation au milieu de la liste renvoie des doublons.
  • Best Sellers et Deals — rotation par requête, échantillonnage à heures fixes ; la régularité des prélèvements compte plus que la variété d’IP.

Construire le pipeline, étape par étape

  1. Commencer par une place de marché et une région. Stabiliser les champs prix, Buy Box et livraison avant d’ajouter une seconde géographie.
  2. Passer par une IP géo-épinglée et vérifier le pays de sortie et l’ASN avant la requête.
  3. Envoyer des en-têtes et cookies adaptés : langue, devise et une session qui dure toute la capture de la fiche.
  4. Appliquer un rythme aléatoire de 5 à 15 secondes et un backoff exponentiel avec jitter sur 429 ; sur 503 ou CAPTCHA, tourner et mettre la cible au repos quelques minutes. Parser défensivement, conserver le HTML brut par champ et écrire une ligne par offre.

Questions fréquentes

Pourquoi Amazon bloque-t-il mon scraper malgré les proxys ?

Le déclencheur est souvent le comportement, pas l’IP : intervalles réguliers, jeux d’en-têtes identiques sur des milliers de requêtes, ou empreinte incohérente avec l’appareil annoncé. Les proxys ne changent que l’identité réseau. Corrigez le rythme, variez les en-têtes de façon plausible, gardez les cookies cohérents et réduisez la concurrence avant d’acheter plus d’IP.

Quel type de proxy pour Amazon ?

Des IP résidentielles épinglées à la région de la place de marché. Les plages datacenter sont connues et reçoivent souvent une expérience dégradée — mise en page différente ou offre tronquée — ce qui fausse les données même quand la requête réussit. Le résidentiel fait aussi ressembler la Buy Box et les promesses de livraison à celles d’un vrai acheteur.

Comment collecter les avis sans doublons ?

Garder une IP sticky par crawl d’avis et paginer dans cette session, car la liste dépend de l’état de session. Dédupliquer par identifiant d’avis plutôt que par position, capturer séparément « top » et « plus récents », puis recrawler selon un calendrier et comparer par identifiant.

Le scraping d’Amazon est-il légal ?

Cela dépend de la juridiction, des données collectées et de leur usage. Les données produit publiques sont généralement traitées différemment des données personnelles, mais les conditions d’utilisation s’appliquent. Collectez le nécessaire, évitez les données personnelles, respectez les limites et faites valider votre cas précis.

Conclusion

Amazon récompense une collecte lente et géographiquement cohérente, et punit une collecte rapide et régulière. Épinglez des IP résidentielles par place de marché et région, ne tournez que sur les pages sans état, rythmez à cinq ou quinze secondes et horodatez chaque offre avec son IP de sortie. Commencez avec les proxys résidentiels FTProxy et traitez la région comme un champ de premier ordre.