E-Commerce-Scraping ist der härteste Routinejob der Datenbranche, denn große Marktplätze fahren die ausgereiftesten Anti-Bot-Stacks des Internets: Rate-Limiting, IP-Reputation, JavaScript-Challenges und Verhaltensanalyse, übereinander gestapelt. Ein Collector, der nur eine Schicht löst — IP-Rotation ja, offensichtlicher Headless-Fingerprint auch — überlebt Tage, nicht Monate.

Die 4-Schicht-Architektur für E-Commerce-Scraping

  • Schicht 1 — Identität: Residential-IPs von Consumer-ISPs. Datacenter-Adressen sterben an der Reputationsprüfung; Residential-IPs kommen durch die Tür und sehen echte Produktseiten. Rotation pro Request für Listing-Sweeps, Sticky für identitätsgebundene Flows.
  • Schicht 2 — Fingerprint-Hygiene: User-Agent, Accept-Language, Zeitzone und Bildschirmgeometrie müssen zur Geografie der Exit-IP passen. Echte Browser-Engine für JS-Challenges, Viewport leicht randomisieren.
  • Schicht 3 — Menschliches Tempo: randomisierte Delays statt fester Intervalle, glaubwürdige Navigationsfolgen. Verhaltensanalyse liest den Request-Rhythmus; Metronom-Timing ist das billigste Erkennungssignal.
  • Schicht 4 — Attribution-Logging: jeder Request mit Session, Exit-IP, Land und Retry-Zähler getaggt, jede Response mit Status. Blockwellen lassen sich dann einem Subnet zuordnen statt zu raten.

Checkliste vor dem ersten Produktionslauf

  1. Exit-IPs bestehen ASN- und Reputationscheck — die Routine Proxy testen dauert Minuten.
  2. Ein Browser-Profil pro Exit-Geografie, Header passend zu Land und Sprache der IP.
  3. Requests-pro-Sekunde-Budget pro Session festlegen und im Scheduler erzwingen.
  4. 429-Politik vorab definieren: exponentielles Backoff, Session-Recycle, Hard-Stop zum Pool-Schutz.
  5. Logging verdrahten: Exit-IP und Status für jeden Request.
  6. Aktualisierungsrhythmus festlegen — die meisten Preisdaten ändern sich nicht pro Minute.

Rotationsstrategie nach Seitentyp im Vergleich

  • Suche/Listing: Rotation pro Request, keine Session-Kontinuität nötig.
  • Produktseiten: Sticky 5–15 Minuten, ein IP während der Ansicht.
  • Warenkorb/Checkout: statischer oder lang-sticky — eine Identität für den ganzen Trichter.
  • Account-Dashboards: statisches IP pro Konto, nach Login nie rotieren.

Skalieren ohne Bann in 4 Schritten

  1. Erst ein Marktplatz, eine Kategorie; Architektur beweisen, dann multiplizieren.
  2. Traffic segmentieren: Sweeps auf Rotation, Produkt/Warenkorb auf Sticky, Konten auf dedizierte statische IPs.
  3. Concurrency pro Subnet begrenzen — zehn sanfte Worker schlagen hundert aggressive.
  4. Bei 429 sofort zurückfallen: Delay verdoppeln, Session recyclen, nach Backoff-Fenster weiter.

FAQ

Wie vermeide ich Bans beim E-Commerce-Scraping?

Wahrscheinlichkeit senken statt eliminieren: saubere Residential-ASNs, passende Fingerprints, menschliches Tempo, diszipliniertes 429-Backoff. Das Timing ist der größte Hebel.

Bester Proxy für Amazon?

Rotierend Residential mit Sticky-Unterstützung: pro Request für Listings, Sticky für Produkt/Warenkorb, statisch für Konten. Datacenter scheitert an der Reputationsschicht.

FTProxy Residential-Proxys — saubere Consumer-ISP-Identität, Rotation und Sticky in einem Pool.