E-Commerce-Scraping ist der härteste Routinejob der Datenbranche, denn große Marktplätze fahren die ausgereiftesten Anti-Bot-Stacks des Internets: Rate-Limiting, IP-Reputation, JavaScript-Challenges und Verhaltensanalyse, übereinander gestapelt. Ein Collector, der nur eine Schicht löst — IP-Rotation ja, offensichtlicher Headless-Fingerprint auch — überlebt Tage, nicht Monate.
Die 4-Schicht-Architektur für E-Commerce-Scraping
- Schicht 1 — Identität: Residential-IPs von Consumer-ISPs. Datacenter-Adressen sterben an der Reputationsprüfung; Residential-IPs kommen durch die Tür und sehen echte Produktseiten. Rotation pro Request für Listing-Sweeps, Sticky für identitätsgebundene Flows.
- Schicht 2 — Fingerprint-Hygiene: User-Agent, Accept-Language, Zeitzone und Bildschirmgeometrie müssen zur Geografie der Exit-IP passen. Echte Browser-Engine für JS-Challenges, Viewport leicht randomisieren.
- Schicht 3 — Menschliches Tempo: randomisierte Delays statt fester Intervalle, glaubwürdige Navigationsfolgen. Verhaltensanalyse liest den Request-Rhythmus; Metronom-Timing ist das billigste Erkennungssignal.
- Schicht 4 — Attribution-Logging: jeder Request mit Session, Exit-IP, Land und Retry-Zähler getaggt, jede Response mit Status. Blockwellen lassen sich dann einem Subnet zuordnen statt zu raten.
Checkliste vor dem ersten Produktionslauf
- Exit-IPs bestehen ASN- und Reputationscheck — die Routine Proxy testen dauert Minuten.
- Ein Browser-Profil pro Exit-Geografie, Header passend zu Land und Sprache der IP.
- Requests-pro-Sekunde-Budget pro Session festlegen und im Scheduler erzwingen.
- 429-Politik vorab definieren: exponentielles Backoff, Session-Recycle, Hard-Stop zum Pool-Schutz.
- Logging verdrahten: Exit-IP und Status für jeden Request.
- Aktualisierungsrhythmus festlegen — die meisten Preisdaten ändern sich nicht pro Minute.
Rotationsstrategie nach Seitentyp im Vergleich
- Suche/Listing: Rotation pro Request, keine Session-Kontinuität nötig.
- Produktseiten: Sticky 5–15 Minuten, ein IP während der Ansicht.
- Warenkorb/Checkout: statischer oder lang-sticky — eine Identität für den ganzen Trichter.
- Account-Dashboards: statisches IP pro Konto, nach Login nie rotieren.
Skalieren ohne Bann in 4 Schritten
- Erst ein Marktplatz, eine Kategorie; Architektur beweisen, dann multiplizieren.
- Traffic segmentieren: Sweeps auf Rotation, Produkt/Warenkorb auf Sticky, Konten auf dedizierte statische IPs.
- Concurrency pro Subnet begrenzen — zehn sanfte Worker schlagen hundert aggressive.
- Bei 429 sofort zurückfallen: Delay verdoppeln, Session recyclen, nach Backoff-Fenster weiter.
FAQ
Wie vermeide ich Bans beim E-Commerce-Scraping?
Wahrscheinlichkeit senken statt eliminieren: saubere Residential-ASNs, passende Fingerprints, menschliches Tempo, diszipliniertes 429-Backoff. Das Timing ist der größte Hebel.
Bester Proxy für Amazon?
Rotierend Residential mit Sticky-Unterstützung: pro Request für Listings, Sticky für Produkt/Warenkorb, statisch für Konten. Datacenter scheitert an der Reputationsschicht.
FTProxy Residential-Proxys — saubere Consumer-ISP-Identität, Rotation und Sticky in einem Pool.