El scraping de e-commerce es el trabajo rutinario más difícil del negocio de datos, porque las grandes marketplaces despliegan las pilas anti-bot más maduras de internet: limitación de tasa, puntuación de reputación IP, retos JavaScript y análisis conductual, apilados. Un recolector que solo resuelve una capa — rota IPs pero luce una huella headless evidente — sobrevive días, no meses.
La arquitectura de 4 capas para el scraping de e-commerce
- Capa 1 — Identidad: IPs residenciales de ISP de consumo. Las direcciones datacenter mueren en el chequeo de reputación; las residenciales pasan la puerta y ven páginas de producto reales. Rotación por petición para barridos de listados, sticky para flujos ligados a la identidad.
- Capa 2 — Higiene de huella: User-Agent, Accept-Language, zona horaria y geometría de pantalla deben coincidir con la geografía del IP de salida. Motor de navegador real para retos JS, viewport levemente aleatorizado.
- Capa 3 — Ritmo humano: retrasos aleatorios en vez de intervalos fijos, secuencias de navegación creíbles. El análisis conductual lee la cadencia; un cronometraje de metrónomo es la señal más barata de detectar.
- Capa 4 — Registro de atribución: cada petición etiquetada con sesión, IP de salida, país y contador de reintentos; cada respuesta con su estado. Las oleadas de bloqueo se atribuyen a una subred en lugar de adivinarse.
Checklist antes de la primera ejecución en producción
- Las IPs de salida pasan el chequeo de ASN + reputación — la rutina cómo probar un proxy toma minutos.
- Un perfil de navegador por geografía de salida, cabeceras alineadas con país e idioma del IP.
- Presupuesto de peticiones por segundo por sesión, impuesto por el planificador.
- Política 429 definida antes: backoff exponencial, reciclaje de sesión, parada dura para proteger el pool.
- Registro conectado: IP de salida y estado en cada petición.
- Cadencia definida: la mayoría de los precios no cambian cada minuto.
Estrategia de rotación por tipo de página
- Búsqueda/listados: rotación por petición, sin continuidad de sesión.
- Fichas de producto: sticky de 5–15 minutos, un solo IP durante la vista.
- Carrito/checkout: IP estático o sticky largo — una identidad para todo el embudo.
- Paneles de cuenta: IP estático por cuenta, nunca rotar con sesión iniciada.
Escalar sin baneos en 4 pasos
- Empieza con un marketplace y una categoría; demuestra la arquitectura antes de multiplicar.
- Segmenta: barridos en rotación, producto/carrito en sticky, cuentas en IPs estáticos dedicados.
- Limita la concurrencia por subred — diez workers suaves vencen a cien agresivos.
- Ante un 429, retrocede ya: duplica el retardo, recicla la sesión, reanuda tras la ventana.
FAQ
¿Cómo evitar baneos al scrapear e-commerce?
Reducir la probabilidad, no eliminarla: residencial con ASN limpio, huella coherente, ritmo humano y backoff 429 disciplinado. La cadencia es la palanca mayor.
¿El mejor proxy para Amazon?
Residencial rotativo con sticky: por petición para listados, sticky para producto/carrito, estático para cuentas. El datacenter cae en la capa de reputación.
Proxies residenciales FTProxy — identidad limpia de ISP de consumo, rotación por petición y sticky en un solo pool.