Scraping de e-commerce é o trabalho rotineiro mais difícil da coleta de dados, porque os grandes marketplaces rodam as stacks anti-bot mais maduras da internet: rate limiting, pontuação de reputação de IP, desafios JavaScript e análise comportamental, empilhados. Um coletor que resolve apenas uma camada — rotaciona IP mas exibe fingerprint headless óbvio — sobrevive dias, não meses.
A arquitetura de 4 camadas para scraping de e-commerce
- Camada 1 — Identidade: IPs residenciais de ISPs de consumo. Endereços datacenter morrem no check de reputação; residenciais passam pela porta e veem páginas reais de produto. Rotação por requisição para varreduras de listing, sticky para fluxos ligados à identidade.
- Camada 2 — Higiene de fingerprint: User-Agent, Accept-Language, fuso e geometria de tela devem bater com a geografia do IP de saída. Motor de navegador real para desafios JS, viewport levemente randomizado.
- Camada 3 — Ritmo humano: atrasos aleatórios em vez de intervalos fixos, sequências de navegação críveis. Análise comportamental lê a cadência; timing de metrônomo é o sinal mais barato de detectar.
- Camada 4 — Logging de atribuição: cada requisição marcada com sessão, IP de saída, país e contagem de retries; cada resposta com status. Ondas de bloqueio passam a ser atribuíveis a um subnet.
Checklist antes da primeira execução em produção
- IPs de saída passam no check de ASN + reputação — a rotina como testar um proxy leva minutos.
- Um perfil de navegador por geografia de saída, headers alinhados ao país e idioma do IP.
- Orçamento de requisições por segundo por sessão, imposto pelo scheduler.
- Política de 429 definida antes: backoff exponencial, reciclagem de sessão, hard stop para proteger o pool.
- Logging ligado: IP de saída e status em cada requisição.
- Cadência definida: a maioria dos preços não muda a cada minuto.
Estratégia de rotação por tipo de página
- Busca/listagens: rotação por requisição, sem necessidade de continuidade.
- Páginas de produto: sticky de 5–15 minutos, um IP durante a visualização.
- Carrinho/checkout: IP estático ou sticky longo — uma identidade para todo o funil.
- Dashboards de conta: IP estático por conta, nunca rotacionar logado.
Escalar sem ban em 4 passos
- Comece com um marketplace e uma categoria; prove a arquitetura antes de multiplicar.
- Segmente: varreduras na rotação, produto/carrinho no sticky, contas em IPs estáticos dedicados.
- Limite a concorrência por subnet — dez workers gentis vencem cem agressivos.
- No 429, recue na hora: dobre o delay, recicle a sessão, retome após a janela.
FAQ
Como evitar bans ao fazer scraping de e-commerce?
Reduzir a probabilidade, não eliminá-la: residencial com ASN limpo, fingerprint coerente, ritmo humano, backoff 429 disciplinado. A cadência é a maior alavanca.
Qual o melhor proxy para Amazon?
Residencial rotativo com sticky: por requisição para listagens, sticky para produto/carrinho, estático para contas. Datacenter cai na camada de reputação.
Proxies residenciais FTProxy — identidade limpa de ISP de consumo, rotação por requisição e sticky num único pool.