Scraping de e-commerce é o trabalho rotineiro mais difícil da coleta de dados, porque os grandes marketplaces rodam as stacks anti-bot mais maduras da internet: rate limiting, pontuação de reputação de IP, desafios JavaScript e análise comportamental, empilhados. Um coletor que resolve apenas uma camada — rotaciona IP mas exibe fingerprint headless óbvio — sobrevive dias, não meses.

A arquitetura de 4 camadas para scraping de e-commerce

  • Camada 1 — Identidade: IPs residenciais de ISPs de consumo. Endereços datacenter morrem no check de reputação; residenciais passam pela porta e veem páginas reais de produto. Rotação por requisição para varreduras de listing, sticky para fluxos ligados à identidade.
  • Camada 2 — Higiene de fingerprint: User-Agent, Accept-Language, fuso e geometria de tela devem bater com a geografia do IP de saída. Motor de navegador real para desafios JS, viewport levemente randomizado.
  • Camada 3 — Ritmo humano: atrasos aleatórios em vez de intervalos fixos, sequências de navegação críveis. Análise comportamental lê a cadência; timing de metrônomo é o sinal mais barato de detectar.
  • Camada 4 — Logging de atribuição: cada requisição marcada com sessão, IP de saída, país e contagem de retries; cada resposta com status. Ondas de bloqueio passam a ser atribuíveis a um subnet.

Checklist antes da primeira execução em produção

  1. IPs de saída passam no check de ASN + reputação — a rotina como testar um proxy leva minutos.
  2. Um perfil de navegador por geografia de saída, headers alinhados ao país e idioma do IP.
  3. Orçamento de requisições por segundo por sessão, imposto pelo scheduler.
  4. Política de 429 definida antes: backoff exponencial, reciclagem de sessão, hard stop para proteger o pool.
  5. Logging ligado: IP de saída e status em cada requisição.
  6. Cadência definida: a maioria dos preços não muda a cada minuto.

Estratégia de rotação por tipo de página

  • Busca/listagens: rotação por requisição, sem necessidade de continuidade.
  • Páginas de produto: sticky de 5–15 minutos, um IP durante a visualização.
  • Carrinho/checkout: IP estático ou sticky longo — uma identidade para todo o funil.
  • Dashboards de conta: IP estático por conta, nunca rotacionar logado.

Escalar sem ban em 4 passos

  1. Comece com um marketplace e uma categoria; prove a arquitetura antes de multiplicar.
  2. Segmente: varreduras na rotação, produto/carrinho no sticky, contas em IPs estáticos dedicados.
  3. Limite a concorrência por subnet — dez workers gentis vencem cem agressivos.
  4. No 429, recue na hora: dobre o delay, recicle a sessão, retome após a janela.

FAQ

Como evitar bans ao fazer scraping de e-commerce?

Reduzir a probabilidade, não eliminá-la: residencial com ASN limpo, fingerprint coerente, ritmo humano, backoff 429 disciplinado. A cadência é a maior alavanca.

Qual o melhor proxy para Amazon?

Residencial rotativo com sticky: por requisição para listagens, sticky para produto/carrinho, estático para contas. Datacenter cai na camada de reputação.

Proxies residenciais FTProxy — identidade limpa de ISP de consumo, rotação por requisição e sticky num único pool.