Proxies para web scraping
Rotacione entre 47M+ endereços residenciais e 180K+ de datacenter para que cada solicitação pareça vir de um visitante diferente, e pague apenas pelos gigabytes que utilizar.
Proxies recomendados
- Rotacione a cada solicitação para páginas de listagem.
- Use uma sessão de 5 a 10 minutos para fluxos de busca e detalhes.
- Direcione para o país onde seu público está localizado.
- Comprima respostas para economizar gigabytes.
Uma configuração que funciona
- 1
Inicie o scraper com tráfego de datacenter e registre o código de status de cada resposta.
- 2
Mova os alvos que respondem com desafios ou páginas vazias para tráfego residencial.
- 3
Use sessões fixas apenas para fluxos de múltiplas páginas, como paginação após um formulário de busca.
- 4
Distribua as solicitações ao longo do tempo e por vários endereços, em vez de sobrecarregar uma única página.
Por que scrapers precisam de proxies
Sites contam solicitações por endereço. Um scraper que envia centenas de solicitações por minuto de um único IP é desacelerado, recebe uma página de desafio ou é bloqueado em minutos. Distribuir o mesmo tráfego por um pool de endereços dilui a carga, mantendo cada endereço abaixo dos limites de um visitante normal.
Localização também importa: uma página de produto, resultado de busca ou estimativa de entrega frequentemente varia conforme o país ou cidade do visitante. Chaves de direcionamento no nome de usuário do proxy permitem coletar a versão que um cliente real naquele local veria.
Residencial ou datacenter para scraping
Tráfego de datacenter é o mais barato a $0.18 por GB e o mais rápido, sendo aceito por muitos alvos. Tráfego residencial custa mais, a partir de $0.294 por GB, mas passa por verificações que bloqueiam faixas de servidores. A maioria das equipes usa ambos: datacenter para alvos tolerantes, residencial para os demais, com o mesmo código e apenas o hostname alterado.
Mantendo um scraper saudável
Respeite regras de robots e limites de taxa acordados, defina um user agent realista, mantenha cookies por sessão, repita com backoff em respostas 429 e 5xx, e monitore a proporção de respostas não 200 por alvo. Quando essa proporção aumenta, a solução geralmente é reduzir o ritmo ou migrar o alvo para residencial, não aumentar threads.
Web scraping: perguntas e respostas
Quantos GB o scraping consome?
É legal fazer scraping com proxies?
Com qual plano devo começar?
Outros casos de uso
Comece com o ProxyHive
Crie uma conta em segundos, adicione saldo com criptomoedas e copie seu primeiro login de proxy. Todo plano começa em $30.