Proxies pour le web scraping
Alternez entre 47M+ adresses résidentielles et 180K+ adresses datacenter pour que chaque requête semble venir d'un visiteur différent, et payez uniquement les gigaoctets transférés.
Proxies recommandés
- Rotation à chaque requête pour les pages de listes.
- Utilisez une session de 5 à 10 minutes pour les flux de recherche puis détails.
- Ciblez le pays où vit votre audience.
- Compressez les réponses pour économiser des gigaoctets.
Une configuration qui fonctionne
- 1
Lancez le scraper sur du trafic datacenter et enregistrez le code statut de chaque réponse.
- 2
Basculez les cibles renvoyant des défis ou pages vides vers du trafic résidentiel.
- 3
N'utilisez des sessions persistantes que pour les flux multi-pages comme la pagination derrière un formulaire de recherche.
- 4
Répartissez les requêtes dans le temps et sur plusieurs adresses au lieu de saturer une page.
Pourquoi les scrapers ont besoin de proxies
Les sites web comptent les requêtes par adresse. Un scraper envoyant des centaines de requêtes par minute depuis une IP sera ralenti, confronté à une page de vérification ou bloqué en quelques minutes. Répartir ce trafic sur un pool d'adresses maintient chaque IP sous les limites d'un visiteur normal.
La localisation compte aussi : une page produit, un résultat de recherche ou une estimation de livraison varie souvent selon le pays ou la ville du visiteur. Le ciblage dans le nom d'utilisateur proxy permet de collecter la version qu'un vrai client local verrait.
Résidentiel ou datacenter pour le scraping
Le trafic datacenter est le moins cher à $0.18 par Go et le plus rapide, accepté par beaucoup de cibles. Le trafic résidentiel coûte plus, à partir de $0.294 par Go, mais passe les vérifications bloquant les plages serveurs. La plupart des équipes utilisent les deux : datacenter pour les cibles tolérantes, résidentiel pour les autres, avec le même code et seul l'hôte changé.
Maintenir un scraper sain
Respectez robots.txt et les limites de taux acceptées, utilisez un user agent réaliste, conservez les cookies par session, réessayez avec backoff sur les réponses 429 et 5xx, et surveillez la part de réponses non 200 par cible. Quand cette part augmente, la solution est généralement un rythme plus lent ou un basculement vers le résidentiel, pas plus de threads.
Web scraping : questions et réponses
Combien de GB consomme le scraping ?
Est-il légal de scraper avec des proxies ?
Par quel plan commencer ?
Autres cas d'utilisation
Commencez avec ProxyHive
Créez un compte en quelques secondes, ajoutez du crédit avec de la crypto et copiez votre première connexion proxy. Chaque plan commence à $30.