Прокси для веб-скрапинга

Переключайтесь между 47M+ резидентными и 180K+ дата-центровыми адресами, чтобы каждый запрос выглядел как от нового посетителя, и платите только за гигабайты переданных данных.

См. Резидентные прокси Посмотреть цены

Рекомендуемые прокси

Резидентные проксиот $0.294/GB Датацентровые проксиот $0.18/GB

Смена IP на каждый запрос для страниц с объявлениями.
Используйте сессию 5-10 минут для поиска и перехода на детальные страницы.
Выбирайте страну, где находится ваша аудитория.
Сжимайте ответы, чтобы экономить гигабайты.

Рабочая настройка

1
Запустите скрапер на дата-центровом трафике и логируйте код ответа для каждого запроса.
2
Переносите цели, которые отвечают капчей или пустыми страницами, на резидентный трафик.
3
Используйте стабильные сессии только для многостраничных сценариев, например пагинации после поиска.
4
Распределяйте запросы по времени и множеству адресов, а не нагружайте одну страницу.

Зачем скраперам прокси

Сайты считают запросы с одного адреса. Скрапер, который отправляет сотни запросов в минуту с одного IP, быстро замедляется, получает капчу или блокируется. Распределение трафика через пул адресов снижает нагрузку, и каждый IP остаётся в пределах лимитов обычного посетителя.

Локация тоже важна: страницы товаров, результаты поиска или условия доставки часто зависят от страны или города посетителя. Ключи выбора в имени пользователя прокси позволяют собирать данные, которые видят реальные пользователи в этом месте.

Резидентные или дата-центровые прокси для скрапинга

Дата-центровый трафик самый дешёвый ($0.18 за ГБ) и быстрый, и многие сайты его принимают. Резидентный трафик дороже (от $0.294 за ГБ), но обходит блокировки серверных диапазонов. Большинство команд используют оба типа: дата-центровый для лояльных сайтов, резидентный для остальных, с одним кодом и сменой только хоста.

Поддержание работы скрапера

Соблюдайте правила robots.txt и лимиты запросов, устанавливайте реалистичный User-Agent, сохраняйте куки в сессии, повторяйте запросы с задержкой при ответах 429 и 5xx, следите за долей не-200 ответов. Если доля растёт, обычно помогает снижение частоты запросов или переход на резидентные прокси, а не увеличение потоков.

Веб-скрапинг: вопросы и ответы

Сколько ГБ уходит на скрапинг?

Средняя HTML-страница весит 100 КБ-2 МБ без изображений. Миллион страниц по 300 КБ, это около 286 ГБ. Отключение изображений, шрифтов и скриптов в headless-браузерах часто сокращает трафик вдвое.

Законно ли использовать прокси для скрапинга?

Сбор общедоступных данных разрешён во многих странах, но правила зависят от условий сайта, типа данных и вашей юрисдикции. Не собирайте персональные данные без законных оснований и не обходите логины, которые вам недоступны. В наших условиях перечислены запрещённые способы использования сервиса.

С какого тарифа начать?

С тарифа с оплатой по факту использования, так как трафик не сгорает, пока вы настраиваете скрапер. Переходите на месячный тариф, когда объём стабилизируется.

Другие сценарии

Мониторинг ценОтслеживайте цены конкурентов в каждом регионе Проверка позиций в SEOПроверяйте результаты поиска в любом городе Верификация рекламыСмотрите рекламу как реальные пользователи в каждом регионе

Начните работу с ProxyHive

Создайте аккаунт за секунды, пополните баланс криптовалютой и скопируйте свой первый логин для прокси. Каждый план начинается от $30.

Создать аккаунт Посмотреть цены

Часто задаваемые вопросыОбъяснение планов, трафика, сессий и платежей Документация по API и интеграцииФормат логина, ключи таргетинга и примеры кода