Проксі для веб-скрапінгу
Перемикайтеся між 47M+ резидентними та 180K+ датацентровими адресами, щоб кожен запит виглядав як від окремого відвідувача, і платіть лише за використані гігабайти.
Рекомендовані проксі
- Змінюйте IP на кожен запит для сторінок зі списками.
- Використовуйте сесії по 5-10 хвилин для пошуку та переходу на деталі.
- Оберіть країну, де знаходиться ваша аудиторія.
- Стискайте відповіді, щоб зекономити трафік.
Робочий налаштування
- 1
Запустіть скрапер на датацентровому трафіку та фіксуйте код статусу кожної відповіді.
- 2
Перенесіть цілі, які повертають капчу або порожні сторінки, на резидентний трафік.
- 3
Використовуйте сталі сесії лише для багатосторінкових сценаріїв, наприклад пагінації після пошуку.
- 4
Розподіляйте записи у часі та між багатьма адресами замість інтенсивного навантаження однієї сторінки.
Чому скраперам потрібні проксі
Сайти лімітують запити з однієї IP. Скрапер, який надсилає сотні запитів на хвилину з однієї адреси, отримає обмеження, капчу або бан за лічені хвилини. Розподіл трафіку через пул адрес дозволяє утримувати навантаження на рівні звичайного відвідувача.
Локація також важлива: товарні сторінки, результати пошуку чи умови доставки часто залежать від країни чи міста користувача. Ключі геотаргетингу в логіні проксі дозволяють отримувати дані у тому вигляді, в якому їх бачить справжній відвідувач.
Резидентні чи датацентрові для скрапінгу
Датацентровий трафік найдешевший ($0.18 за GB) і найшвидший, і багато цілей його приймають. Резидентний коштує більше (від $0.294 за GB), але проходить перевірки, які блокуют серверні діапазони. Більшість команд використовують обидва типи: датацентрові для толерантних цілей, резидентні, для решти, з однаковим кодом і лише зміною хоста.
Як підтримувати скрапер у робочому стані
Дотримуйтесь правил robots.txt та обмежень швидкості, які ви погодили, встановіть реалістичний user agent, зберігайте cookies для кожної сесії, повторюйте запити з паузою при відповідях 429 та 5xx, і слідкуйте за часткою невдалих (не 200) відповідей для кожного цільового ресурсу. Якщо ця частка зростає, зазвичай допомагає зменшення швидкості або перехід на резидентські проксі для цього ресурсу, а не збільшення кількості потоків.
Веб-скрапінг: питання та відповіді
Скільки GB потрібно для скрапінгу?
Чи законний скрапінг через проксі?
З якого плану почати?
Інші сценарії
Почніть роботу з ProxyHive
Створіть обліковий запис за лічені секунди, поповніть баланс криптовалютою та скопіюйте свій перший логін проксі. Кожен план починається від $30.