有效的设置
- 1
在数据中心流量上启动抓取器，并记录每个响应的状态码。
- 2
将返回挑战或空白页面的目标转移到住宅流量。
- 3
仅在多页流程（如搜索表单后的分页）中使用粘性会话。
- 4
将请求分散到多个地址和时间段，而不是集中攻击一个页面。
为什么抓取器需要代理
网站会统计每个地址的请求数。一个抓取器如果每分钟从一个IP发送数百个请求，几分钟内就会被减速、显示挑战页面或被阻止。通过地址池发送相同的流量可以分散负载，使每个地址保持在正常访问者会遇到的限制以下。
位置也很重要：产品页面、搜索结果或配送估算通常会根据访问者的国家或城市而变化。代理用户名中的定位键让您可以收集该地区真实客户会看到的版本。
抓取使用住宅还是数据中心代理
数据中心流量最便宜，每GB仅需$0.18，速度最快，许多目标接受它。住宅流量成本更高，每GB起价$0.294，但能通过阻止服务器范围的检查。大多数团队同时使用两者：数据中心用于宽容的目标，住宅用于其他目标，使用相同的代码，仅更改主机名。
保持抓取器健康
遵守您同意的robots规则和速率限制，设置真实的用户代理，保持每个会话的cookie，在429和5xx响应时使用退避重试，并监控每个目标的非200响应比例。当该比例上升时，通常的解决方法是减慢速度或将目标切换到住宅流量，而不是增加线程。
网页抓取: 常见问题
抓取需要多少GB流量？
一个平均的HTML页面在没有图片的情况下大小为100 KB到2 MB。以每个页面300 KB计算，一百万页大约需要286 GB。在无头浏览器中关闭图片、字体和脚本通常可以将流量减半。
使用代理抓取是否合法？
在许多地方，收集公开数据是合法的，但规则取决于网站的条款、数据类型和您的国家。在没有法律依据的情况下，请勿收集个人数据，并且切勿绕过您无权使用的登录。我们的条款列出了禁止使用该服务的场景。
我应该从哪种计划开始？
按流量计费的计划，因为流量在您调整抓取器时不会过期。一旦您的月度流量稳定，可以切换到月度计划。