一個有效的設置
- 1
在數據中心流量上啟動抓取器並記錄每次響應的狀態碼。
- 2
將回答挑戰或空白頁面的目標移至住宅流量。
- 3
僅對多頁流程（如搜索表單後的分頁）使用黏性會話。
- 4
將請求分散在時間和許多地址上，而不是猛擊一個頁面。
為什麼抓取器需要代理
網站計算每個地址的請求。一個抓取器每分鐘從一個IP發送數百個請求，會在幾分鐘內被減速、顯示挑戰頁面或被阻止。通過地址池發送相同的流量可以分散負載，使每個地址保持在正常訪問者會達到的限制之下。
位置也很重要：產品頁面、搜索結果或送貨估計通常會隨著訪問者的國家或城市而變化。代理用戶名中的定位鍵讓您收集該地方真實客戶會看到的版本。
住宅或數據中心用於抓取
數據中心流量最便宜，每GB $0.18，速度最快，許多目標接受它。住宅流量成本更高，每GB從$0.294起，但通過阻止服務器範圍的檢查。大多數團隊同時運行兩者：數據中心用於寬容的目標，住宅用於其他目標，使用相同的代碼，僅更改主機名。
保持抓取器健康
尊重您同意的機器人規則和速率限制，設置真實的用戶代理，保持每個會話的cookie，在429和5xx響應時使用退避重試，並監控每個目標的非200響應比例。當該比例上升時，解決方法通常是減慢速度或將該目標切換到住宅流量，而不是增加線程。
網頁抓取: 問題和答案
抓取使用多少GB？
平均HTML頁面為100 KB到2 MB（關閉圖片）。一百萬頁面，每頁300 KB，約為286 GB。在無頭瀏覽器中關閉圖片、字體和腳本通常可以將流量減半。
使用代理抓取是否合法？
在許多地方收集公開可用的數據是合法的，但規則取決於網站的條款、數據和您的國家。未經法律依據不得收集個人數據，並且永遠不要繞過您無權使用的登錄。我們的條款列出了該服務不可用於的用途。
我應該從哪個計劃開始？
按需付費計劃，因為流量在您調整抓取器時永不過期。一旦您的月度流量穩定，轉為月度計劃。