推薦代理方案
- 針對商品列表頁面設定每次請求更換IP。
- 搜尋流程使用5-10分鐘黏性會話，再進入詳情頁流程。
- 鎖定目標客群所在國家。
- 啟用回應壓縮功能節省流量。
實用配置方案
- 1
先以數據中心IP啟動爬蟲，並記錄每個回應的狀態碼。
- 2
將回傳驗證頁面或空白頁面的目標改由住宅IP處理。
- 3
僅在需要跨頁操作時（如搜尋結果分頁）使用黏性會話。
- 4
將請求分散在不同時間與多組IP位址，避免短時間密集存取單一頁面。
爬蟲為何需要代理
網站會統計單一IP的請求頻率。若爬蟲每分鐘從同個IP發送數百次請求，可能遭遇限速、驗證頁面或封鎖。透過IP池分散流量，可使每個IP的請求量維持在正常訪客水準。
地理位置同樣關鍵：商品頁面、搜尋結果或運費估算常因訪客所在國家/城市而異。在代理帳號中加入定位參數，可取得當地真實用戶所見的內容版本。
住宅IP或數據中心IP？
數據中心IP最經濟（每GB$0.18）且速度最快，多數目標網站可接受。住宅IP成本較高（每GB$0.294起），但能通過封鎖伺服器IP段的檢查。建議混合使用：數據中心IP處理寬容目標，住宅IP應對嚴格網站，僅需變更主機名稱即可切換。
維持爬蟲健康運作
遵守robots.txt規則與協商頻率限制、設定合理User-Agent、維持會話Cookie、對429/5xx回應採用退避重試機制，並監控各目標的非200回應比例。當比例升高時，解決方案通常是放慢節奏或切換至住宅IP，而非增加執行緒。
網路爬蟲：常見問答
爬蟲會消耗多少GB流量？
一般HTML頁面（不含圖片）約100KB至2MB。若每頁平均300KB，一百萬頁約需286GB。在無頭瀏覽器中關閉圖片、字型與腳本通常可節省半數流量。
使用代理爬取是否合法？
蒐集公開資料在多數地區屬合法行為，但實際規範需視網站條款、資料類型與您所在國家而定。請勿在無法律依據下收集個資，亦不得繞過未獲授權的登入機制。禁止用途詳見我們的服務條款。
該選擇哪種方案開始？
建議採用隨付隨用方案，因調整爬蟲期間流量不會過期。待每月用量穩定後再轉為月付方案。