ウェブスクレイピング用プロキシ
47M+のレジデンシャルアドレスと180K+のデータセンターアドレスをローテーションして、各リクエストが異なる訪問者のように見えるようにし、移動したギガバイト分のみを支払います。
推奨プロキシ
- リストページのリクエストごとにローテーションします。
- 検索後に詳細フローを表示するために5〜10分のセッションを使用します。
- ターゲットの国に住むオーディエンスを対象にします。
- レスポンスを圧縮してギガバイトを節約します。
動作する設定
- 1
データセンターのトラフィックでスクレイパーを開始し、各レスポンスのステータスコードを記録します。
- 2
チャレンジや空のページで応答するターゲットをレジデンシャルトラフィックに移動します。
- 3
検索フォームの背後にあるページネーションなどの複数ページフローにのみスティッキーセッションを使用します。
- 4
1つのページを集中的に叩くのではなく、時間をかけて多くのアドレスにリクエストを分散させます。
スクレイパーがプロキシを必要とする理由
ウェブサイトはアドレスごとにリクエストをカウントします。1つのIPから1分間に数百のリクエストを送信するスクレイパーは、数分以内に速度が低下したり、チャレンジページが表示されたり、ブロックされたりします。同じトラフィックをアドレスのプールを通じて送信することで、負荷が分散され、各アドレスが通常の訪問者がヒットする制限を大幅に下回ります。
ロケーションも重要です：商品ページ、検索結果、配達見積もりは、訪問者の国や都市によって変化することがよくあります。プロキシユーザー名のターゲティングキーを使用すると、その場所にいる実際の顧客が見るバージョンを収集できます。
スクレイピング用のレジデンシャルまたはデータセンター
データセンターのトラフィックは最も安く、1GBあたり$0.18で最も高速であり、多くのターゲットが受け入れます。レジデンシャルトラフィックは1GBあたり$0.294からと高価ですが、サーバー範囲をブロックするチェックを通過します。ほとんどのチームは両方を実行します：寛容なターゲットにはデータセンター、それ以外にはレジデンシャルを使用し、同じコードでホスト名のみを変更します。
スクレイパーの健全性を維持する
同意したロボットルールとレート制限を尊重し、現実的なユーザーエージェントを設定し、セッションごとにクッキーを保持し、429および5xxの応答に対してバックオフで再試行し、ターゲットごとの非200応答の割合を監視します。その割合が上昇した場合、修正は通常、ペースを遅くするか、そのターゲットをレジデンシャルに切り替えることであり、スレッドを増やすことではありません。