Proksi untuk pengikisan web

Mengapa pengikis memerlukan proksi

Laman web mengira permintaan setiap alamat. Pengikis yang menghantar ratusan permintaan seminit dari satu IP akan diperlahankan, ditunjukkan halaman cabaran atau disekat dalam beberapa minit. Menghantar trafik yang sama melalui kolam alamat menyebarkan beban supaya setiap alamat kekal di bawah had yang akan dicapai oleh pelawat biasa.

Lokasi juga penting: halaman produk, keputusan carian atau anggaran penghantaran sering berubah dengan negara atau bandar pelawat. Kunci penargetan dalam nama pengguna proksi membolehkan anda mengumpul versi yang akan dilihat oleh pelanggan sebenar di tempat itu.

Kediaman atau pusat data untuk pengikisan

Trafik pusat data adalah yang paling murah pada $0.18 setiap GB dan yang paling pantas, dan banyak sasaran menerimanya. Trafik kediaman lebih mahal, dari $0.294 setiap GB, tetapi melepasi pemeriksaan yang menyekat julat pelayan. Kebanyakan pasukan menjalankan kedua-duanya: pusat data untuk sasaran yang toleran, kediaman untuk yang lain, dengan kod yang sama dan hanya nama hos yang diubah.

Menjaga pengikis sihat

Hormati peraturan robot dan had kadar yang anda telah setujui, tetapkan ejen pengguna yang realistik, simpan kuki setiap sesi, cuba semula dengan backoff pada jawapan 429 dan 5xx, dan perhatikan bahagian respons bukan 200 setiap sasaran. Apabila bahagian itu meningkat, penyelesaiannya biasanya pacing yang lebih perlahan atau menukar sasaran itu kepada kediaman, bukan lebih banyak benang.