ওয়েব স্ক্র্যাপিংয়ের জন্য প্রক্সি

স্ক্র্যাপারদের কেন প্রক্সি প্রয়োজন

ওয়েবসাইটগুলি প্রতি ঠিকানায় অনুরোধ গণনা করে। একটি স্ক্র্যাপার যা এক মিনিটে একই IP থেকে শত শত অনুরোধ পাঠায় তা ধীর হয়ে যায়, একটি চ্যালেঞ্জ পৃষ্ঠা দেখায় বা কয়েক মিনিটের মধ্যে ব্লক হয়ে যায়। একই ট্র্যাফিক একটি ঠিকানা পুলের মাধ্যমে পাঠানো লোড ছড়িয়ে দেয় যাতে প্রতিটি ঠিকানা একটি সাধারণ দর্শক যে সীমা অতিক্রম করবে তার নিচে থাকে।

অবস্থানও গুরুত্বপূর্ণ: একটি পণ্য পৃষ্ঠা, একটি অনুসন্ধান ফলাফল বা একটি ডেলিভারি অনুমান প্রায়শই দর্শকের দেশ বা শহরের সাথে পরিবর্তিত হয়। প্রক্সি ব্যবহারকারীর নামে টার্গেটিং কীগুলি আপনাকে সেই স্থানের একটি বাস্তব গ্রাহক যে সংস্করণ দেখবে তা সংগ্রহ করতে দেয়।

স্ক্র্যাপিংয়ের জন্য আবাসিক বা ডেটাসেন্টার

ডেটাসেন্টার ট্র্যাফিক সবচেয়ে সস্তা $0.18 প্রতি GB এবং দ্রুততম, এবং অনেক লক্ষ্য এটি গ্রহণ করে। আবাসিক ট্র্যাফিকের দাম বেশি, $0.294 প্রতি GB থেকে, কিন্তু সার্ভার রেঞ্জ ব্লক করে এমন চেকগুলি পাস করে। বেশিরভাগ দল উভয়ই চালায়: সহনশীল লক্ষ্যগুলির জন্য ডেটাসেন্টার, বাকিদের জন্য আবাসিক, একই কোড এবং শুধুমাত্র হোস্ট নাম পরিবর্তিত।

একটি স্ক্র্যাপার সুস্থ রাখা

রোবট নিয়ম এবং রেট সীমা যা আপনি সম্মত হয়েছেন তা সম্মান করুন, একটি বাস্তবসম্মত ব্যবহারকারী এজেন্ট সেট করুন, সেশন প্রতি কুকি রাখুন, 429 এবং 5xx উত্তরে ব্যাকঅফ সহ পুনরায় চেষ্টা করুন এবং প্রতি লক্ষ্যে অ 200 প্রতিক্রিয়ার ভাগ দেখুন। যখন সেই ভাগ বাড়ে, সমাধানটি সাধারণত ধীর গতি বা সেই লক্ষ্যকে আবাসিকে স্যুইচ করা, আরও থ্রেড নয়।