वेब स्क्रैपिंग के लिए प्रॉक्सी

स्क्रैपर्स को प्रॉक्सी की आवश्यकता क्यों होती है

वेबसाइट्स प्रति पते अनुरोधों की गिनती करती हैं। एक स्क्रैपर जो एक मिनट में सैकड़ों अनुरोध एक आईपी से भेजता है, उसे धीमा कर दिया जाता है, चुनौती पृष्ठ दिखाया जाता है या मिनटों में ब्लॉक कर दिया जाता है। एक ही ट्रैफिक को कई पतों के माध्यम से भेजने से लोड फैल जाता है ताकि प्रत्येक पता उन सीमाओं से काफी नीचे रहे जिन्हें एक सामान्य विजिटर हिट करेगा।

स्थान भी मायने रखता है: एक उत्पाद पृष्ठ, एक खोज परिणाम या एक डिलीवरी अनुमान अक्सर विजिटर के देश या शहर के साथ बदलता है। प्रॉक्सी उपयोगकर्ता नाम में टारगेटिंग कुंजियाँ आपको उस संस्करण को एकत्रित करने देती हैं जो उस स्थान पर एक वास्तविक ग्राहक देखेगा।

स्क्रैपिंग के लिए रेजिडेंशियल या डेटासेंटर

डेटासेंटर ट्रैफिक सबसे सस्ता है $0.18 प्रति GB पर और सबसे तेज़, और कई लक्ष्य इसे स्वीकार करते हैं। रेजिडेंशियल ट्रैफिक अधिक महंगा है, $0.294 प्रति GB से, लेकिन उन जांचों को पास करता है जो सर्वर रेंज को ब्लॉक करती हैं। अधिकांश टीमें दोनों चलाती हैं: सहनशील लक्ष्यों के लिए डेटासेंटर, बाकी के लिए रेजिडेंशियल, एक ही कोड के साथ और केवल होस्ट नाम बदलकर।

एक स्क्रैपर को स्वस्थ रखना

रोबोट नियमों और दर सीमाओं का सम्मान करें जिन्हें आपने स्वीकार किया है, एक यथार्थवादी उपयोगकर्ता एजेंट सेट करें, प्रति सेशन कुकीज़ रखें, 429 और 5xx उत्तरों पर बैकऑफ के साथ पुनः प्रयास करें, और प्रति लक्ष्य गैर-200 प्रतिक्रियाओं के हिस्से पर नजर रखें। जब यह हिस्सा बढ़ता है, तो सुधार आमतौर पर धीमी गति या उस लक्ष्य को रेजिडेंशियल पर स्विच करना होता है, अधिक थ्रेड्स नहीं।