พร็อกซีสำหรับการดึงข้อมูลเว็บ

เหตุใดสคริปต์ดึงข้อมูลต้องการพร็อกซี

เว็บไซต์นับจำนวนคำขอต่อที่อยู่ สคริปต์ที่ส่งคำขอหลายร้อยครั้งต่อนาทีจากไอพีเดียวจะถูกชะลอ, แสดงหน้าท้าทายหรือถูกบล็อกภายในไม่กี่นาที การส่ง traffic เดิมผ่านกลุ่มที่อยู่จะกระจายโหลดให้แต่ละที่อยู่ไม่เกินขีดจำกัดที่ผู้เยี่ยมชมปกติจะทำได้

ตำแหน่งที่ตั้งก็สำคัญ: หน้าสินค้า, ผลการค้นหาหรือการประมาณการจัดส่งมักเปลี่ยนไปตามประเทศหรือเมืองของผู้เยี่ยมชม การกำหนดเป้าหมายในชื่อผู้ใช้พร็อกซีช่วยให้คุณเก็บข้อมูลเวอร์ชันที่ผู้ใช้จริงในพื้นที่นั้นจะเห็น

ใช้ residential หรือ datacenter ในการดึงข้อมูล

Traffic แบบ datacenter ราคาถูกที่สุดที่ $0.18 ต่อ GB และเร็วที่สุด โดยหลายเป้าหมายยอมรับได้ Traffic แบบ residential ราคาสูงกว่า เริ่มต้นที่ $0.294 ต่อ GB แต่ผ่านการตรวจสอบที่บล็อกช่วงเซิร์ฟเวอร์ ทีมส่วนใหญ่ใช้ทั้งคู่: datacenter สำหรับเป้าหมายที่ยอมรับได้, residential สำหรับที่เหลือ โดยใช้โค้ดเดียวกันและเปลี่ยนแค่ชื่อโฮสต์

การรักษาสคริปต์ให้ทำงานได้ดี

เคารพกฎ robots.txt และขีดจำกัดที่ตกลงกัน, ตั้ง user agent ที่สมจริง, เก็บคุกกี้ต่อเซสชั่น, ลองใหม่ด้วยการหน่วงเวลาเมื่อได้รับคำตอบ 429 หรือ 5xx และตรวจสอบสัดส่วนการตอบกลับที่ไม่ใช่ 200 ต่อเป้าหมาย เมื่อสัดส่วนนั้นเพิ่มขึ้น วิธีแก้通常是การชะลอความเร็วหรือเปลี่ยนเป้าหมายนั้นไปใช้ residential ไม่ใช่เพิ่มเธรด