웹 스크래핑용 프록시
47M+개의 주거용 및 180K+개의 데이터센터 주소를 회전하며 모든 요청이 다른 방문자처럼 보이게 하고, 이동한 기가바이트만큼만 지불하세요.
추천 프록시
- 리스팅 페이지마다 요청을 회전하세요.
- 검색 후 상세 정보 흐름을 위해 5~10분 세션을 사용하세요.
- 대상 국가를 타기팅하세요.
- 응답을 압축하여 기가바이트를 절약하세요.
작동하는 설정
- 1
데이터센터 트래픽에서 스크래퍼를 시작하고 모든 응답의 상태 코드를 기록하세요.
- 2
챌린지 또는 빈 페이지로 응답하는 대상을 주거용 트래픽으로 이동하세요.
- 3
검색 폼 뒤의 페이지네이션과 같은 다중 페이지 흐름에만 고정 세션을 사용하세요.
- 4
한 페이지를 집중적으로 요청하는 대신 시간과 주소에 걸쳐 요청을 분산하세요.
스크래퍼가 프록시가 필요한 이유
웹사이트는 주소별로 요청 수를 계산해요. 한 IP에서 분당 수백 건의 요청을 보내는 스크래퍼는 몇 분 안에 속도가 느려지거나, 챌린지 페이지가 표시되거나, 차단될 수 있어요. 동일한 트래픽을 여러 주소 풀을 통해 분산시키면 일반 방문자가 접하는 제한보다 훨씬 낮은 수준으로 각 주소의 부하를 유지할 수 있죠.
위치도 중요해요: 제품 페이지, 검색 결과 또는 배송 예상 시간은 방문자의 국가나 도시에 따라 달라질 수 있어요. 프록시 사용자 이름에 타기팅 키를 추가하면 해당 지역의 실제 고객이 보게 될 버전을 수집할 수 있어요.
스크래핑용 주거용 또는 데이터센터 프록시
데이터센터 트래픽은 GB당 $0.18로 가장 저렴하고 빠르며, 많은 타겟에서 사용할 수 있어요. 주거용 트래픽은 GB당 $0.294부터로 비싸지만, 서버 범위를 차단하는 검사를 통과할 수 있어요. 대부분의 팀은 둘 다 사용해요: 허용적인 타겟에는 데이터센터를, 그 외에는 주거용 프록시를 같은 코드로 호스트 이름만 바꿔서 운영하죠.
스크래퍼를 건강하게 유지하기
로봇 규칙과 동의한 요율 제한을 준수해요, 현실적인 사용자 에이전트를 설정하고, 세션별 쿠키를 유지해요, 429와 5xx 응답 시 백오프로 재시도하고, 타겟별 비 200 응답 비율을 확인해요. 이 비율이 올라가면 보통 스레드를 더 늘리는 대신 속도를 늦추거나 해당 타겟을 주거용 프록시로 전환하는 게 해결책이에요.