8460a5d833
기존엔 Akamai JS 챌린지 마커만 감지해, Edge Access Denied(errors.edgesuite.net)와 '사용권한이 제한된' 권한제한 페이지가 blocked=False 로 오판됐다. 그 결과 IP 회전· bot_detection 기록이 누락되고 같은 IP 로 재시도만 반복하다 DEAD 로 빠졌다. - 마커 3계열로 확장(Akamai / Edge Deny / 권한제한) - 짧은 HTML 폴백(_MIN_RESULT_HTML): 0건인데 <10KB 면 미지의 차단으로 간주 (정상 '검색결과 없음'은 전체 chrome 포함이라 큼) - 감지를 순수 함수 detect_block(html, product_count) 로 분리 — 단위 테스트 6종 검증: 신라면 '사용권한이 제한된'(3383B) 감지 → IP 회전 → 새 IP 59건 복구. 파서 배송 분류 테스트도 함께 추가(shared fixture). Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| coupang | ||
| naver | ||
| contract.py | ||
| proxy.py | ||
| rate_limiter.py | ||
| util.py | ||