"""네이버 쇼핑 크롤 어댑터 (모바일 msearch). 배경: 2026-07-31 네이버가 쇼핑 검색 오픈API 를 종료(404 SE05)했고 NCP API HUB 에도 승계되지 않았다 → 가격을 얻을 공식 경로가 없어 크롤로 돌아왔다. 경로 선택(2026-08-04 실측): PC search.shopping.naver.com/search/all 405 + WTM 캡차 PC /api/search/all 418(봇 차단) 모바일 msearch.shopping.naver.com **200 · 카드 40건** ← 이 경로 7/9 스파이크 때 모바일은 로그인 리다이렉트였는데 그 사이 열렸다. 다시 닫힐 수 있으므로 차단 마커를 넉넉히 잡고, 막히면 IP 회전(쿠팡과 동일한 BrowserSearchAdapter machinery)에 맡긴다. 프록시: **한국 IP 필수**(worker_main 이 kr.decodo.com 게이트웨이로 주입). 실측 차이가 크다 — 해외 residential IP 즉시 하드차단(2.6KB 'Access Denied' 계열) 한국 residential IP 정상. 단일 IP 로 연달아 두드리면 캡차로 넘어가므로 회전은 그대로 필요 """ from urllib.parse import quote from config.server_configs import worker_config from services.search.browser_base import BrowserSearchAdapter, detect_block as _detect_block from services.search.contract import NormalizedProduct from services.search.naver_shop.parser import parse_search_html from services.search.naver_shop.selectors import SELECTORS _SEARCH_URL = "https://msearch.shopping.naver.com/search/all?query={q}" # 차단 flavor: WTM 캡차 페이지 / 접근제한 안내 / 418 teapot 본문. _BLOCK_MARKERS = ( "wtm_captcha", "비정상적인 접근", "일시적으로 제한", "자동입력 방지", "정상적인 서비스 이용", "nid.naver.com/nidlogin", ) # 해외 IP 로 접근했을 때만 나오는 하드차단(실측 2,641B). IP 를 바꿔도 같은 게이트웨이면 # 결과가 같으므로 회전·재시도가 무의미하다 — kr_host 설정을 고쳐야 한다. _FATAL_MARKERS = ("비정상적인 접근",) # 정상 결과 페이지는 1.3MB+ 다. 차단 페이지는 실측 48~65KB → 그 사이에 임계를 둔다. # (0건일 때만 적용되므로 '검색결과 없음'이 커도 오탐하지 않는다) _MIN_RESULT_HTML = 150_000 def detect_block(html: str, product_count: int) -> str | None: """0건 응답의 차단 여부 판정(순수 함수 — 브라우저 무관, 단위 테스트 가능).""" return _detect_block(html, product_count, _BLOCK_MARKERS, _MIN_RESULT_HTML) class NaverShopAdapter(BrowserSearchAdapter): # source 는 구현(API/크롤)이 아니라 **도메인 정체성**이다. "naver" 를 유지해야 # price_history 의 naver_lowest/name/url, MALL_BY_SOURCE, 프론트 그래프 계약이 그대로 산다. source = "naver" block_markers = _BLOCK_MARKERS fatal_block_markers = _FATAL_MARKERS min_result_html = _MIN_RESULT_HTML ready_selector = SELECTORS.card ready_timeout_ms = 20000 # 무한스크롤은 _wait_ready 를 직접 구현해 처리한다(베이스의 고정 횟수 스크롤은 쓰지 않는다). scroll_steps = 0 max_scrolls = 6 # 초기 20건 → 40건에서 멈춘다(실측). 여유 있게 6회면 충분 scroll_wait_ms = 1500 # 프록시 경유라 렌더가 느리다 — 한 번에 다 안 붙는다 # ⚠️ 리소스 차단을 **켜면 안 된다**. route 를 걸면 WTM 이 즉시 캡차로 넘긴다(실측 2026-08-04): # 차단 없음 → 정상 14건 · 전송 3.07MB # image/media/font 만 차단 → 차단 · 0.58MB ← CSS 를 살려도 안 통한다 # image/media/font/css 차단 → 차단 # 부분 차단조차 막히는 걸 보면 '무엇을 막느냐'가 아니라 **요청 가로채기(CDP Fetch) 자체**가 # 탐지 신호다. 그래서 대역폭을 포기하고 끈다 — 검색당 ~3MB(DECODO $3/GB 기준 ~$0.009). block_resources_default = False # 한국어 로케일/시간대 필수. 한국 IP 로 들어가면서 브라우저가 en-US 면 WTM 이 캡차를 띄운다 # (실측: 같은 KR 프록시·같은 브라우저에서 이 두 줄 유무로 캡차↔정상이 갈렸다). context_options = {"locale": "ko-KR", "timezone_id": "Asia/Seoul"} # ── 컨테이너 차단 대응(2026-08-06 운영) ──────────────────────────────────── # 같은 컨테이너에서 쿠팡은 60건 정상인데 네이버만 매 IP 첫 요청부터 wtm_captcha 다. # 위 리소스 차단 주석의 결론('요청 가로채기 자체가 탐지 신호')을 계측 CDP 에도 적용해 본다 — # Network.enable 도 같은 계열이라 매 검색마다 CDP 를 여는 셈이었다. # 값은 [WorkerConfig].naver_net_meter 에서 온다(config 는 마운트라 **재빌드 없이** A/B 가능). # 쿠팡은 잘 통과하므로 건드리지 않는다 — 멀쩡한 걸 바꿔 깨뜨리는 게 가장 나쁘다. net_meter = worker_config.naver_net_meter # 리눅스 UA 는 네이버가 HTTP 405 로 거부한다 — JS 가 돌기도 전에 막히므로 지문 문제가 아니다. # 실측(2026-08-06, KR 프록시·IP 3개씩): Linux UA 0/3 통과 · Mac UA 3/3 통과(200·6건·1.0MB). # 맥/윈도우에서는 자동으로 적용되지 않는다(이미 통과하는 환경을 위장하면 오히려 튄다). mac_ua_on_linux = True async def _wait_ready(self, page): """첫 카드를 기다린 뒤, 카드 수가 더 안 늘 때까지 바닥으로 스크롤한다. 베이스 구현은 '고정 횟수 스크롤 → 셀렉터 대기' 순서라 프록시 지연이 있으면 **아직 아무것도 안 그려진 화면을 스크롤**하고 끝난다(실측: 40건 나올 페이지에서 14건). 그래서 순서를 뒤집고, 횟수가 아니라 '더 안 늘어남'을 종료 조건으로 둔다 — 네트워크가 느리든 빠르든 같은 결과를 얻는다. """ try: await page.wait_for_selector(self.ready_selector, timeout=self.ready_timeout_ms) except Exception: return # 카드가 아예 없음 → 차단 판정(마커/짧은HTML)에 맡긴다 count_js = f"() => document.querySelectorAll('{SELECTORS.card}').length" prev = -1 for _ in range(self.max_scrolls): try: n = await page.evaluate(count_js) except Exception: return if n == prev: # 스크롤해도 안 늘면 끝(더 기다릴 이유 없음) return prev = n try: await page.evaluate("window.scrollTo(0, document.body.scrollHeight)") except Exception: return await page.wait_for_timeout(self.scroll_wait_ms) def _search_url(self, query: str, limit: int) -> str: return _SEARCH_URL.format(q=quote(query)) def _parse(self, html: str) -> list[NormalizedProduct]: return parse_search_html(html, source=self.source)