o2o-site-AEO/solution/backend/scripts/check_search_ready.py

"""발행본이 **인터넷에서** 검색엔진에 읽힐 준비가 됐는지 확인한다.

    python scripts/check_search_ready.py                    (기본 https://web4ai.o2osolution.ai)
    python scripts/check_search_ready.py https://web4ai.o2osolution.ai
    python scripts/check_search_ready.py --slug butter      (특정 사이트만)

★ 왜 필요한가 — 색인 여부는 며칠~몇 주 뒤에나 알 수 있다. 그때까지 기다렸다가
  "robots.txt 가 안 올라가 있었다" 같은 걸 알게 되면 그 기간을 통째로 날린다.
  색인을 기다리지 않고 **지금 당장 확인할 수 있는 것**만 여기서 본다:
  크롤러가 접근할 수 있는가 · 읽을 파일이 그 자리에 있는가 · 내용이 들어 있는가.

★ 로컬 out/ 이 아니라 **실제 도메인**을 친다. 로컬에 파일이 있어도 업로드가 안 됐거나
  도메인이 안 붙었으면 검색엔진에는 없는 것과 같다 — 그 차이를 잡는 게 목적이다.

★ 크롤러 UA 로도 받아본다. CDN·WAF 가 봇을 막는 설정이 기본값인 경우가 있어서,
  브라우저로는 열리는데 Googlebot 에게는 403 이 나가는 상태를 눈으로 볼 방법이 없다.
"""
import argparse
import json
import os
import re
import sys
from urllib.parse import urljoin

import httpx

TIMEOUT = 15.0
BROWSER_UA = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/126 Safari/537.36"
CRAWLER_UAS = {
    "Googlebot": "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",
    "GPTBot": "Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot)",
    "PerplexityBot": "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)",
    "Yeti": "Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd)",
}

PASS, WARN, FAIL = "PASS", "WARN", "FAIL"
_results: list[tuple[str, str, str]] = []


def report(level: str, name: str, detail: str = "") -> None:
    _results.append((level, name, detail))
    mark = {PASS: "  ✓", WARN: "  !", FAIL: "  ✗"}[level]
    print(f"{mark} {name}" + (f" — {detail}" if detail else ""))


def get(client: httpx.Client, url: str, ua: str = BROWSER_UA) -> httpx.Response | None:
    try:
        return client.get(url, headers={"User-Agent": ua}, follow_redirects=True)
    except httpx.HTTPError as ex:
        report(FAIL, f"연결 실패 {url}", f"{type(ex).__name__}: {ex}")
        return None


# ── 개별 점검 ────────────────────────────────────────────────────────────
def check_robots(client: httpx.Client, origin: str) -> None:
    url = urljoin(origin, "/robots.txt")
    res = get(client, url)
    if res is None:
        return
    if res.status_code != 200:
        report(FAIL, "루트 robots.txt", f"HTTP {res.status_code} — 크롤러가 읽는 유일한 자리다")
        return
    body = res.text
    report(PASS, "루트 robots.txt", f"{len(body)}바이트 · {res.elapsed.total_seconds():.2f}s")

    missing = [bot for bot in ("GPTBot", "ClaudeBot", "PerplexityBot", "Googlebot", "Yeti") if bot not in body]
    if missing:
        report(WARN, "AI·검색 크롤러 명시 허용", f"목록에 없음: {', '.join(missing)}")
    else:
        report(PASS, "AI·검색 크롤러 명시 허용", "GPTBot·ClaudeBot·PerplexityBot·Googlebot·Yeti")

    if "Sitemap:" in body:
        report(PASS, "robots 의 사이트맵 지시", re.search(r"Sitemap:\s*(\S+)", body).group(1))
    else:
        report(FAIL, "robots 의 사이트맵 지시", "없다 — 크롤러가 사이트맵 위치를 알 방법이 없다")


def check_sitemap(client: httpx.Client, origin: str) -> list[str]:
    """루트 사이트맵 — 이 호스트의 모든 사이트가 여기 한 파일에 들어 있다.

    ★ 사이트가 한 장짜리라 사이트맵 인덱스를 쓰지 않는다. 사이트별 sitemap.xml 을 두면
      URL 한 줄짜리 파일이 사이트 수만큼 생기고 크롤러 왕복만 두 배가 된다."""
    url = urljoin(origin, "/sitemap.xml")
    res = get(client, url)
    if res is None or res.status_code != 200:
        code = res.status_code if res else "연결실패"
        report(FAIL, "루트 사이트맵", f"HTTP {code} — 새 사이트가 발견되지 않는다")
        return []
    locs = re.findall(r"<loc>\s*([^<\s]+)\s*</loc>", res.text)
    if "<urlset" not in res.text:
        report(FAIL, "루트 사이트맵", "urlset 형식이 아니다")
        return locs
    if len(locs) > 50_000:
        report(WARN, "루트 사이트맵", f"URL {len(locs)}개 — 규격 상한(50,000)이다. 파일을 쪼갤 때가 됐다")
    else:
        report(PASS, "루트 사이트맵", f"사이트 {len(locs)}개")
    return locs


def check_indexnow_key(client: httpx.Client, origin: str) -> None:
    key = os.environ.get("INDEXNOW_KEY", "").strip()
    if not key:
        report(WARN, "IndexNow 키 파일", "INDEXNOW_KEY 가 비어 있다 — 네이버·Bing 통보가 꺼져 있다")
        return
    res = get(client, urljoin(origin, f"/{key}.txt"))
    if res is None:
        return
    if res.status_code != 200:
        report(FAIL, "IndexNow 키 파일", f"HTTP {res.status_code} — 통보가 403 으로 거절된다")
    elif res.text.strip() != key:
        report(FAIL, "IndexNow 키 파일", "파일 내용이 키와 다르다")
    else:
        report(PASS, "IndexNow 키 파일", f"/{key}.txt")


def check_site(client: httpx.Client, origin: str, slug: str) -> None:
    print(f"\n[사이트] {slug}")
    base = urljoin(origin, f"/s/{slug}/")

    res = get(client, base)
    if res is None:
        return
    if res.status_code != 200:
        report(FAIL, "홈 페이지", f"HTTP {res.status_code} — {base}")
        return
    html = res.text
    report(PASS, "홈 페이지", f"{len(html) // 1024}KB · {res.elapsed.total_seconds():.2f}s")

    # 구조화 데이터가 HTML 소스에 들어 있는가(=JS 실행 없이 읽히는가)
    blobs = re.findall(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', html, re.S)
    if not blobs:
        report(FAIL, "구조화 데이터", "HTML 소스에 JSON-LD 가 없다 — AI 크롤러가 읽을 게 없다")
    else:
        types: list[str] = []
        for blob in blobs:
            try:
                data = json.loads(blob)
            except json.JSONDecodeError:
                report(FAIL, "구조화 데이터", "JSON 파싱 실패 — 깨진 채로 나가고 있다")
                continue
            nodes = data.get("@graph", data) if isinstance(data, dict) else data
            for node in nodes if isinstance(nodes, list) else [nodes]:
                if isinstance(node, dict) and node.get("@type"):
                    types.append(str(node["@type"]))
        report(PASS if types else WARN, "구조화 데이터", " · ".join(dict.fromkeys(types)) or "타입 없음")

    # 화면에 본문이 실제로 있는가(빈 껍데기 HTML 이면 크롤러에게는 빈 페이지다)
    text = re.sub(r"<[^>]+>", " ", re.sub(r"<(script|style)[^>]*>.*?</\1>", " ", html, flags=re.S))
    words = len(re.sub(r"\s+", " ", text).strip())
    report(PASS if words > 500 else WARN, "본문 분량", f"{words}자 (JS 실행 없이 읽히는 글자 수)")

    # 사이트가 한 장이라 사이트별 기계용 파일은 llms.txt 하나다.
    r = get(client, urljoin(base, "llms.txt"))
    if r is not None:
        report(PASS if r.status_code == 200 else FAIL, "llms.txt", f"HTTP {r.status_code}")


def check_crawler_access(client: httpx.Client, origin: str, slug: str) -> None:
    print("\n[크롤러 접근]")
    url = urljoin(origin, f"/s/{slug}/")
    for name, ua in CRAWLER_UAS.items():
        res = get(client, url, ua=ua)
        if res is None:
            continue
        if res.status_code == 200:
            report(PASS, name, f"HTTP 200 · {res.elapsed.total_seconds():.2f}s")
        else:
            report(FAIL, name, f"HTTP {res.status_code} — CDN·WAF 가 이 봇을 막고 있다")


# ── 실행 ─────────────────────────────────────────────────────────────────
def main() -> None:
    parser = argparse.ArgumentParser()
    parser.add_argument("origin", nargs="?", default="https://web4ai.o2osolution.ai", help="확인할 오리진")
    parser.add_argument("--slug", help="이 사이트만 확인(기본: 사이트맵의 첫 사이트)")
    args = parser.parse_args()
    origin = args.origin.rstrip("/")

    print(f"[점검] {origin}\n")
    print("[오리진 공통]")
    with httpx.Client(timeout=TIMEOUT) as client:
        check_robots(client, origin)
        locs = check_sitemap(client, origin)
        check_indexnow_key(client, origin)

        slug = args.slug
        if not slug and locs:
            found = re.search(r"/s/([^/?#]+)", locs[0])
            slug = found.group(1) if found else None
        if not slug:
            print("\n확인할 사이트를 못 찾았다 — --slug 로 지정해라.")
        else:
            check_site(client, origin, slug)
            check_crawler_access(client, origin, slug)

    failed = [r for r in _results if r[0] == FAIL]
    warned = [r for r in _results if r[0] == WARN]
    print(f"\n[결과] 통과 {len(_results) - len(failed) - len(warned)} · 주의 {len(warned)} · 실패 {len(failed)}")
    if failed:
        print("\n먼저 고칠 것:")
        for _, name, detail in failed:
            print(f"  - {name}: {detail}")
        sys.exit(1)
    print("크롤러가 읽을 수 있는 상태다. 색인 여부는 며칠~몇 주 뒤에 확인된다.")


if __name__ == "__main__":
    main()