o2o-site-AEO/solution/backend/tests/test_extract_grounding.py

"""추출 검증 게이트 — "AI 가 원문에서 찾아온 것인가, 지어낸 것인가".

URL·붙여넣기 추출(services/external/gemini_extract.py)의 안전장치는 프롬프트가 아니라
services/grounding/extract.py 의 evidence 대조다. 프롬프트로 "지어내지 마라" 를 아무리 적어도
그건 부탁이지 보장이 아니다.

**이 파일이 깨지면 추출 경로를 끄는 것이 맞다.** 통과 못 한 값이 fact 후보로 올라가면
사장님이 확인 화면에서 "네" 를 누르는 순간 환각이 발행본에 실린다.

DB 도 네트워크도 쓰지 않는 순수 단위 테스트다.
"""
import pytest

from common.category_schema import get_schema
from common.enums import PlaceCategory
from services.grounding.extract import MIN_EVIDENCE, loose, normalize, verify

_LODGING = get_schema(PlaceCategory.LODGING)
_RESTAURANT = get_schema(PlaceCategory.RESTAURANT)

_SOURCE = (
    "강문스테이는 강릉 경포해변 도보 3분 거리에 있는 독채 펜션입니다. "
    "체크인은 오후 3시, 체크아웃은 오전 11시입니다. "
    "전 객실 무료 주차가 가능하며, 무선인터넷을 제공합니다. "
    "반려동물 동반은 불가합니다. "
    "바비큐장은 별도 요금 20,000원으로 이용하실 수 있습니다. "
    "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다."
)


def _one(row: dict, *, source: str = _SOURCE, schema=_LODGING):
    passed, rejected = verify([row], source_text=source, schema=schema)
    return passed, rejected


# ── 통과해야 하는 것 ──────────────────────────────────────────────────────
def test_accepts_value_copied_verbatim():
    """검증: 원문 표기 그대로 옮긴 값.
    기대결과: 통과. 이게 추출의 정상 경로다."""
    passed, rejected = _one({
        "key": "check_in_time", "value": "오후 3시",
        "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다.",
    })
    assert not rejected
    assert passed[0]["value"] == "오후 3시"
    assert passed[0]["scope"] == "place"


def test_accepts_number_written_with_comma_in_source():
    """검증: 원문은 "20,000원" 인데 number 필드라 값은 "20000" 으로 온다.

    기대결과: 통과. ★ 실측 회귀 — loose() 가 없던 때 속초항아리물회 홈페이지에서
    메뉴 가격 5건이 통째로 '고쳐 쓴 값' 으로 반려됐다. 쉼표는 같은 수를 다르게 적은 것뿐이다."""
    passed, rejected = _one({
        "key": "bbq_fee", "value": "20000",
        "evidence": "바비큐장은 별도 요금 20,000원으로 이용하실 수 있습니다.",
    })
    assert not rejected, rejected
    assert passed[0]["value"] == "20000"


def test_accepts_unit_scope_with_name():
    """검증: 객실 단위 fact 가 unit_name 을 달고 온다.
    기대결과: 통과하고 scope/unit_name 이 보존된다 — ensure_units 가 이걸로 객실을 만든다."""
    passed, rejected = _one({
        "key": "standard_capacity", "value": "2", "unit_name": "오션뷰룸",
        "evidence": "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다.",
    })
    assert not rejected
    assert passed[0]["scope"] == "unit" and passed[0]["unit_name"] == "오션뷰룸"


def test_accepts_negative_bool_when_source_is_negative():
    """검증: 원문이 "불가" 이고 값도 false.
    기대결과: 통과. '없다' 도 사실이다 — 명시된 부정은 담는다."""
    passed, rejected = _one({
        "key": "pet_allowed", "value": "false",
        "evidence": "반려동물 동반은 불가합니다.",
    })
    assert not rejected
    assert passed[0]["value"] == "false"


# ── 막아야 하는 것 (여기가 본론) ──────────────────────────────────────────
def test_blocks_evidence_not_in_source():
    """검증: 원문에 없는 문장을 근거로 들이민다(순수 환각).
    기대결과: 반려. **이 검사가 이 게이트의 존재 이유다.**"""
    passed, rejected = _one({
        "key": "breakfast", "value": "true",
        "evidence": "조식은 오전 8시부터 제공됩니다.",
    })
    assert not passed
    assert "원문에 없다" in rejected[0][1]


def test_blocks_flipped_bool_polarity():
    """검증: 근거는 "불가" 인데 값을 true 로 올린다.

    기대결과: 반려. ★ 부호가 뒤집히면 "반려동물 동반 불가" 가 "동반 가능" 이 된다 —
    critical 항목이라 그대로 예약 클레임이다."""
    passed, rejected = _one({
        "key": "pet_allowed", "value": "true",
        "evidence": "반려동물 동반은 불가합니다.",
    })
    assert not passed
    assert "부정인데 true" in rejected[0][1]


def test_blocks_converted_value():
    """검증: 원문은 "오후 3시" 인데 값을 "15:00" 으로 환산해 올린다.

    기대결과: 반려. 환산은 옮겨 적기가 아니다 — 한 번 허용하면 단위·통화·시간대까지
    모델이 손대기 시작하고, 그 오차는 원문 대조로 잡히지 않는다."""
    passed, rejected = _one({
        "key": "check_in_time", "value": "15:00",
        "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다.",
    })
    assert not passed
    assert "근거 문장 안에 없다" in rejected[0][1]


def test_blocks_key_outside_category_schema():
    """검증: 업종 스키마에 없는 key.
    기대결과: 반려. fact 기록 단계에서도 거부되지만, 여기서 걸러야 반려 사유가 남는다."""
    passed, rejected = _one({
        "key": "michelin_star", "value": "2",
        "evidence": "강문스테이는 강릉 경포해변 도보 3분 거리에 있는 독채 펜션입니다.",
    })
    assert not passed
    assert "스키마에 없는 key" in rejected[0][1]


def test_blocks_unit_fact_without_unit_name():
    """검증: unit 스코프 필드인데 unit_name 이 비었다.
    기대결과: 반려. 어느 객실 것인지 모르는 값은 화면에 붙일 자리가 없다."""
    passed, rejected = _one({
        "key": "max_capacity", "value": "4",
        "evidence": "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다.",
    })
    assert not passed
    assert "unit_name" in rejected[0][1]


def test_blocks_non_numeric_value_in_number_field():
    """검증: number 필드에 "최대 4인" 같은 문장이 들어온다.
    기대결과: 반려. 화면·JSON-LD 가 숫자로 다루는 자리라 문자열이 섞이면 렌더가 깨진다."""
    passed, rejected = _one({
        "key": "max_capacity", "value": "최대 4인", "unit_name": "오션뷰룸",
        "evidence": "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다.",
    })
    assert not passed
    assert "숫자가 아니다" in rejected[0][1]


@pytest.mark.parametrize("evidence", ["", "3", "펜션"])
def test_blocks_evidence_too_short_to_verify(evidence):
    """검증: 근거가 너무 짧아 원문 어디에나 있는 경우.

    기대결과: 반려. "3" 은 원문 아무 데나 있으므로 대조가 통과해도 아무것도 보장하지 못한다."""
    passed, rejected = _one({"key": "check_in_time", "value": "오후 3시", "evidence": evidence})
    assert not passed
    assert len(evidence) < MIN_EVIDENCE


def test_blocks_duplicate_key_for_same_unit():
    """검증: 같은 (key, unit) 이 두 번 온다.
    기대결과: 첫 건만 통과. 같은 자리에 두 값이 들어가면 어느 쪽이 발행될지 알 수 없다."""
    rows = [
        {"key": "check_in_time", "value": "오후 3시", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다."},
        {"key": "check_in_time", "value": "오전 11시", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다."},
    ]
    passed, rejected = verify(rows, source_text=_SOURCE, schema=_LODGING)
    assert len(passed) == 1 and passed[0]["value"] == "오후 3시"
    assert "이미 들어왔다" in rejected[0][1]


# ── 정규화가 부호를 지우지 않는가 ─────────────────────────────────────────
def test_normalization_never_drops_negation_words():
    """검증: 대조용 정규화가 "불가" 같은 부정어를 지우지 않는가.

    기대결과: 남아 있다. ★ 정규화가 글자를 지우기 시작하면 부정이 긍정으로 뒤집힌다 —
    normalize/loose 는 공백·문장부호·쉼표만 건드려야 한다."""
    for text in ("반려동물 동반은 불가합니다.", "취사 불가능", "주차 없음"):
        for fn in (normalize, loose):
            out = fn(text)
            assert any(w in out for w in ("불가", "없음")), f"{fn.__name__} 이 부정어를 지웠다: {out}"


def test_loose_only_strips_commas_and_spaces():
    """검증: loose() 가 쉼표·공백 외의 글자를 건드리지 않는가.
    기대결과: 숫자와 단위가 그대로 남는다."""
    assert loose("20,000 원") == "20000원"
    assert loose("최대 4인") == "최대4인"


# ── 업종이 다르면 통과 여부도 달라야 한다 ─────────────────────────────────
def test_same_key_gated_by_category_schema():
    """검증: 숙박 전용 key 를 음식점 스키마로 검증한다.

    기대결과: 반려. 업종 스키마가 유일한 출처이므로, 업종이 바뀌면 허용 key 도 바뀐다."""
    row = {"key": "check_in_time", "value": "오후 3시",
           "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다."}
    ok_lodging, _ = _one(row)
    ok_restaurant, rejected = _one(row, schema=_RESTAURANT)
    assert ok_lodging and not ok_restaurant
    assert "스키마에 없는 key" in rejected[0][1]