"""추출 검증 게이트 — "AI 가 원문에서 찾아온 것인가, 지어낸 것인가". URL·붙여넣기 추출(services/external/gemini_extract.py)의 안전장치는 프롬프트가 아니라 services/grounding/extract.py 의 evidence 대조다. 프롬프트로 "지어내지 마라" 를 아무리 적어도 그건 부탁이지 보장이 아니다. **이 파일이 깨지면 추출 경로를 끄는 것이 맞다.** 통과 못 한 값이 fact 후보로 올라가면 사장님이 확인 화면에서 "네" 를 누르는 순간 환각이 발행본에 실린다. DB 도 네트워크도 쓰지 않는 순수 단위 테스트다. """ import pytest from common.category_schema import get_schema from common.enums import PlaceCategory from services.grounding.extract import MIN_EVIDENCE, loose, normalize, verify _LODGING = get_schema(PlaceCategory.LODGING) _RESTAURANT = get_schema(PlaceCategory.RESTAURANT) _SOURCE = ( "강문스테이는 강릉 경포해변 도보 3분 거리에 있는 독채 펜션입니다. " "체크인은 오후 3시, 체크아웃은 오전 11시입니다. " "전 객실 무료 주차가 가능하며, 무선인터넷을 제공합니다. " "반려동물 동반은 불가합니다. " "바비큐장은 별도 요금 20,000원으로 이용하실 수 있습니다. " "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다." ) def _one(row: dict, *, source: str = _SOURCE, schema=_LODGING): passed, rejected = verify([row], source_text=source, schema=schema) return passed, rejected # ── 통과해야 하는 것 ────────────────────────────────────────────────────── def test_accepts_value_copied_verbatim(): """검증: 원문 표기 그대로 옮긴 값. 기대결과: 통과. 이게 추출의 정상 경로다.""" passed, rejected = _one({ "key": "check_in_time", "value": "오후 3시", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다.", }) assert not rejected assert passed[0]["value"] == "오후 3시" assert passed[0]["scope"] == "place" def test_accepts_number_written_with_comma_in_source(): """검증: 원문은 "20,000원" 인데 number 필드라 값은 "20000" 으로 온다. 기대결과: 통과. ★ 실측 회귀 — loose() 가 없던 때 속초항아리물회 홈페이지에서 메뉴 가격 5건이 통째로 '고쳐 쓴 값' 으로 반려됐다. 쉼표는 같은 수를 다르게 적은 것뿐이다.""" passed, rejected = _one({ "key": "bbq_fee", "value": "20000", "evidence": "바비큐장은 별도 요금 20,000원으로 이용하실 수 있습니다.", }) assert not rejected, rejected assert passed[0]["value"] == "20000" def test_accepts_unit_scope_with_name(): """검증: 객실 단위 fact 가 unit_name 을 달고 온다. 기대결과: 통과하고 scope/unit_name 이 보존된다 — ensure_units 가 이걸로 객실을 만든다.""" passed, rejected = _one({ "key": "standard_capacity", "value": "2", "unit_name": "오션뷰룸", "evidence": "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다.", }) assert not rejected assert passed[0]["scope"] == "unit" and passed[0]["unit_name"] == "오션뷰룸" def test_accepts_negative_bool_when_source_is_negative(): """검증: 원문이 "불가" 이고 값도 false. 기대결과: 통과. '없다' 도 사실이다 — 명시된 부정은 담는다.""" passed, rejected = _one({ "key": "pet_allowed", "value": "false", "evidence": "반려동물 동반은 불가합니다.", }) assert not rejected assert passed[0]["value"] == "false" # ── 막아야 하는 것 (여기가 본론) ────────────────────────────────────────── def test_blocks_evidence_not_in_source(): """검증: 원문에 없는 문장을 근거로 들이민다(순수 환각). 기대결과: 반려. **이 검사가 이 게이트의 존재 이유다.**""" passed, rejected = _one({ "key": "breakfast", "value": "true", "evidence": "조식은 오전 8시부터 제공됩니다.", }) assert not passed assert "원문에 없다" in rejected[0][1] def test_blocks_flipped_bool_polarity(): """검증: 근거는 "불가" 인데 값을 true 로 올린다. 기대결과: 반려. ★ 부호가 뒤집히면 "반려동물 동반 불가" 가 "동반 가능" 이 된다 — critical 항목이라 그대로 예약 클레임이다.""" passed, rejected = _one({ "key": "pet_allowed", "value": "true", "evidence": "반려동물 동반은 불가합니다.", }) assert not passed assert "부정인데 true" in rejected[0][1] def test_blocks_converted_value(): """검증: 원문은 "오후 3시" 인데 값을 "15:00" 으로 환산해 올린다. 기대결과: 반려. 환산은 옮겨 적기가 아니다 — 한 번 허용하면 단위·통화·시간대까지 모델이 손대기 시작하고, 그 오차는 원문 대조로 잡히지 않는다.""" passed, rejected = _one({ "key": "check_in_time", "value": "15:00", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다.", }) assert not passed assert "근거 문장 안에 없다" in rejected[0][1] def test_blocks_key_outside_category_schema(): """검증: 업종 스키마에 없는 key. 기대결과: 반려. fact 기록 단계에서도 거부되지만, 여기서 걸러야 반려 사유가 남는다.""" passed, rejected = _one({ "key": "michelin_star", "value": "2", "evidence": "강문스테이는 강릉 경포해변 도보 3분 거리에 있는 독채 펜션입니다.", }) assert not passed assert "스키마에 없는 key" in rejected[0][1] def test_blocks_unit_fact_without_unit_name(): """검증: unit 스코프 필드인데 unit_name 이 비었다. 기대결과: 반려. 어느 객실 것인지 모르는 값은 화면에 붙일 자리가 없다.""" passed, rejected = _one({ "key": "max_capacity", "value": "4", "evidence": "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다.", }) assert not passed assert "unit_name" in rejected[0][1] def test_blocks_non_numeric_value_in_number_field(): """검증: number 필드에 "최대 4인" 같은 문장이 들어온다. 기대결과: 반려. 화면·JSON-LD 가 숫자로 다루는 자리라 문자열이 섞이면 렌더가 깨진다.""" passed, rejected = _one({ "key": "max_capacity", "value": "최대 4인", "unit_name": "오션뷰룸", "evidence": "오션뷰룸은 기준 2인, 최대 4인까지 이용 가능합니다.", }) assert not passed assert "숫자가 아니다" in rejected[0][1] @pytest.mark.parametrize("evidence", ["", "3", "펜션"]) def test_blocks_evidence_too_short_to_verify(evidence): """검증: 근거가 너무 짧아 원문 어디에나 있는 경우. 기대결과: 반려. "3" 은 원문 아무 데나 있으므로 대조가 통과해도 아무것도 보장하지 못한다.""" passed, rejected = _one({"key": "check_in_time", "value": "오후 3시", "evidence": evidence}) assert not passed assert len(evidence) < MIN_EVIDENCE def test_blocks_duplicate_key_for_same_unit(): """검증: 같은 (key, unit) 이 두 번 온다. 기대결과: 첫 건만 통과. 같은 자리에 두 값이 들어가면 어느 쪽이 발행될지 알 수 없다.""" rows = [ {"key": "check_in_time", "value": "오후 3시", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다."}, {"key": "check_in_time", "value": "오전 11시", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다."}, ] passed, rejected = verify(rows, source_text=_SOURCE, schema=_LODGING) assert len(passed) == 1 and passed[0]["value"] == "오후 3시" assert "이미 들어왔다" in rejected[0][1] # ── 정규화가 부호를 지우지 않는가 ───────────────────────────────────────── def test_normalization_never_drops_negation_words(): """검증: 대조용 정규화가 "불가" 같은 부정어를 지우지 않는가. 기대결과: 남아 있다. ★ 정규화가 글자를 지우기 시작하면 부정이 긍정으로 뒤집힌다 — normalize/loose 는 공백·문장부호·쉼표만 건드려야 한다.""" for text in ("반려동물 동반은 불가합니다.", "취사 불가능", "주차 없음"): for fn in (normalize, loose): out = fn(text) assert any(w in out for w in ("불가", "없음")), f"{fn.__name__} 이 부정어를 지웠다: {out}" def test_loose_only_strips_commas_and_spaces(): """검증: loose() 가 쉼표·공백 외의 글자를 건드리지 않는가. 기대결과: 숫자와 단위가 그대로 남는다.""" assert loose("20,000 원") == "20000원" assert loose("최대 4인") == "최대4인" # ── 업종이 다르면 통과 여부도 달라야 한다 ───────────────────────────────── def test_same_key_gated_by_category_schema(): """검증: 숙박 전용 key 를 음식점 스키마로 검증한다. 기대결과: 반려. 업종 스키마가 유일한 출처이므로, 업종이 바뀌면 허용 key 도 바뀐다.""" row = {"key": "check_in_time", "value": "오후 3시", "evidence": "체크인은 오후 3시, 체크아웃은 오전 11시입니다."} ok_lodging, _ = _one(row) ok_restaurant, rejected = _one(row, schema=_RESTAURANT) assert ok_lodging and not ok_restaurant assert "스키마에 없는 key" in rejected[0][1]