Web4ai/o2o-site-AEO
5
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
0e0f2cf038
o2o-site-AEO/solution/backend/tests/test_fact_api.py
hbyang 4d5a77453b [fix] solution/backend,docs: LLM 이 쓴 문장은 승인 없이 나간다 — 소개문이 생성되고도 영영 빈칸이던 것 
실측(2026-09-10, 힐튼 가든 인 서울 강남): 로그는 `[copy] 소개문 O` 이고 DB 에도 문장이
있는데 발행본의 소개는 빈칸이었다. status=1(UNVERIFIED) 이라 스냅샷이 담지 않았고,
그 자리를 fact 로 조립한 한 줄("서초구에 있는 …입니다. 체크인 15:00.")이 대신 채워
화면만 보면 생성이 실패한 것처럼 보이지도 않았다.

승인이 안 된 이유는 승인할 화면이 없어서다 — 수집 확인은 07:29 에 끝나는데 소개문은
07:31 에 도착한다. 사장님은 그 화면을 이미 지나간 뒤다.

게이트는 뒤가 아니라 앞에 둔다: 입력이 확인된 fact 뿐이고(근거가 없으면 유료 호출조차
하지 않는다), 근거 없는 FAQ 는 저장되지 않는다. 이미 승인된 사실로 쓴 문장을 한 번 더
승인받는 것은 같은 사실을 두 번 승인하는 일이다.

- fact_service: LLM 출처는 후보가 아니라 노출값으로 앉힌다. API·CRAWL 은 그대로 후보다
- fact_service: 사장님이 고친 문장(CORRECTED)은 LLM 이 못 덮게 잠금을 **명시적으로** 건다.
  지금까지 이 보호는 "자동 출처는 노출값 경로로 못 간다" 는 경로가 대신 해 주고 있었다 —
  LLM 만 경로를 바꾸면 그 보호가 조용히 사라진다(절대규칙 6)
- copy_service: 생성 FAQ 를 VERIFIED 로 저장
- faq_crud: 재생성 대상을 status 가 아니라 generated_by 로 가른다. 생성분이 VERIFIED 로
  들어가면 status 로는 사람이 손댔는지 알 수 없다 — 그대로 뒀다면 재생성이 옛 FAQ 를
  못 내려 같은 질문이 쌓인다. 반려(REJECTED)한 것은 그대로 둔다
- tests: 잡을 하나만 처리하면 지역 이야기 잡에 밀린다 — process_one → drain
- DECISIONS 7절 신설, 6-2 의 "FAQ 에는 넓히지 않는다" 를 결론과 함께 고침. DEVLOG 추가

검증: fact·copy·faq 35 passed(신규 2건 — LLM 문장이 승인 없이 노출값이 되는지 ·
CORRECTED 를 못 덮는지). 전체 577 passed / 8 failed, 8건은 전부 컨테이너 환경변수 유입
(.env 키 · 프론트 소스 부재 · SITE_PUBLIC_HOST)이고 코드 회귀가 아니다.
운영 재기동 후 힐튼으로 재생성: intro status=3 · FAQ 6건 VERIFIED · 옛 7건 EXPIRED 확인

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-09-10 17:03:44 +09:00

323 lines
18 KiB
Python
Raw Blame History

"""facts 도메인 e2e — 생성 / 업데이트(재수집) / 수정 세 프로세스.
이 도메인이 지켜야 하는 것:
생성 : 자동 수집 → 후보 → 사람 승인 → 노출. 미검증은 절대 사이트에 안 나간다
업데이트: ★ 재수집이 노출 중인 사실을 밀어내지 않는다
값이 같으면 검증 유지, 다르면 후보로 쌓이고 사람이 승인해야 교체된다
수정 : 사람이 직접 넣으면 즉시 노출값 교체 + 재빌드 대상 표시
"""
from common.enums import ErrorType, FactStatus, FactWriteOutcome, PlaceCategory, SourceType
OTA = "https://ota.test/room/1"
async def _verified_place(client, headers, category=PlaceCategory.LODGING, kakao="999"):
r = await client.post("/v1/place", headers=headers, json={"name": "테스트업소", "category": category.value})
pid = r.json()["place"]["place_id"]
await client.post(f"/v1/place/{pid}/verify", headers=headers, json={"external_place_id": kakao})
return pid
async def _crawl(client, headers, pid, key, value, source=SourceType.CRAWL):
return (await client.post(f"/v1/place/{pid}/fact", headers=headers, json={
"key": key, "value": value, "source_type": source.value, "source_url": OTA,
})).json()
async def _own(client, headers, pid, key, value):
return (await client.post(f"/v1/place/{pid}/fact", headers=headers, json={
"key": key, "value": value, "source_type": SourceType.OWNER.value,
})).json()
async def _facts(client, headers, pid, **params):
return (await client.get(f"/v1/place/{pid}/fact/list", headers=headers, params=params)).json()
# ── 입력 검증 ────────────────────────────────────────────────────────────
async def test_schema_endpoint_returns_category_fields(auth_headers, client):
"""검증: 숙박 사업장의 fact 스키마 조회.
기대결과: 업종=lodging, 체크인시간이 critical=True 로 내려온다(관리 화면 폼 생성용)."""
h = await auth_headers("u1")
pid = await _verified_place(client, h)
body = (await client.get(f"/v1/place/{pid}/fact/schema", headers=h)).json()
assert body["category"] == "lodging"
check_in = next(f for f in body["fields"] if f["key"] == "check_in_time")
assert check_in["critical"] is True
assert check_in["allow_llm"] is False
async def test_key_outside_category_schema_is_rejected(auth_headers, client):
"""검증: 카페 사업장에 숙박 전용 key(check_in_time)를 기록한다.
기대결과: FACT_INVALID_KEY — 업종에 없는 필드는 저장되지 않는다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, PlaceCategory.CAFE, kakao="c1")
body = await _own(client, h, pid, "check_in_time", "15:00")
assert body["result"]["code"] == ErrorType.FACT_INVALID_KEY.value
async def test_non_owner_source_requires_source_url(auth_headers, client):
"""검증: crawl 출처인데 source_url 없이 기록한다.
기대결과: FACT_SOURCE_REQUIRED — 출처 없는 사실은 받지 않는다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="s1")
r = await client.post(f"/v1/place/{pid}/fact", headers=h, json={
"key": "check_in_time", "value": "15:00", "source_type": SourceType.CRAWL.value})
assert r.json()["result"]["code"] == ErrorType.FACT_SOURCE_REQUIRED.value
async def test_llm_cannot_write_non_sentence_fields(auth_headers, client):
"""검증: LLM 출처로 체크인시간(allow_llm=False)을 기록한다.
기대결과: 거부 — ★ LLM 은 사실을 만들지 않는다. 소개문(intro)에는 쓸 수 있다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="l1")
body = await _crawl(client, h, pid, "check_in_time", "15:00", SourceType.LLM)
assert body["result"]["code"] == ErrorType.FACT_INVALID_KEY.value
body = await _crawl(client, h, pid, "intro", "조용한 숙소입니다.", SourceType.LLM)
assert body["result"]["success"] is True
async def test_llm_sentence_is_published_without_approval(auth_headers, client):
"""검증: LLM 이 소개문(allow_llm)을 기록한다.
기대결과: ★ 후보가 아니라 바로 노출값(VERIFIED) — 2026-09-10 결정.
소개문은 사실이 아니라 이미 승인된 사실로 쓴 문장이라 승인을 두 번 받을 이유가 없다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="l2")
body = await _crawl(client, h, pid, "intro", "조용한 숙소입니다.", SourceType.LLM)
assert body["fact"]["status"] == FactStatus.VERIFIED.value
assert body["outcome"] != FactWriteOutcome.CANDIDATE_CREATED.value
# 사이트 빌드가 보는 집합에 바로 들어간다.
facts = (await client.get(f"/v1/place/{pid}/fact/list", headers=h)).json()
assert facts["publishable"] >= 1
async def test_llm_cannot_overwrite_corrected_sentence(auth_headers, client):
"""검증: 사장님이 고친 소개문(CORRECTED)을 LLM 이 다시 쓴다.
기대결과: 노출값은 사장님 문장 그대로 — ★ 절대규칙 6. 새 문장은 후보로만 남는다.
★ 이 잠금은 지금까지 '자동 출처는 노출값 경로로 못 간다'는 구조가 대신 지켜 줬다.
LLM 만 그 경로를 지나가게 되면서 잠금을 명시적으로 다시 걸어야 했다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="l3")
await _crawl(client, h, pid, "intro", "생성된 첫 문장입니다.", SourceType.LLM)
facts = (await client.get(f"/v1/place/{pid}/fact/list", headers=h)).json()
fact_id = next(f["fact_id"] for f in facts["facts"] if f["key"] == "intro")
r = await client.post(f"/v1/place/{pid}/fact/{fact_id}/transition", headers=h, json={
"status": FactStatus.CORRECTED.value, "value": "사장님이 고친 문장입니다."})
assert r.json()["result"]["success"] is True
body = await _crawl(client, h, pid, "intro", "생성기가 다시 쓴 문장입니다.", SourceType.LLM)
assert body["outcome"] == FactWriteOutcome.CANDIDATE_CREATED.value
facts = (await client.get(f"/v1/place/{pid}/fact/list", headers=h)).json()
published = [f for f in facts["facts"]
if f["key"] == "intro" and f["status"] == FactStatus.CORRECTED.value]
assert published and published[0]["value"] == "사장님이 고친 문장입니다."
# ── 생성 프로세스 ─────────────────────────────────────────────────────────
async def test_crawled_fact_starts_as_candidate_and_is_not_published(auth_headers, client):
"""검증: 크롤링으로 처음 들어온 값.
기대결과: UNVERIFIED 후보로 남고 사이트에 안 나간다 — ★ 절대규칙 1."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="p1")
body = await _crawl(client, h, pid, "check_in_time", "15:00")
assert body["outcome"] == FactWriteOutcome.CANDIDATE_CREATED.value
assert body["fact"]["status"] == FactStatus.UNVERIFIED.value
listed = await _facts(client, h, pid)
assert listed["publishable"] == 0
assert (await _facts(client, h, pid, publishable_only=True)).get("facts", []) == []
async def test_approving_candidate_publishes_it(auth_headers, client):
"""검증: 후보를 VERIFIED 로 승인한다.
기대결과: verified_at 이 찍히고 사이트에 나갈 수 있게 된다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="p2")
fid = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
body = (await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h,
json={"status": FactStatus.VERIFIED.value})).json()
assert body["result"]["success"] is True
assert body["fact"]["status"] == FactStatus.VERIFIED.value
assert body["fact"]["verified_at"] is not None
assert (await _facts(client, h, pid))["publishable"] == 1
async def test_illegal_transition_is_rejected(auth_headers, client):
"""검증: UNVERIFIED → CORRECTED 처럼 전이표에 없는 이동.
기대결과: FACT_INVALID_TRANSITION — 확인을 건너뛴 '정정본'은 만들 수 없다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="p3")
fid = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
r = await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h,
json={"status": FactStatus.CORRECTED.value, "value": "16:00"})
assert r.json()["result"]["code"] == ErrorType.FACT_INVALID_TRANSITION.value
# ── 업데이트(재수집) 프로세스 ★ ───────────────────────────────────────────
async def test_recrawl_same_value_keeps_verification(auth_headers, client):
"""검증: 확인된 값과 똑같은 값을 재수집한다.
기대결과: REFRESHED — 검증이 유지되고 사이트에서 사실이 사라지지 않는다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="r1")
fid = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h, json={"status": FactStatus.VERIFIED.value})
assert (await _facts(client, h, pid))["publishable"] == 1
body = await _crawl(client, h, pid, "check_in_time", "15:00")
assert body["outcome"] == FactWriteOutcome.REFRESHED.value
assert body["fact"]["status"] == FactStatus.VERIFIED.value
assert (await _facts(client, h, pid))["publishable"] == 1, "★ 재수집이 검증을 초기화하면 안 된다"
async def test_recrawl_changed_value_keeps_site_and_queues_candidate(auth_headers, client):
"""검증: 확인된 값과 다른 값을 재수집한다(OTA 가 바뀐 경우).
기대결과: ★ 노출값은 그대로 살아 있고, 새 값은 PENDING_OWNER 후보로만 쌓인다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="r2")
fid = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h, json={"status": FactStatus.VERIFIED.value})
body = await _crawl(client, h, pid, "check_in_time", "16:00")
assert body["outcome"] == FactWriteOutcome.CANDIDATE_CREATED.value
assert body["fact"]["status"] == FactStatus.PENDING_OWNER.value
listed = await _facts(client, h, pid)
assert listed["publishable"] == 1, "★ 재수집 중에도 사이트에는 확인된 값이 계속 나가야 한다"
assert listed["pending_review"] == 1
published = (await _facts(client, h, pid, publishable_only=True))["facts"]
assert published[0]["value"] == "15:00"
async def test_approving_candidate_replaces_published_value(auth_headers, client):
"""검증: 쌓인 후보를 사람이 승인한다(업데이트의 마지막 단계).
기대결과: 후보가 노출값이 되고 옛 값은 EXPIRED 이력으로 내려간다. 노출값은 여전히 1건."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="r3")
old = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
await client.post(f"/v1/place/{pid}/fact/{old}/transition", headers=h, json={"status": FactStatus.VERIFIED.value})
new = (await _crawl(client, h, pid, "check_in_time", "16:00"))["fact"]["fact_id"]
body = (await client.post(f"/v1/place/{pid}/fact/{new}/transition", headers=h,
json={"status": FactStatus.VERIFIED.value})).json()
assert body["result"]["success"] is True
assert body["outcome"] == FactWriteOutcome.PUBLISHED_REPLACED.value
published = (await _facts(client, h, pid, publishable_only=True))["facts"]
assert len(published) == 1 and published[0]["value"] == "16:00"
assert (await _facts(client, h, pid))["pending_review"] == 0
async def test_repeated_recrawl_does_not_pile_up_candidates(auth_headers, client):
"""검증: 같은 출처로 재수집을 세 번 반복한다.
기대결과: 후보가 쌓이지 않고 하나가 갱신된다(사람 확인 큐가 중복으로 넘치지 않게)."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="r4")
fid = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h, json={"status": FactStatus.VERIFIED.value})
await _crawl(client, h, pid, "check_in_time", "16:00")
body = await _crawl(client, h, pid, "check_in_time", "17:00")
assert body["outcome"] == FactWriteOutcome.CANDIDATE_UPDATED.value
listed = await _facts(client, h, pid)
assert listed["pending_review"] == 1
candidate = next(f for f in listed["facts"] if f["status"] == FactStatus.PENDING_OWNER.value)
assert candidate["value"] == "17:00"
async def test_recrawl_cannot_overwrite_corrected_value(auth_headers, client):
"""검증: 사람이 정정한 값(CORRECTED)에 다른 값이 재수집된다.
기대결과: ★ 노출값은 정정본 그대로. 크롤링 값은 버려지지 않고 후보로 남아 불일치가 보인다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="r5")
fid = (await _crawl(client, h, pid, "check_in_time", "15:00"))["fact"]["fact_id"]
await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h, json={"status": FactStatus.VERIFIED.value})
await client.post(f"/v1/place/{pid}/fact/{fid}/transition", headers=h,
json={"status": FactStatus.CORRECTED.value, "value": "16:00"})
body = await _crawl(client, h, pid, "check_in_time", "15:00")
assert body["result"]["success"] is True
assert body["fact"]["status"] == FactStatus.PENDING_OWNER.value
published = (await _facts(client, h, pid, publishable_only=True))["facts"]
assert len(published) == 1
assert published[0]["value"] == "16:00", "★ 자동 수집이 사람 정정본을 덮어쓰면 안 된다"
assert published[0]["status"] == FactStatus.CORRECTED.value
# OTA 가 아직 15:00 이라는 사실은 후보로 남아 있어야 한다(신호를 버리지 않는다).
assert (await _facts(client, h, pid))["pending_review"] == 1
# ── 수정 프로세스 ────────────────────────────────────────────────────────
async def test_owner_input_publishes_immediately(auth_headers, client):
"""검증: 사람이 직접 값을 넣는다.
기대결과: 즉시 노출값이 된다 — 넣은 사람이 곧 출처이자 책임 주체다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="o1")
body = await _own(client, h, pid, "check_in_time", "15:00")
assert body["outcome"] == FactWriteOutcome.PUBLISHED_CREATED.value
assert body["fact"]["status"] == FactStatus.VERIFIED.value
assert (await _facts(client, h, pid))["publishable"] == 1
async def test_owner_can_overwrite_own_value(auth_headers, client):
"""검증: 사람이 자기가 넣은 값을 다시 고친다.
기대결과: 노출값이 교체되고(PUBLISHED_REPLACED) 옛 값은 이력으로 내려간다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="o2")
await _own(client, h, pid, "check_in_time", "15:00")
body = await _own(client, h, pid, "check_in_time", "17:00")
assert body["outcome"] == FactWriteOutcome.PUBLISHED_REPLACED.value
published = (await _facts(client, h, pid, publishable_only=True))["facts"]
assert len(published) == 1 and published[0]["value"] == "17:00"
async def test_publishing_marks_place_for_rebuild(auth_headers, client):
"""검증: 노출값이 바뀐 뒤 사업장의 content_updated_at.
기대결과: 값이 찍힌다 — ★ 이 사업장만 재빌드하면 된다는 표시(전체 재빌드 금지)."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="o3")
assert (await client.get(f"/v1/place/{pid}", headers=h)).json()["place"].get("content_updated_at") is None
await _own(client, h, pid, "check_in_time", "15:00")
place = (await client.get(f"/v1/place/{pid}", headers=h)).json()["place"]
assert place["content_updated_at"] is not None
async def test_crawl_only_does_not_mark_rebuild(auth_headers, client):
"""검증: 크롤링이 후보만 쌓았을 때 재빌드 표시.
기대결과: 안 찍힌다 — 사이트에 나가는 내용이 안 바뀌었으니 재빌드가 필요 없다."""
h = await auth_headers("u1")
pid = await _verified_place(client, h, kakao="o4")
await _crawl(client, h, pid, "check_in_time", "15:00")
place = (await client.get(f"/v1/place/{pid}", headers=h)).json()["place"]
assert place.get("content_updated_at") is None
async def test_facts_are_scoped_to_owner(auth_headers, client):
"""검증: 다른 사장님 계정으로 남의 사업장 fact 를 조회한다.
기대결과: PLACE_NOT_FOUND — 사업장이 안 보이니 fact 도 안 보인다."""
h1 = await auth_headers("o1")
pid = await _verified_place(client, h1, kakao="p6")
h2 = await auth_headers("o2")
r = await client.get(f"/v1/place/{pid}/fact/list", headers=h2)
assert r.json()["result"]["code"] == ErrorType.PLACE_NOT_FOUND.value
Reference in New Issue View Git Blame Copy Permalink