hbyang
4d5a77453b
실측(2026-09-10, 힐튼 가든 인 서울 강남): 로그는 `[copy] 소개문 O` 이고 DB 에도 문장이
있는데 발행본의 소개는 빈칸이었다. status=1(UNVERIFIED) 이라 스냅샷이 담지 않았고,
그 자리를 fact 로 조립한 한 줄("서초구에 있는 …입니다. 체크인 15:00.")이 대신 채워
화면만 보면 생성이 실패한 것처럼 보이지도 않았다.
승인이 안 된 이유는 승인할 화면이 없어서다 — 수집 확인은 07:29 에 끝나는데 소개문은
07:31 에 도착한다. 사장님은 그 화면을 이미 지나간 뒤다.
게이트는 뒤가 아니라 앞에 둔다: 입력이 확인된 fact 뿐이고(근거가 없으면 유료 호출조차
하지 않는다), 근거 없는 FAQ 는 저장되지 않는다. 이미 승인된 사실로 쓴 문장을 한 번 더
승인받는 것은 같은 사실을 두 번 승인하는 일이다.
- fact_service: LLM 출처는 후보가 아니라 노출값으로 앉힌다. API·CRAWL 은 그대로 후보다
- fact_service: 사장님이 고친 문장(CORRECTED)은 LLM 이 못 덮게 잠금을 **명시적으로** 건다.
지금까지 이 보호는 "자동 출처는 노출값 경로로 못 간다" 는 경로가 대신 해 주고 있었다 —
LLM 만 경로를 바꾸면 그 보호가 조용히 사라진다(절대규칙 6)
- copy_service: 생성 FAQ 를 VERIFIED 로 저장
- faq_crud: 재생성 대상을 status 가 아니라 generated_by 로 가른다. 생성분이 VERIFIED 로
들어가면 status 로는 사람이 손댔는지 알 수 없다 — 그대로 뒀다면 재생성이 옛 FAQ 를
못 내려 같은 질문이 쌓인다. 반려(REJECTED)한 것은 그대로 둔다
- tests: 잡을 하나만 처리하면 지역 이야기 잡에 밀린다 — process_one → drain
- DECISIONS 7절 신설, 6-2 의 "FAQ 에는 넓히지 않는다" 를 결론과 함께 고침. DEVLOG 추가
검증: fact·copy·faq 35 passed(신규 2건 — LLM 문장이 승인 없이 노출값이 되는지 ·
CORRECTED 를 못 덮는지). 전체 577 passed / 8 failed, 8건은 전부 컨테이너 환경변수 유입
(.env 키 · 프론트 소스 부재 · SITE_PUBLIC_HOST)이고 코드 회귀가 아니다.
운영 재기동 후 힐튼으로 재생성: intro status=3 · FAQ 6건 VERIFIED · 옛 7건 EXPIRED 확인
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
179 lines
9.4 KiB
Python
179 lines
9.4 KiB
Python
"""FAQ 조회·승인 e2e.
|
|
|
|
이 도메인이 지켜야 하는 것:
|
|
- LLM 이 만든 FAQ 는 ★ 사람이 승인하기 전엔 사이트에 안 나간다(FAQPage JSON-LD 에도 안 실린다)
|
|
- 상태 전이는 fact 와 같은 표(FACT_STATUS_TRANSITIONS)만 따른다
|
|
- 고쳐서 승인한 FAQ(CORRECTED)는 잠긴다 — 재생성이 사장님 문구를 덮어쓰지 못한다
|
|
- 사장님이 직접 쓴 FAQ 는 바로 노출값이다(사람이 곧 출처)
|
|
"""
|
|
import uuid
|
|
|
|
from sqlalchemy import text
|
|
|
|
from common.enums import ErrorType, FactStatus, SourceType
|
|
|
|
|
|
async def _place(client, headers, name="FAQ펜션"):
|
|
r = await client.post("/v1/place", headers=headers, json={"name": name, "category": 1})
|
|
return r.json()["place"]["place_id"]
|
|
|
|
|
|
async def _seed_generated_faq(db_engine, pid, question="체크인은 몇 시인가요?", answer="15시입니다.", order=0):
|
|
"""LLM 출처 · UNVERIFIED 인 FAQ 한 건.
|
|
|
|
★ 2026-09-10 부터 COPY 잡은 VERIFIED 로 넣는다. 이 상태는 그 전에 생성된 행과
|
|
사장님이 반려·정정을 거치며 지나가는 자리다 — 상태 의미는 그대로 지켜져야 하므로 남긴다."""
|
|
fid = uuid.uuid4()
|
|
async with db_engine.begin() as conn:
|
|
await conn.execute(
|
|
text("INSERT INTO place_faqs (faq_id, place_id, question, answer, source_fact_ids, generated_by, status, sort_order) "
|
|
"VALUES (:f, :p, :q, :a, CAST(:k AS jsonb), :g, :st, :o)"),
|
|
{"f": fid, "p": uuid.UUID(pid), "q": question, "a": answer, "k": '["check_in_time"]',
|
|
"g": SourceType.LLM.value, "st": FactStatus.UNVERIFIED.value, "o": order},
|
|
)
|
|
return str(fid)
|
|
|
|
|
|
async def _list(client, headers, pid, **params):
|
|
return (await client.get(f"/v1/place/{pid}/faq/list", headers=headers, params=params)).json()
|
|
|
|
|
|
async def _transition(client, headers, pid, fid, body):
|
|
return (await client.post(f"/v1/place/{pid}/faq/{fid}/transition", headers=headers, json=body)).json()
|
|
|
|
|
|
# ── 조회 ─────────────────────────────────────────────────────────────────
|
|
async def test_generated_faq_is_pending_and_not_publishable(auth_headers, client, db_engine):
|
|
"""검증: LLM 이 만든 UNVERIFIED FAQ 를 조회한다.
|
|
기대결과: 목록엔 보이되 publishable=0 — ★ 승인 전에는 사이트에 나가지 않는다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
await _seed_generated_faq(db_engine, pid)
|
|
|
|
body = await _list(client, h, pid)
|
|
assert len(body["faqs"]) == 1
|
|
assert body["faqs"][0]["status"] == FactStatus.UNVERIFIED.value
|
|
assert body["publishable"] == 0
|
|
assert body["pending_review"] == 1
|
|
# 사이트 빌드가 보는 것과 같은 집합 — 승인 전에는 비어 있어야 한다.
|
|
assert (await _list(client, h, pid, publishable_only=True)).get("faqs", []) == []
|
|
|
|
|
|
async def test_other_owner_cannot_read_or_touch_faq(auth_headers, client, db_engine):
|
|
"""검증: 남의 사용자가 place_id 를 알아내 FAQ 를 조회·전이한다.
|
|
기대결과: PLACE_NOT_FOUND — 존재 여부조차 알려주지 않는다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
fid = await _seed_generated_faq(db_engine, pid)
|
|
|
|
other = await auth_headers("u2")
|
|
assert (await _list(client, other, pid))["result"]["code"] == ErrorType.PLACE_NOT_FOUND.value
|
|
body = await _transition(client, other, pid, fid, {"status": FactStatus.VERIFIED.value})
|
|
assert body["result"]["code"] == ErrorType.PLACE_NOT_FOUND.value
|
|
|
|
|
|
# ── 승인 ─────────────────────────────────────────────────────────────────
|
|
async def test_approving_faq_makes_it_publishable(auth_headers, client, db_engine):
|
|
"""검증: UNVERIFIED FAQ 를 VERIFIED 로 승인한다.
|
|
기대결과: 노출 가능해지고 사업장이 재빌드 대상으로 찍힌다(FAQPage 가 바뀌므로)."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
fid = await _seed_generated_faq(db_engine, pid)
|
|
|
|
body = await _transition(client, h, pid, fid, {"status": FactStatus.VERIFIED.value})
|
|
assert body["result"]["success"] is True
|
|
assert body["faq"]["status"] == FactStatus.VERIFIED.value
|
|
assert (await _list(client, h, pid))["publishable"] == 1
|
|
place = (await client.get(f"/v1/place/{pid}", headers=h)).json()["place"]
|
|
assert place["content_updated_at"] is not None
|
|
|
|
|
|
async def test_illegal_transition_is_rejected(auth_headers, client, db_engine):
|
|
"""검증: UNVERIFIED → CORRECTED 처럼 전이표에 없는 이동.
|
|
기대결과: FACT_INVALID_TRANSITION — 확인을 건너뛴 '정정본'은 만들 수 없다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
fid = await _seed_generated_faq(db_engine, pid)
|
|
|
|
body = await _transition(client, h, pid, fid, {"status": FactStatus.CORRECTED.value, "answer": "15:00 입니다."})
|
|
assert body["result"]["code"] == ErrorType.FACT_INVALID_TRANSITION.value
|
|
|
|
|
|
async def test_correction_requires_new_text(auth_headers, client, db_engine):
|
|
"""검증: 고친 문구 없이 CORRECTED 로 보낸다.
|
|
기대결과: INVALID_REQUEST_DATA — 고친 게 없으면 그건 정정이 아니라 승인(VERIFIED)이다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
fid = await _seed_generated_faq(db_engine, pid)
|
|
await _transition(client, h, pid, fid, {"status": FactStatus.VERIFIED.value})
|
|
|
|
body = await _transition(client, h, pid, fid, {"status": FactStatus.CORRECTED.value})
|
|
assert body["result"]["code"] == ErrorType.INVALID_REQUEST_DATA.value
|
|
|
|
|
|
async def test_corrected_faq_is_locked_against_regeneration(auth_headers, client, db_engine):
|
|
"""검증: 사장님이 문구를 고쳐 승인(CORRECTED)한 뒤 COPY 잡이 재생성을 돌린다.
|
|
기대결과: 고친 문구가 그대로 남는다 — ★ 자동 생성이 사람의 판단을 덮어쓰지 않는다."""
|
|
from common.database.db_session_manager import DB_SESSION_MNG
|
|
from common.database.model.models import place_faqs
|
|
from common.utils.gtime import GTime
|
|
from crud.faq_crud import FaqCRUD
|
|
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
fid = await _seed_generated_faq(db_engine, pid)
|
|
await _transition(client, h, pid, fid, {"status": FactStatus.VERIFIED.value})
|
|
|
|
body = await _transition(client, h, pid, fid, {"status": FactStatus.CORRECTED.value, "answer": "15시 이후 입실입니다."})
|
|
assert body["faq"]["status"] == FactStatus.CORRECTED.value
|
|
assert body["faq"]["answer"] == "15시 이후 입실입니다."
|
|
# 문장의 책임 주체가 사람으로 넘어왔다는 기록.
|
|
assert body["faq"]["generated_by"] == SourceType.OWNER.value
|
|
|
|
# 재생성이 미확인 FAQ 를 내리는 단계(COPY 잡이 실제로 부르는 그 함수).
|
|
await DB_SESSION_MNG.execute_lambda_claim(
|
|
place_faqs.DBType(),
|
|
lambda s: FaqCRUD().expire_generated(s, uuid.UUID(pid), GTime.UTC()),
|
|
)
|
|
after = await _list(client, h, pid, publishable_only=True)
|
|
assert [f["answer"] for f in after["faqs"]] == ["15시 이후 입실입니다."]
|
|
|
|
|
|
# ── 직접 추가 ────────────────────────────────────────────────────────────
|
|
async def test_owner_written_faq_is_published_immediately(auth_headers, client):
|
|
"""검증: 사장님이 FAQ 를 직접 쓴다.
|
|
기대결과: 바로 노출값(VERIFIED) + 출처는 서버가 OWNER 로 고정 — 사람이 곧 출처다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
|
|
body = (await client.post(f"/v1/place/{pid}/faq", headers=h,
|
|
json={"question": "주차 되나요?", "answer": "무료 주차 가능합니다."})).json()
|
|
assert body["faq"]["status"] == FactStatus.VERIFIED.value
|
|
assert body["faq"]["generated_by"] == SourceType.OWNER.value
|
|
assert body["faq"]["sort_order"] == 0
|
|
assert (await _list(client, h, pid))["publishable"] == 1
|
|
|
|
|
|
async def test_owner_faq_appends_after_existing_ones(auth_headers, client, db_engine):
|
|
"""검증: 이미 FAQ 가 있는 사업장에 순서 없이 추가한다.
|
|
기대결과: 맨 뒤에 붙는다 — 기존 FAQ 순서를 흔들지 않는다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
await _seed_generated_faq(db_engine, pid, order=0)
|
|
await _seed_generated_faq(db_engine, pid, question="와이파이 되나요?", answer="됩니다.", order=1)
|
|
|
|
body = (await client.post(f"/v1/place/{pid}/faq", headers=h,
|
|
json={"question": "주차 되나요?", "answer": "무료 주차 가능합니다."})).json()
|
|
assert body["faq"]["sort_order"] == 2
|
|
|
|
|
|
async def test_blank_faq_is_rejected(auth_headers, client):
|
|
"""검증: 공백만 있는 질문으로 FAQ 를 추가한다.
|
|
기대결과: INVALID_REQUEST_DATA — 빈 문답은 렌더도 안 되고 고유 콘텐츠로도 안 세진다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place(client, h)
|
|
|
|
body = (await client.post(f"/v1/place/{pid}/faq", headers=h,
|
|
json={"question": " ", "answer": "무료 주차 가능합니다."})).json()
|
|
assert body["result"]["code"] == ErrorType.INVALID_REQUEST_DATA.value
|