o2o-site-AEO/backend/tests/test_copy_api.py

"""소개문·FAQ 생성 — ★ LLM 은 사실을 만들지 않는다.

이 잡이 절대 하면 안 되는 것:
  - 미검증 fact 를 근거로 문장을 쓰는 것 (그 문장도 미검증이 된다)
  - 근거 없이 생성하는 것 (그게 환각이다)
  - 생성물을 바로 사이트에 노출하는 것 (사람 승인이 있어야 한다)
  - 사람이 확인한 FAQ 를 재생성이 덮어쓰는 것
"""
import uuid

from sqlalchemy import text

from common.enums import ErrorType, FactStatus, JobStatus, SourceType
from crud.job_crud import JobQueue
from services.external import gemini_text
from worker.handlers import build_handler
from worker.runner import Worker


def _copy(intro="조용한 숙소입니다.", faqs=None, rejected=None):
    return gemini_text.GeneratedCopy(
        intro=intro,
        intro_fact_keys=["check_in_time"],
        meta_description="양양 하조대 펜션",
        faqs=faqs if faqs is not None else [
            gemini_text.GeneratedFaq("체크인은 몇 시인가요?", "15시입니다.", ["check_in_time"]),
        ],
        rejected=rejected or [],
    )


def _patch(monkeypatch, copy):
    monkeypatch.setattr(gemini_text, "is_configured", lambda: True)

    async def _gen(place_name, category, facts, **kw):
        return copy

    monkeypatch.setattr(gemini_text, "generate_copy", _gen)


async def _place_with_facts(client, h, n_verified=5):
    pid = (await client.post("/v1/place", headers=h, json={"name": "카피펜션", "category": 1})).json()["place"]["place_id"]
    await client.post(f"/v1/place/{pid}/verify", headers=h, json={"source": 2, "road_address": f"주소{uuid.uuid4().hex[:6]}"})
    keys = ["check_in_time", "check_out_time", "cancel_policy", "cooking_allowed", "pet_allowed"][:n_verified]
    for k in keys:
        await client.post(f"/v1/place/{pid}/fact", headers=h, json={"key": k, "value": "15:00"})
    return pid


async def _faq_rows(db_engine, pid):
    async with db_engine.begin() as c:
        return (await c.execute(
            text("SELECT question, answer, source_fact_ids, status FROM faqs WHERE place_id = :p ORDER BY sort_order"),
            {"p": uuid.UUID(pid)},
        )).all()


async def test_copy_generates_intro_and_faq_as_candidates(auth_headers, client, db_engine, monkeypatch):
    """검증: 소개문·FAQ 를 생성한다.
    기대결과: 생성되지만 ★ 전부 미검증 — 사람이 승인해야 사이트에 나간다."""
    _patch(monkeypatch, _copy())
    h = await auth_headers("u1")
    pid = await _place_with_facts(client, h)

    body = (await client.post(f"/v1/place/{pid}/copy", headers=h, json={})).json()
    assert body["result"]["success"] is True
    assert body["grounded_facts"] == 5

    await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()
    job = (await client.get(f"/v1/job/{body['job_id']}", headers=h)).json()["job"]
    assert job["status"] == JobStatus.DONE.value, job.get("last_error")
    assert job["result"]["intro"] is True
    assert job["result"]["faqs"] == 1

    rows = await _faq_rows(db_engine, pid)
    assert rows[0][3] == FactStatus.UNVERIFIED.value, "★ 생성된 FAQ 가 바로 노출 상태면 안 된다"
    assert rows[0][2] == ["check_in_time"], "근거 fact 가 기록돼야 한다"

    # 소개문도 fact 로 들어가되 미검증 후보다
    facts = (await client.get(f"/v1/place/{pid}/fact/list", headers=h)).json()
    intro = [f for f in facts["facts"] if f["key"] == "intro"]
    assert intro and intro[0]["status"] == FactStatus.UNVERIFIED.value
    assert intro[0]["source_type"] == SourceType.LLM.value


async def test_copy_refuses_without_verified_facts(auth_headers, client, monkeypatch):
    """검증: 확인된 fact 가 하나도 없는 사업장에서 생성을 시도한다.
    기대결과: FAQ_UNGROUNDED — ★ 잡을 만들지 않는다. 근거 없이 쓰면 환각이고 유료 호출만 낭비다."""
    monkeypatch.setattr(gemini_text, "is_configured", lambda: True)
    h = await auth_headers("u1")
    pid = (await client.post("/v1/place", headers=h, json={"name": "빈펜션", "category": 1})).json()["place"]["place_id"]
    await client.post(f"/v1/place/{pid}/verify", headers=h, json={"source": 2, "road_address": "빈주소"})

    r = await client.post(f"/v1/place/{pid}/copy", headers=h, json={})
    assert r.json()["result"]["code"] == ErrorType.FAQ_UNGROUNDED.value


async def test_unverified_facts_are_not_used_as_grounding(auth_headers, client, monkeypatch):
    """검증: 크롤링으로 들어온 미검증 fact 만 있는 사업장.
    기대결과: 근거로 안 쳐서 FAQ_UNGROUNDED — 미검증 값으로 쓴 문장도 미검증이다."""
    monkeypatch.setattr(gemini_text, "is_configured", lambda: True)
    h = await auth_headers("u1")
    pid = (await client.post("/v1/place", headers=h, json={"name": "미검증펜션", "category": 1})).json()["place"]["place_id"]
    await client.post(f"/v1/place/{pid}/verify", headers=h, json={"source": 2, "road_address": "미검증주소"})
    await client.post(f"/v1/place/{pid}/fact", headers=h, json={
        "key": "check_in_time", "value": "15:00",
        "source_type": SourceType.CRAWL.value, "source_url": "https://ota.test/1"})

    r = await client.post(f"/v1/place/{pid}/copy", headers=h, json={})
    assert r.json()["result"]["code"] == ErrorType.FAQ_UNGROUNDED.value


async def test_faq_without_grounding_is_dropped(auth_headers, client, db_engine, monkeypatch):
    """검증: 근거 fact 가 비어 있는 FAQ 가 생성물에 섞여 온다.
    기대결과: 저장하지 않고 반려 목록에 남는다."""
    _patch(monkeypatch, _copy(faqs=[
        gemini_text.GeneratedFaq("체크인은?", "15시입니다.", ["check_in_time"]),
        gemini_text.GeneratedFaq("수영장 있나요?", "네 있습니다.", []),
    ]))
    h = await auth_headers("u1")
    pid = await _place_with_facts(client, h)
    job_id = (await client.post(f"/v1/place/{pid}/copy", headers=h, json={})).json()["job_id"]
    await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()

    job = (await client.get(f"/v1/job/{job_id}", headers=h)).json()["job"]
    assert job["result"]["faqs"] == 1
    assert any("수영장" in str(r) for r in job["result"]["rejected"])
    assert len(await _faq_rows(db_engine, pid)) == 1


async def test_rejected_sentences_are_reported(auth_headers, client, monkeypatch):
    """검증: 클라이언트가 반려한 문장이 있다.
    기대결과: 잡 result 에 사유와 함께 실린다 — 소개문이 왜 안 나왔는지 알 수 있어야 한다."""
    _patch(monkeypatch, _copy(intro=None, rejected=[("수영장을 갖추고 있습니다", "fact 에 없는 시설 '수영장'")]))
    h = await auth_headers("u1")
    pid = await _place_with_facts(client, h)
    job_id = (await client.post(f"/v1/place/{pid}/copy", headers=h, json={})).json()["job_id"]
    await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()

    job = (await client.get(f"/v1/job/{job_id}", headers=h)).json()["job"]
    assert job["result"]["intro"] is False
    assert any("수영장" in str(r) for r in job["result"]["rejected"])


async def test_regeneration_keeps_human_approved_faq(auth_headers, client, db_engine, monkeypatch):
    """검증: 사람이 승인한 FAQ 가 있는 상태에서 재생성한다.
    기대결과: ★ 승인된 FAQ 는 남는다 — 재생성이 사람의 판단을 덮어쓰면 안 된다."""
    _patch(monkeypatch, _copy())
    h = await auth_headers("u1")
    pid = await _place_with_facts(client, h)
    await client.post(f"/v1/place/{pid}/copy", headers=h, json={})
    await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()

    # 사람이 승인
    async with db_engine.begin() as c:
        await c.execute(
            text("UPDATE faqs SET status = :s WHERE place_id = :p"),
            {"s": FactStatus.VERIFIED.value, "p": uuid.UUID(pid)},
        )

    _patch(monkeypatch, _copy(faqs=[gemini_text.GeneratedFaq("새 질문?", "새 답변", ["check_in_time"])]))
    await client.post(f"/v1/place/{pid}/copy", headers=h, json={})
    await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()

    rows = await _faq_rows(db_engine, pid)
    approved = [r for r in rows if r[3] == FactStatus.VERIFIED.value]
    assert approved and approved[0][0] == "체크인은 몇 시인가요?", "★ 승인된 FAQ 가 재생성에 밀려났다"


async def test_copy_requires_api_key(auth_headers, client, monkeypatch):
    """검증: GEMINI_API_KEY 없이 생성을 시도한다.
    기대결과: GENERATOR_NOT_CONFIGURED — 잡을 만들지 않는다."""
    monkeypatch.setattr(gemini_text, "is_configured", lambda: False)
    h = await auth_headers("u1")
    pid = await _place_with_facts(client, h)
    r = await client.post(f"/v1/place/{pid}/copy", headers=h, json={})
    assert r.json()["result"]["code"] == ErrorType.GENERATOR_NOT_CONFIGURED.value