실측(2026-09-10, 힐튼 가든 인 서울 강남): 로그는 `[copy] 소개문 O` 이고 DB 에도 문장이
있는데 발행본의 소개는 빈칸이었다. status=1(UNVERIFIED) 이라 스냅샷이 담지 않았고,
그 자리를 fact 로 조립한 한 줄("서초구에 있는 …입니다. 체크인 15:00.")이 대신 채워
화면만 보면 생성이 실패한 것처럼 보이지도 않았다.
승인이 안 된 이유는 승인할 화면이 없어서다 — 수집 확인은 07:29 에 끝나는데 소개문은
07:31 에 도착한다. 사장님은 그 화면을 이미 지나간 뒤다.
게이트는 뒤가 아니라 앞에 둔다: 입력이 확인된 fact 뿐이고(근거가 없으면 유료 호출조차
하지 않는다), 근거 없는 FAQ 는 저장되지 않는다. 이미 승인된 사실로 쓴 문장을 한 번 더
승인받는 것은 같은 사실을 두 번 승인하는 일이다.
- fact_service: LLM 출처는 후보가 아니라 노출값으로 앉힌다. API·CRAWL 은 그대로 후보다
- fact_service: 사장님이 고친 문장(CORRECTED)은 LLM 이 못 덮게 잠금을 **명시적으로** 건다.
지금까지 이 보호는 "자동 출처는 노출값 경로로 못 간다" 는 경로가 대신 해 주고 있었다 —
LLM 만 경로를 바꾸면 그 보호가 조용히 사라진다(절대규칙 6)
- copy_service: 생성 FAQ 를 VERIFIED 로 저장
- faq_crud: 재생성 대상을 status 가 아니라 generated_by 로 가른다. 생성분이 VERIFIED 로
들어가면 status 로는 사람이 손댔는지 알 수 없다 — 그대로 뒀다면 재생성이 옛 FAQ 를
못 내려 같은 질문이 쌓인다. 반려(REJECTED)한 것은 그대로 둔다
- tests: 잡을 하나만 처리하면 지역 이야기 잡에 밀린다 — process_one → drain
- DECISIONS 7절 신설, 6-2 의 "FAQ 에는 넓히지 않는다" 를 결론과 함께 고침. DEVLOG 추가
검증: fact·copy·faq 35 passed(신규 2건 — LLM 문장이 승인 없이 노출값이 되는지 ·
CORRECTED 를 못 덮는지). 전체 577 passed / 8 failed, 8건은 전부 컨테이너 환경변수 유입
(.env 키 · 프론트 소스 부재 · SITE_PUBLIC_HOST)이고 코드 회귀가 아니다.
운영 재기동 후 힐튼으로 재생성: intro status=3 · FAQ 6건 VERIFIED · 옛 7건 EXPIRED 확인
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
251 lines
12 KiB
Python
251 lines
12 KiB
Python
"""소개문·FAQ 생성 — COPY 잡이 하는 일.
|
|
|
|
★ LLM 은 사실을 만들지 않는다. 문장만 쓴다.
|
|
- 입력은 **확보된 fact(노출 가능한 것)만**. 미검증 값으로 문장을 쓰면 그 문장도 미검증이다.
|
|
- 생성물은 `ground_check` 를 통과한 것만 저장한다(클라이언트가 이미 걸러 보내지만 근거를 다시 요구한다).
|
|
- 소개문·FAQ 는 **바로 노출값**이다(VERIFIED). 승인 단계를 두지 않는다 — 2026-09-10 결정.
|
|
게이트는 앞에 있다: 입력이 확인된 fact 뿐이고, 근거 없는 FAQ 는 저장조차 하지 않는다.
|
|
확인된 사실로 쓴 문장을 한 번 더 승인받게 하면 같은 사실을 두 번 승인하는 셈이고,
|
|
실제로는 그 화면이 닫힌 뒤에 문장이 도착해 발행본이 영영 빈칸이었다
|
|
(근거·실측: services/fact_service.upsert_fact · docs/DECISIONS.md 7절).
|
|
- 사장님이 고친 문장(CORRECTED)은 재생성이 덮지 않는다. 그 잠금은 그대로다.
|
|
"""
|
|
import uuid
|
|
|
|
from common.category_schema import CategorySchemaError, get_schema
|
|
from common.database.db_session_manager import DB_SESSION_MNG
|
|
from common.database.model.models import place_facts, place_faqs, place_channels, places, place_units
|
|
from common.enums import (
|
|
PUBLISHABLE_FACT_STATUSES,
|
|
DBWRType,
|
|
ErrorType,
|
|
FactStatus,
|
|
PlaceCategory,
|
|
SourceType,
|
|
)
|
|
from common.logger import LOG
|
|
from common.models.gmodel import UserInfo
|
|
from common.utils.gtime import GTime
|
|
from config.server_configs import external_api_config
|
|
from crud.fact_crud import FactCRUD
|
|
from crud.faq_crud import FaqCRUD
|
|
from crud.place_crud import PlaceCRUD
|
|
from router.v1.fact.protocol import Req_UpsertFact
|
|
from services import place_research
|
|
from services.external import gemini_text
|
|
from services.fact_service import FactService
|
|
|
|
_fact_crud = FactCRUD()
|
|
_faq_crud = FaqCRUD()
|
|
_place_crud = PlaceCRUD()
|
|
|
|
|
|
class CopyAborted(RuntimeError):
|
|
"""재시도해도 소용없는 중단 — 잡의 last_error 로 남는다."""
|
|
|
|
|
|
async def run_copy(job: dict) -> dict:
|
|
"""COPY 잡 핸들러. payload: {place_id, owner_user_id, requested_by?}"""
|
|
payload = job["payload"]
|
|
place_id = payload["place_id"]
|
|
owner_user_id = payload["owner_user_id"]
|
|
|
|
if not gemini_text.is_configured():
|
|
raise CopyAborted("GEMINI_API_KEY 미설정 — 소개문·FAQ 를 생성할 수 없다")
|
|
|
|
err, place = await DB_SESSION_MNG.execute_lambda(
|
|
places.DBType(),
|
|
DBWRType.DB_READ.value,
|
|
lambda s: _place_crud.get_place(s, uuid.UUID(owner_user_id), uuid.UUID(place_id)),
|
|
)
|
|
if err != ErrorType.SUCCESS or place is None:
|
|
raise CopyAborted(f"사업장을 찾을 수 없다: {place_id}")
|
|
|
|
try:
|
|
schema = get_schema(PlaceCategory(place.category))
|
|
except (CategorySchemaError, ValueError) as ex:
|
|
raise CopyAborted(f"지원하지 않는 업종: {place.category}") from ex
|
|
|
|
# ★ 노출 가능한 fact 만 근거로 준다. 미검증 값으로 쓴 문장은 그 자체가 미검증이다.
|
|
pid = uuid.UUID(place_id)
|
|
f_err, fact_rows = await DB_SESSION_MNG.execute_lambda(
|
|
place_facts.DBType(),
|
|
DBWRType.DB_READ.value,
|
|
lambda s: _fact_crud.list_facts(s, pid, None, None, True, True),
|
|
)
|
|
if f_err != ErrorType.SUCCESS:
|
|
raise CopyAborted(f"fact 조회 실패: {f_err.name}")
|
|
|
|
grounded = [
|
|
gemini_text.FactInput(
|
|
key=r.key,
|
|
label=(schema.get(r.key).label if schema.get(r.key) else r.key),
|
|
value=r.value,
|
|
unit=r.unit,
|
|
)
|
|
for r in fact_rows
|
|
if r.unit_id is None and (r.value or "").strip()
|
|
]
|
|
# ★ 수집 원문도 근거로 넘긴다 — fact 가 아니라 place_channels.raw 에 박제된 글이다.
|
|
#
|
|
# 왜 필요한가: 소개 원문(TourAPI overview·네이버 description)에만 있는 정보가 있다.
|
|
# '전면 통창 실내 온수풀', '판교역에서 3분' 같은 것들인데, 이게 근거에 없으면
|
|
# ground_check 가 그 문장을 전부 반려해 소개문·FAQ 가 앙상해진다.
|
|
#
|
|
# 왜 fact 로 넣지 않는가: `intro` 는 allow_llm=True 라 LLM 의 출력 칸이다.
|
|
# 원문을 그 칸에 넣었더니 457자 원문이 발행본의 '숙소 소개' 를 차지했다(2026-08-31).
|
|
# 근거로만 쓰고 저장은 하지 않는다 — 원문은 화면에 나가지 않는다.
|
|
# ★ 확정 링크만 읽던 것을 **조사 근거까지** 읽게 넓혔다(2026-09-10).
|
|
# 업소 조사(`place_research`)는 남이 쓴 글이라 확정하지 않는다 — 공식 채널이 아니므로
|
|
# 발행본의 sameAs·푸터에 나가면 안 된다. 그런데 그것 때문에 여기서도 안 읽혀서,
|
|
# 조사해 온 재료가 소개문에 한 글자도 닿지 않았다. 확정 여부는 "화면에 채널로
|
|
# 내보낼 것인가" 의 판단이지 "근거로 읽을 것인가" 의 판단이 아니다.
|
|
# ★ 다만 아무 미확정 링크나 읽지는 않는다 — raw.kind 가 research 인 것만이다.
|
|
# 미확정 채널 URL 은 동명 업소일 수 있고(그게 확정 절차의 이유다), 조사 근거는
|
|
# 상호 대조를 통과한 것만 적재된다(`grounding/place_research.parse_items`).
|
|
records: list[str] = []
|
|
l_err, link_rows = await DB_SESSION_MNG.execute_lambda(
|
|
place_channels.DBType(),
|
|
DBWRType.DB_READ.value,
|
|
lambda s: _place_crud.list_links(s, pid, False),
|
|
)
|
|
if l_err == ErrorType.SUCCESS:
|
|
for link in (link_rows or []):
|
|
raw = link.raw if isinstance(link.raw, dict) else {}
|
|
if link.confirmed_at is None and raw.get("kind") != place_research.RAW_KIND:
|
|
continue
|
|
text = (raw.get("text") or "").strip()
|
|
if text:
|
|
# ★ fact 목록이 아니라 records 로 넘긴다. fact 자리에 넣으면 모델이 값 하나로
|
|
# 읽고 거의 쓰지 않는다(prompts/copy.build_prompt 머리주석의 실측).
|
|
records.append(text[:4000])
|
|
# ground_check 는 여전히 이 글을 근거로 인정해야 한다 — 근거 목록에도 남긴다.
|
|
grounded.append(gemini_text.FactInput(
|
|
key=f"source:{link.link_id}", label="수집 원문", value=text[:4000],
|
|
))
|
|
|
|
# 객실·메뉴 요약도 근거로 넘긴다 — "최대 4명" 같은 수치가 통과하려면 근거에 있어야 한다.
|
|
#
|
|
# ★ 근거 없음 판정보다 **먼저** 읽는다.
|
|
# 예전에는 사업장 fact 가 0건이면 여기까지 오지 못하고 되돌아갔다. 그런데 네이버에
|
|
# 요금표만 올라온 모텔은 사업장 fact 가 0건이고 객실 fact 만 있다 — 쓸 근거가 있는데도
|
|
# "근거 없음"으로 끝나 소개문·FAQ 가 영구히 생기지 않았다.
|
|
u_err, unit_rows = await DB_SESSION_MNG.execute_lambda(
|
|
place_units.DBType(),
|
|
DBWRType.DB_READ.value,
|
|
lambda s: _place_crud.list_units(s, pid),
|
|
)
|
|
unit_summaries = []
|
|
if u_err == ErrorType.SUCCESS:
|
|
by_unit: dict = {}
|
|
for r in fact_rows:
|
|
if r.unit_id and (r.value or "").strip():
|
|
by_unit.setdefault(str(r.unit_id), {})[r.key] = r.value
|
|
unit_summaries = [
|
|
{
|
|
"name": u.name,
|
|
"facts": by_unit.get(str(u.unit_id), {}),
|
|
# 스키마 라벨·단위를 같이 넘긴다 — 이게 없으면 프롬프트에 'weekday_price' 라는
|
|
# 날 key 가 그대로 실려 모델이 그 낱말로 문장을 쓴다.
|
|
"labels": {
|
|
key: {
|
|
"label": schema.get(key).label if schema.get(key) else key,
|
|
"unit": schema.get(key).unit if schema.get(key) else None,
|
|
}
|
|
for key in by_unit.get(str(u.unit_id), {})
|
|
},
|
|
}
|
|
for u in unit_rows
|
|
if by_unit.get(str(u.unit_id))
|
|
]
|
|
|
|
if not grounded and not unit_summaries:
|
|
# 근거가 없으면 아무것도 쓰지 않는다 — 유료 호출조차 하지 않는다.
|
|
return {"place_id": place_id, "intro": False, "faqs": 0, "note": "근거로 쓸 확인된 fact 가 없다"}
|
|
|
|
try:
|
|
copy = await gemini_text.generate_copy(
|
|
place.name,
|
|
PlaceCategory(place.category),
|
|
grounded,
|
|
unit_summaries=unit_summaries or None,
|
|
records=records or None,
|
|
model=external_api_config.gemini_text_model,
|
|
)
|
|
except gemini_text.GeminiNotConfigured as ex:
|
|
raise CopyAborted(str(ex)) from ex
|
|
|
|
now = GTime.UTC()
|
|
stat = {
|
|
"place_id": place_id,
|
|
"grounded_facts": len(grounded),
|
|
"intro": False,
|
|
"meta": False,
|
|
"faqs": 0,
|
|
# ★ 반려된 문장을 그대로 남긴다 — 소개문이 왜 안 나왔는지 운영자가 알아야 한다.
|
|
"rejected": [list(r) for r in (copy.rejected or [])][:20],
|
|
}
|
|
|
|
actor = UserInfo(
|
|
# ★ 잡이 쓰는 신원. user_id 는 **사업장 주인**이어야 한다 — FactService 가 이 값으로
|
|
# 사업장을 스코프하고(fact_service._load_place) verified_by 에도 그대로 박는다.
|
|
# 회사를 걷어내기 전에는 스코프가 company_id 였고 여기엔 요청자·검증자·랜덤 uuid 가
|
|
# 순서대로 들어갔다. 그 랜덤 uuid 가 이제는 "남의 사업장" 이 되어 조회가 0건이 된다.
|
|
user_id=owner_user_id,
|
|
id="generator",
|
|
role=1,
|
|
)
|
|
service = FactService(_fact_crud, _place_crud)
|
|
|
|
# 소개문·메타는 fact 로 들어간다 — FactService 가 allow_llm 을 다시 확인하고(뒷문 없음),
|
|
# LLM 출처라 후보가 아니라 노출값으로 앉힌다(upsert_fact 의 LLM 분기).
|
|
for key, text_value in (("intro", copy.intro), ("meta_description", copy.meta_description)):
|
|
if not (text_value or "").strip():
|
|
continue
|
|
if not (schema.get(key) and schema.get(key).allow_llm):
|
|
# 이 업종 스키마가 LLM 작성을 허용하지 않는 필드다. 조용히 건너뛴다.
|
|
continue
|
|
res = await service.upsert_fact(
|
|
actor, place_id,
|
|
Req_UpsertFact(
|
|
key=key, value=text_value.strip(),
|
|
source_type=SourceType.LLM, source_url=f"gemini:{external_api_config.gemini_text_model}",
|
|
),
|
|
)
|
|
if res.result.success:
|
|
stat["intro" if key == "intro" else "meta"] = True
|
|
else:
|
|
stat["rejected"].append([key, res.result.desc])
|
|
|
|
# 확인 안 된 기존 생성 FAQ 는 내리고 새로 넣는다. 사람이 확인한 FAQ 는 건드리지 않는다.
|
|
await DB_SESSION_MNG.execute_lambda_claim(
|
|
place_faqs.DBType(),
|
|
lambda s: _faq_crud.expire_generated(s, pid, now),
|
|
)
|
|
for order, faq in enumerate(copy.faqs or []):
|
|
if not faq.fact_keys:
|
|
# ★ 근거 없는 FAQ 는 저장하지 않는다.
|
|
stat["rejected"].append([faq.question, "근거 fact 없음"])
|
|
continue
|
|
row = place_faqs(
|
|
place_id=pid,
|
|
question=faq.question,
|
|
answer=faq.answer,
|
|
source_fact_ids=list(faq.fact_keys),
|
|
generated_by=SourceType.LLM.value,
|
|
# ★ 바로 노출한다 (2026-09-10 결정 — fact_service.upsert_fact 주석이 근거).
|
|
# 근거 fact 가 없으면 위에서 이미 버렸으므로, 여기 남은 것은 전부 확인된 사실로 쓴 문장이다.
|
|
status=FactStatus.VERIFIED.value,
|
|
sort_order=order,
|
|
)
|
|
run_err = await DB_SESSION_MNG.execute_lambda_run(
|
|
[place_faqs.DBType()],
|
|
[lambda s, r=row: _faq_crud.add_faq(s, r)],
|
|
)
|
|
if run_err == ErrorType.SUCCESS:
|
|
stat["faqs"] += 1
|
|
|
|
LOG.i(f"[copy] place={place_id} 소개문 {'O' if stat['intro'] else 'X'} · FAQ {stat['faqs']}건 · "
|
|
f"반려 {len(stat['rejected'])}건 (근거 fact {len(grounded)}개)")
|
|
return stat
|