소개문이 "군산시에 있는 스테이,머뭄입니다. 주차 가능." 한 줄이었다. 생성기 잘못이 아니라 **쓸 재료가 그것뿐**이었다 — 네이버 플레이스가 준 fact 3건이 전부이고, TourAPI 는 미등록, 예약 페이지와 인스타그램은 robots 가 자동 수집을 금지한다. 그런데 이 업소의 내력 (1925년 적산가옥 · 히로쓰 가옥 후문 옆 · A동 B동 컨셉)은 블로그·기사에 공개돼 있다. 그걸 가져오는 단계가 없었을 뿐이다. ★ 문장을 검색모델에게 시키지 않는다. 재료만 모으고 소개문은 지금처럼 Gemini 가 쓴다 — 소개문을 바로 시키면 그 문장의 근거를 우리가 못 갖고, ground_check 가 전부 반려한다. - services/prompts/place_research.py: 사실 조각을 **출처와 함께** 요구한다. 요금·객실 수· 체크인·취소 규정은 묻지 않는다 — 그건 fact 이고 블로그의 옛값이 섞이면 예약 클레임이다 - services/grounding/place_research.py: 출처 없는 항목은 버린다(story 와 같은 규율) + **상호 대조**를 더한다. 지역 이야기는 틀려도 지역 이야기지만, 업소 조사가 틀리면 남의 가게 이야기가 이 사장님 소개문이 된다 — 이 레포에서 가장 비싼 실수다 - services/place_research.py: 조사 → place_channels.raw 에 근거 적재. **확정하지 않는다** — 남이 쓴 글이라 공식 채널·sameAs 로 나가면 안 된다. 새 표를 만들지 않았다 - copy_service: 확정 링크만 읽던 근거를 raw.kind=research 까지 넓혔다. 확정 여부는 "화면에 채널로 낼 것인가" 의 판단이지 "근거로 읽을 것인가" 의 판단이 아니다 - prompts/copy: 조사 기록을 fact 목록이 아니라 **별도 절**로 준다(fact 자리에 섞으니 모델이 값 하나로 읽고 안 썼다). 소개문 분량 100~250자 → 200~600자·2~3문단 — 옛 길이로는 확인된 사실을 나열하면 끝나 기록이 들어갈 자리가 없었다 - collect_service: 수집이 끝난 **뒤** 조사한다. 앞에 두면 네이버·TourAPI 가 이미 준 것을 다시 묻는 꼴이라 검색 요금이 헛돈다 실측(스테이,머뭄): 조사 8건 채택·0건 버림 → 소개문이 "1925년에 지어진 100년 된 적산가옥을 리노베이션한 숙소 … 히로쓰 가옥 후문 바로 옆" 으로. 발행본 본문 10,798자 → 11,100자. 생성물은 여전히 PENDING_OWNER 로 들어가 사장님이 확인해야 노출된다(절대규칙 1).
128 lines
6.2 KiB
Python
128 lines
6.2 KiB
Python
"""업소 조사 — 소개문을 쓸 **재료**를 공개 웹에서 찾아 근거 자리에 넣는다.
|
|
|
|
프롬프트 services/prompts/place_research.py 무엇을 묻나
|
|
호출 services/llm/perplexity.py HTTP·타임아웃·인증
|
|
믿을 것인가 services/grounding/place_research.py 출처 필수 · 상호 대조
|
|
여기 조사 → 근거 적재 (문장은 쓰지 않는다)
|
|
|
|
★ 이 모듈은 **문장을 쓰지 않는다.** 소개문은 지금처럼 `copy_service`(Gemini)가 쓴다.
|
|
여기가 하는 일은 그 생성기에게 줄 재료를 늘리는 것뿐이다. 왜 나누나 —
|
|
소개문을 검색모델에게 바로 시키면 그 문장의 근거를 우리가 갖지 못하고,
|
|
`ground_check` 가 근거 없는 문장을 전부 반려해 결국 앙상해진다.
|
|
|
|
★ 왜 필요했나 (실측 2026-09-10, 스테이,머뭄)
|
|
근거 fact 9건으로 생성한 소개문은 "군산시에 있는 스테이,머뭄입니다. 주차 가능." 이었다.
|
|
네이버 플레이스 3건 · TourAPI 미등록 · 예약 페이지와 인스타는 robots 금지 — 남은 공개
|
|
출처가 없어서지 생성기 잘못이 아니었다. 그런데 이 업소의 내력(1920년대 고택, 히로쓰 가옥
|
|
옆, 2024년 리모델링, A동·B동)은 블로그·기사에 있다. 그걸 출처와 함께 가져온다.
|
|
|
|
★ 요금은 조사하지 않는다. 블로그의 요금은 대개 옛값이고, 틀리면 예약 클레임이다.
|
|
fact 는 fact 경로(수집·사장님 확인)로만 들어온다 — 이 모듈은 `place_facts` 를 쓰지 않는다.
|
|
|
|
★ 적재 자리: `place_channels.raw` — `copy_service` 가 이미 '수집 원문'을 읽는 그 자리다.
|
|
새 표를 만들지 않는다. 대신 **확정하지 않는다**(`confirmed_at` NULL) — 조사 출처는
|
|
이 업소의 공식 채널이 아니라 남이 쓴 글이다. 발행본의 공식 채널·sameAs 에 나가면 안 된다.
|
|
"""
|
|
import uuid
|
|
|
|
import httpx
|
|
|
|
from common.database.db_session_manager import DB_SESSION_MNG
|
|
from common.database.model.models import place_channels
|
|
from common.enums import ErrorType, LinkChannel, SourceType
|
|
from common.logger import LOG
|
|
from common.utils.gtime import GTime
|
|
from crud.place_crud import PlaceCRUD
|
|
from services.grounding import place_research as grounding
|
|
from services.llm import perplexity
|
|
from services.prompts import place_research as prompts
|
|
|
|
_place_crud = PlaceCRUD()
|
|
|
|
# 검색을 동반해 느리다. 지역 이야기와 같은 값을 쓴다(실측 건당 9~15초).
|
|
_TIMEOUT = 120.0
|
|
|
|
# ★ raw 봉투의 표식. `copy_service` 가 "확정되지 않았지만 근거로는 읽어도 되는 글" 을
|
|
# 이 값으로 가른다. 크롤 원문(확정 채널)과 섞이지 않게 이름을 붙여 둔다.
|
|
RAW_KIND = "research"
|
|
|
|
|
|
def _envelope(items: list[dict]) -> dict:
|
|
"""근거 봉투. text 는 `copy_service` 가 그대로 읽고, sources 는 추적용으로 남긴다.
|
|
|
|
★ 문장 뒤에 출처를 붙여 한 덩어리로 만든다 — 생성기가 문장만 보고 쓰더라도,
|
|
나중에 "이 소개문의 이 대목은 어디서 왔나" 를 raw 만 열어 보면 알 수 있어야 한다.
|
|
"""
|
|
return {
|
|
"kind": RAW_KIND,
|
|
"text": "\n".join(f"- {row['text']} (출처: {row['source']['name']})" for row in items),
|
|
"sources": [row["source"] for row in items],
|
|
"collected_at": GTime.UTC().isoformat(),
|
|
}
|
|
|
|
|
|
async def research_place(place, place_id: str) -> dict:
|
|
"""업소 하나를 조사해 근거를 적재한다. 채택 건수와 버린 이유를 돌려준다.
|
|
|
|
실패는 예외로 올리지 않는다 — 조사가 없어도 발행은 되어야 한다(재료가 적을 뿐이다).
|
|
"""
|
|
name = (getattr(place, "name", None) or "").strip()
|
|
address = (getattr(place, "road_address", None) or getattr(place, "address", None) or "").strip()
|
|
if not name or not address:
|
|
return {"skipped": "상호·주소를 모른다"}
|
|
if not perplexity.is_configured():
|
|
return {"skipped": "PERPLEXITY_API_KEY 미설정"}
|
|
|
|
# 업종 이름은 업종 스키마가 단일 출처다(`common/category_schema`) — 여기에 표를 또 적으면
|
|
# 업종이 늘 때 한쪽만 늘어난다.
|
|
from common.category_schema import get_schema
|
|
|
|
category_label = get_schema(place.category).label
|
|
|
|
body = {
|
|
"model": perplexity.DEFAULT_MODEL,
|
|
"messages": [
|
|
{"role": "system", "content": prompts.SYSTEM_PROMPT},
|
|
{"role": "user", "content": prompts.build_prompt(name, address, category_label)},
|
|
],
|
|
"max_tokens": perplexity.DEFAULT_MAX_TOKENS,
|
|
}
|
|
|
|
try:
|
|
async with httpx.AsyncClient(timeout=_TIMEOUT) as client:
|
|
payload = await perplexity.call(body, client=client)
|
|
except perplexity.PerplexityNotConfigured:
|
|
return {"skipped": "PERPLEXITY_API_KEY 미설정"}
|
|
except perplexity.PerplexityError as ex:
|
|
LOG.w(f"[research] 호출 실패 place={place_id}: {ex}")
|
|
return {"error": str(ex)}
|
|
|
|
items, dropped = grounding.parse_items(payload, name, prompts.MAX_ITEMS)
|
|
LOG.i(f"[research] '{name}' 조사 {len(items)}건 채택, {len(dropped)}건 버림")
|
|
if not items:
|
|
return {"items": 0, "dropped": dropped}
|
|
|
|
# 출처 주소 하나를 대표로 링크에 단다 — 없는 URL 을 만들지 않기 위해 첫 출처를 쓴다.
|
|
url = items[0]["source"]["url"]
|
|
row = place_channels(
|
|
link_id=uuid.uuid4(),
|
|
place_id=uuid.UUID(place_id),
|
|
channel=LinkChannel.ETC.value,
|
|
url=url,
|
|
title=f"{name} 조사 근거",
|
|
discovered_by=SourceType.API.value,
|
|
discovered_at=GTime.UTC(),
|
|
raw=_envelope(items),
|
|
)
|
|
err = await DB_SESSION_MNG.execute_lambda_run(
|
|
[place_channels.DBType()], [lambda s: _place_crud.add_link(s, row)],
|
|
)
|
|
if err != ErrorType.SUCCESS:
|
|
# 이미 같은 URL 이 있으면 raw 만 갱신한다 — 재조사가 행을 늘리면 안 된다.
|
|
await DB_SESSION_MNG.execute_lambda_claim(
|
|
place_channels.DBType(),
|
|
lambda s: _place_crud.set_link_raw(s, uuid.UUID(place_id), url, _envelope(items)),
|
|
)
|
|
|
|
return {"items": len(items), "dropped": dropped, "source": url}
|