0005 가 도메인 스키마를 걷어내고 표 이름을 옮겼는데, 문자열로 표 이름을 들고 있던 자리들이
따라오지 않았다. import 도 타입검사도 pyflakes 도 못 잡는 종류라 전부 **실행되는 순간에만**
터졌고, 그동안 pytest 는 569건이 통째로 죽어 있어 아무것도 못 잡고 있었다.
**init.sql 이 새 DB 를 옛 구조로 세우고 있었다**
64ce467 이 이 파일에 94줄을 더하기만 하고 삭제를 0줄 했다. 그래서 이 파일 한 벌로 세운 DB 는
`place.place_links`·`job.jobs` 를 갖고 ORM 은 `public.place_channels`·`public.jobs` 를 찾는다 —
기동은 정상이고 첫 쿼리에서 죽는다. "init.sql 은 새 DB 를 세우는 전체 DDL 이고 계속 최신을
유지한다"(migrations/README.md)는 계약이 깨져 있었다.
- public 한 벌 · 표 14개로 다시 썼다. 옛 스키마가 있는 DB 에서 다시 돌면 RAISE EXCEPTION 으로
멈춘다 — 그대로 두면 public 에 빈 표가 생기고 0005 가 "relation already exists" 로 실패해
데이터가 옛 스키마에 갇힌다
- 말미에 **마이그레이션 기준선**을 심는다. 없으면 새 DB 에서 migrate.py 가 0001 부터 다시 돌다가
`schema "local" does not exist` 로 죽는다
**운영 버그 둘** — 두 DB(새로 세운 것 · 마이그레이션으로 따라온 것)를 pg_dump 로 찍어 비교해 찾았다
- `upsert_weather` 의 ON CONFLICT 술어에 `kind IS NULL` 이 빠져 **날씨 캐시 저장이 계속 실패**하고
있었다(0007 이 인덱스에 그 조건을 더했다). 캐시라 화면이 안 죽고 로그에만 남았다.
포스트그레스는 술어가 인덱스 술어를 함의하는지 보고 아니면 "no unique or exclusion constraint
matching" 으로 거절한다 — 컬럼도 표도 멀쩡해서 눈으로는 원인이 안 보인다
- ORM 의 `area_contents` 인덱스 정의가 0004·0007·0008 을 하나도 안 따라왔다. 테스트 DB 는 이
모델로 세워지므로 **테스트가 운영과 다른 제약 아래에서 돌고 있었다**
**0009** — 두 DB 비교에서 나온 어긋남 셋(데이터는 안 건드린다)
- `idx_site_contents_site` 가 기존 DB 에만 없었다(0003 이 유니크만 걸었다) — 섹션 조회가 시퀀셜 스캔
- `places.external_place_id` VARCHAR(32) → (64). ORM 은 64 다 — 긴 id 가 잘리면 동일 업소 판정이 틀린다
- RENAME 이 안 따라간 PK 제약 이름 9개(`facts_pkey` → `place_facts_pkey` …)
**테스트를 살린다**
- conftest 의 TRUNCATE 가 표 이름을 **손으로 나열**하고 있었다. 0005 가 이름을 옮기자 전 테스트가
`relation "place_aliases" does not exist` 로 죽었다 — 이제 ORM 메타데이터에서 뽑아 다시 어긋날 수 없다
- `test_schema_ddl` 이 모델 표를 `"None.users"` 로 조회해 **한 표도 비교하지 않고 통과**하고 있었다.
init.sql 이 조용히 어긋난 동안 이 테스트는 초록이었다. 비교한 표 수를 세는 단언을 더한다
- 테스트 SQL 15곳의 옛 표 이름, `_run_worker` 1틱 문제(수집 뒤 따라오는 LOCAL_SYNC 를 집어 가
정작 기다리던 잡이 PENDING 으로 남았다), 지역 캐시 픽스처(읽는 코드가 옳게 거르는데 테스트가 빨개졌다)
**문서**
- `docs/DATA_MODEL.md` 신설 — 표 14개가 무엇을 담고 누가 쓰는지, 값 하나가 DB 에서 페이지까지
가는 길, 두 번 도는 게이트, **DB 에 없는 것**
- `SERVERS.md` DB 절을 마이그레이션 체계로. 배포에 `migrate.py` 를 넣는다 — 코드만 갈면 컨테이너는
정상으로 뜨고 가게 등록·수집·발행만 죽는다
- ARCHITECTURE 2절의 프리렌더 컨테이너가 `solution-frontend` 로 적혀 있었다. 굽는 건
`solution-prerender` 고 전자는 운영에서 뜨지도 않는다 — AGENTS.md 가 함정으로 적어 둔 그 혼동을
문서가 만들고 있었다
- 옛 표 이름 잔재(`place_links`·`local_contents`·`job.jobs`·`company.users`·`fact.facts`·`ai_check_results`)
검증: 빈 컨테이너에 init.sql 로 세운 DB ↔ 마이그레이션으로 따라온 DB 를 `pg_dump --schema-only`
로 비교 — 표·인덱스·제약·컬럼 전부 동일. pytest 583건 중 581 통과(남은 2건은 `.env` 누수·
레이트리밋 카운터로 환경 문제다). 구글 로그인 21건 포함.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
182 lines
9.1 KiB
Python
182 lines
9.1 KiB
Python
"""사진 분석(VISION) — 잡 배선과 ★ 신뢰도 게이트.
|
|
|
|
★ 이 잡이 절대 하면 안 되는 것:
|
|
- 신뢰도 낮은 라벨을 자동 반영하는 것 (사람 확인 큐를 건너뛰는 것)
|
|
- 한 장 실패로 잡 전체를 실패시키는 것
|
|
- 같은 사진을 재분석해 요금을 두 번 내는 것
|
|
"""
|
|
import uuid
|
|
|
|
import pytest
|
|
from sqlalchemy import text
|
|
|
|
from common.enums import ErrorType, JobStatus, JobType, MediaStatus, PlaceCategory, SourceType
|
|
from crud.job_crud import JobQueue
|
|
from services.external import gemini
|
|
from worker.handlers import build_handler
|
|
from worker.runner import Worker
|
|
|
|
|
|
async def _place_with_media(client, h, db_engine, n=3, kakao="v1"):
|
|
pid = (await client.post("/v1/place", headers=h, json={"name": "비전펜션", "category": 1})).json()["place"]["place_id"]
|
|
await client.post(f"/v1/place/{pid}/verify", headers=h, json={"external_place_id": kakao, "source": 1})
|
|
async with db_engine.begin() as c:
|
|
for i in range(n):
|
|
await c.execute(
|
|
text("INSERT INTO place_photos (media_id, place_id, url, origin_url, source_type, status, sort_order) "
|
|
"VALUES (:m, :p, :u, :u, :s, :st, :o)"),
|
|
{"m": uuid.uuid4(), "p": uuid.UUID(pid), "u": f"https://cdn.test/{pid}/{i}.jpg",
|
|
"s": SourceType.CRAWL.value, "st": MediaStatus.PENDING_REVIEW.value, "o": i},
|
|
)
|
|
return pid
|
|
|
|
|
|
async def _media_rows(db_engine, pid):
|
|
async with db_engine.begin() as c:
|
|
return (await c.execute(
|
|
text("SELECT origin_url, label, alt_text, vision_confidence, status FROM place_photos "
|
|
"WHERE place_id = :p ORDER BY sort_order"),
|
|
{"p": uuid.UUID(pid)},
|
|
)).all()
|
|
|
|
|
|
def _fake_analyze(results):
|
|
"""gemini.analyze_images 를 대체 — 실제 API 를 때리지 않는다."""
|
|
async def _fn(images, **kw):
|
|
out = []
|
|
for img in images:
|
|
r = results.get(img.origin_url)
|
|
out.append(r if r else gemini.VisionResult(
|
|
origin_url=img.origin_url, label=None, alt_text=None,
|
|
confidence=0.0, needs_review=True, ok=False, error="no result"))
|
|
return out
|
|
return _fn
|
|
|
|
|
|
async def test_high_confidence_is_auto_applied(auth_headers, client, db_engine, monkeypatch):
|
|
"""검증: 신뢰도 높은 분석 결과.
|
|
기대결과: 라벨·alt 가 반영되고 status 가 APPROVED 로 올라간다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place_with_media(client, h, db_engine, n=2)
|
|
urls = [r[0] for r in await _media_rows(db_engine, pid)]
|
|
|
|
monkeypatch.setattr(gemini, "is_configured", lambda: True)
|
|
monkeypatch.setattr(gemini, "analyze_images", _fake_analyze({
|
|
urls[0]: gemini.VisionResult(urls[0], "A동 침실", "침대와 창문이 있는 객실", 0.93, False, True, None),
|
|
urls[1]: gemini.VisionResult(urls[1], "외관", "2층 건물 외관", 0.88, False, True, None),
|
|
}))
|
|
|
|
job_id = (await client.post(f"/v1/place/{pid}/vision", headers=h, json={})).json()["job_id"]
|
|
await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()
|
|
|
|
job = (await client.get(f"/v1/job/{job_id}", headers=h)).json()["job"]
|
|
assert job["status"] == JobStatus.DONE.value, job.get("last_error")
|
|
assert job["result"]["approved"] == 2
|
|
|
|
rows = await _media_rows(db_engine, pid)
|
|
assert rows[0][1] == "A동 침실" and rows[0][2] == "침대와 창문이 있는 객실"
|
|
assert all(r[4] == MediaStatus.APPROVED.value for r in rows)
|
|
|
|
|
|
async def test_low_confidence_goes_to_review_queue(auth_headers, client, db_engine, monkeypatch):
|
|
"""검증: 신뢰도가 임계값 미만인 결과.
|
|
기대결과: ★ 라벨은 저장되지만 status 는 PENDING_REVIEW 로 남는다 — 자동 반영하지 않는다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place_with_media(client, h, db_engine, n=1, kakao="v2")
|
|
url = (await _media_rows(db_engine, pid))[0][0]
|
|
|
|
monkeypatch.setattr(gemini, "is_configured", lambda: True)
|
|
monkeypatch.setattr(gemini, "analyze_images", _fake_analyze({
|
|
url: gemini.VisionResult(url, "수영장", "물이 있는 공간", 0.31, True, True, None),
|
|
}))
|
|
|
|
job_id = (await client.post(f"/v1/place/{pid}/vision", headers=h, json={})).json()["job_id"]
|
|
await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()
|
|
|
|
job = (await client.get(f"/v1/job/{job_id}", headers=h)).json()["job"]
|
|
assert job["result"]["needs_review"] == 1
|
|
assert job["result"]["approved"] == 0
|
|
|
|
row = (await _media_rows(db_engine, pid))[0]
|
|
assert row[1] == "수영장", "사람이 고칠 재료는 저장돼야 한다"
|
|
assert row[4] == MediaStatus.PENDING_REVIEW.value, "★ 신뢰도 낮은 결과가 자동 승인됐다"
|
|
|
|
|
|
async def test_partial_failure_does_not_fail_the_job(auth_headers, client, db_engine, monkeypatch):
|
|
"""검증: 3장 중 1장만 분석에 실패한다.
|
|
기대결과: 잡은 DONE, 실패한 장만 확인 큐에 남는다 — 한 장이 나머지를 죽이지 않는다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place_with_media(client, h, db_engine, n=3, kakao="v3")
|
|
urls = [r[0] for r in await _media_rows(db_engine, pid)]
|
|
|
|
monkeypatch.setattr(gemini, "is_configured", lambda: True)
|
|
monkeypatch.setattr(gemini, "analyze_images", _fake_analyze({
|
|
urls[0]: gemini.VisionResult(urls[0], "외관", "건물 외관", 0.9, False, True, None),
|
|
urls[1]: gemini.VisionResult(urls[1], None, None, 0.0, True, False, "download failed"),
|
|
urls[2]: gemini.VisionResult(urls[2], "거실", "소파가 있는 거실", 0.85, False, True, None),
|
|
}))
|
|
|
|
job_id = (await client.post(f"/v1/place/{pid}/vision", headers=h, json={})).json()["job_id"]
|
|
await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()
|
|
|
|
job = (await client.get(f"/v1/job/{job_id}", headers=h)).json()["job"]
|
|
assert job["status"] == JobStatus.DONE.value
|
|
assert job["result"]["approved"] == 2
|
|
assert job["result"]["failed"] == 1
|
|
|
|
|
|
async def test_second_run_skips_already_analyzed(auth_headers, client, db_engine, monkeypatch):
|
|
"""검증: 분석이 끝난 사업장에 다시 분석을 건다.
|
|
기대결과: MEDIA_NOT_FOUND — 같은 사진 재분석은 요금만 나간다. force 로만 다시 돈다."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place_with_media(client, h, db_engine, n=1, kakao="v4")
|
|
url = (await _media_rows(db_engine, pid))[0][0]
|
|
|
|
monkeypatch.setattr(gemini, "is_configured", lambda: True)
|
|
monkeypatch.setattr(gemini, "analyze_images", _fake_analyze({
|
|
url: gemini.VisionResult(url, "외관", "건물 외관", 0.9, False, True, None),
|
|
}))
|
|
await client.post(f"/v1/place/{pid}/vision", headers=h, json={})
|
|
await Worker("w", JobQueue(), build_handler(), job_deadline_sec=30).process_one()
|
|
|
|
r = await client.post(f"/v1/place/{pid}/vision", headers=h, json={})
|
|
assert r.json()["result"]["code"] == ErrorType.MEDIA_NOT_FOUND.value
|
|
|
|
forced = await client.post(f"/v1/place/{pid}/vision", headers=h, json={"force": True})
|
|
assert forced.json()["result"]["success"] is True
|
|
|
|
|
|
async def test_vision_requires_api_key(auth_headers, client, db_engine, monkeypatch):
|
|
"""검증: GEMINI_API_KEY 없이 분석을 건다.
|
|
기대결과: GENERATOR_NOT_CONFIGURED — 잡을 만들지 않는다(만들어봐야 DEAD 로 간다)."""
|
|
h = await auth_headers("u1")
|
|
pid = await _place_with_media(client, h, db_engine, n=1, kakao="v5")
|
|
monkeypatch.setattr(gemini, "is_configured", lambda: False)
|
|
|
|
r = await client.post(f"/v1/place/{pid}/vision", headers=h, json={})
|
|
assert r.json()["result"]["code"] == ErrorType.GENERATOR_NOT_CONFIGURED.value
|
|
|
|
|
|
async def test_collect_chains_vision_job(auth_headers, client, monkeypatch):
|
|
"""검증: 수집이 사진을 저장하면 사진 분석 잡이 이어서 걸리는가.
|
|
기대결과: 수집 잡 result 에 vision_job_id 가 담기고 그 잡이 큐에 있다 — 파이프라인이 안 끊긴다."""
|
|
from services.collector import MockAdapter
|
|
|
|
monkeypatch.setattr(gemini, "is_configured", lambda: True)
|
|
h = await auth_headers("u1")
|
|
pid = (await client.post("/v1/place", headers=h, json={"name": "체인펜션", "category": 1})).json()["place"]["place_id"]
|
|
await client.post(f"/v1/place/{pid}/verify", headers=h, json={"external_place_id": "v6", "source": 1})
|
|
url = MockAdapter.url_for(PlaceCategory.LODGING, pid, channel="naver_place")
|
|
lid = (await client.post(f"/v1/place/{pid}/link", headers=h, json={"channel": 3, "url": url})).json()["link"]["link_id"]
|
|
await client.post(f"/v1/place/{pid}/link/{lid}/confirm", headers=h)
|
|
|
|
job_id = (await client.post(f"/v1/place/{pid}/collect", headers=h, json={})).json()["job_id"]
|
|
await Worker("w", JobQueue(), build_handler(), job_deadline_sec=120).process_one()
|
|
|
|
job = (await client.get(f"/v1/job/{job_id}", headers=h)).json()["job"]
|
|
vision_id = job["result"].get("vision_job_id")
|
|
assert vision_id, "사진을 저장했는데 분석 잡이 안 걸렸다"
|
|
chained = await JobQueue().get(vision_id)
|
|
assert chained["job_type"] == JobType.VISION.value
|
|
assert chained["status"] == JobStatus.PENDING.value
|