0005 가 도메인 스키마를 걷어내고 표 이름을 옮겼는데, 문자열로 표 이름을 들고 있던 자리들이
따라오지 않았다. import 도 타입검사도 pyflakes 도 못 잡는 종류라 전부 **실행되는 순간에만**
터졌고, 그동안 pytest 는 569건이 통째로 죽어 있어 아무것도 못 잡고 있었다.
**init.sql 이 새 DB 를 옛 구조로 세우고 있었다**
64ce467 이 이 파일에 94줄을 더하기만 하고 삭제를 0줄 했다. 그래서 이 파일 한 벌로 세운 DB 는
`place.place_links`·`job.jobs` 를 갖고 ORM 은 `public.place_channels`·`public.jobs` 를 찾는다 —
기동은 정상이고 첫 쿼리에서 죽는다. "init.sql 은 새 DB 를 세우는 전체 DDL 이고 계속 최신을
유지한다"(migrations/README.md)는 계약이 깨져 있었다.
- public 한 벌 · 표 14개로 다시 썼다. 옛 스키마가 있는 DB 에서 다시 돌면 RAISE EXCEPTION 으로
멈춘다 — 그대로 두면 public 에 빈 표가 생기고 0005 가 "relation already exists" 로 실패해
데이터가 옛 스키마에 갇힌다
- 말미에 **마이그레이션 기준선**을 심는다. 없으면 새 DB 에서 migrate.py 가 0001 부터 다시 돌다가
`schema "local" does not exist` 로 죽는다
**운영 버그 둘** — 두 DB(새로 세운 것 · 마이그레이션으로 따라온 것)를 pg_dump 로 찍어 비교해 찾았다
- `upsert_weather` 의 ON CONFLICT 술어에 `kind IS NULL` 이 빠져 **날씨 캐시 저장이 계속 실패**하고
있었다(0007 이 인덱스에 그 조건을 더했다). 캐시라 화면이 안 죽고 로그에만 남았다.
포스트그레스는 술어가 인덱스 술어를 함의하는지 보고 아니면 "no unique or exclusion constraint
matching" 으로 거절한다 — 컬럼도 표도 멀쩡해서 눈으로는 원인이 안 보인다
- ORM 의 `area_contents` 인덱스 정의가 0004·0007·0008 을 하나도 안 따라왔다. 테스트 DB 는 이
모델로 세워지므로 **테스트가 운영과 다른 제약 아래에서 돌고 있었다**
**0009** — 두 DB 비교에서 나온 어긋남 셋(데이터는 안 건드린다)
- `idx_site_contents_site` 가 기존 DB 에만 없었다(0003 이 유니크만 걸었다) — 섹션 조회가 시퀀셜 스캔
- `places.external_place_id` VARCHAR(32) → (64). ORM 은 64 다 — 긴 id 가 잘리면 동일 업소 판정이 틀린다
- RENAME 이 안 따라간 PK 제약 이름 9개(`facts_pkey` → `place_facts_pkey` …)
**테스트를 살린다**
- conftest 의 TRUNCATE 가 표 이름을 **손으로 나열**하고 있었다. 0005 가 이름을 옮기자 전 테스트가
`relation "place_aliases" does not exist` 로 죽었다 — 이제 ORM 메타데이터에서 뽑아 다시 어긋날 수 없다
- `test_schema_ddl` 이 모델 표를 `"None.users"` 로 조회해 **한 표도 비교하지 않고 통과**하고 있었다.
init.sql 이 조용히 어긋난 동안 이 테스트는 초록이었다. 비교한 표 수를 세는 단언을 더한다
- 테스트 SQL 15곳의 옛 표 이름, `_run_worker` 1틱 문제(수집 뒤 따라오는 LOCAL_SYNC 를 집어 가
정작 기다리던 잡이 PENDING 으로 남았다), 지역 캐시 픽스처(읽는 코드가 옳게 거르는데 테스트가 빨개졌다)
**문서**
- `docs/DATA_MODEL.md` 신설 — 표 14개가 무엇을 담고 누가 쓰는지, 값 하나가 DB 에서 페이지까지
가는 길, 두 번 도는 게이트, **DB 에 없는 것**
- `SERVERS.md` DB 절을 마이그레이션 체계로. 배포에 `migrate.py` 를 넣는다 — 코드만 갈면 컨테이너는
정상으로 뜨고 가게 등록·수집·발행만 죽는다
- ARCHITECTURE 2절의 프리렌더 컨테이너가 `solution-frontend` 로 적혀 있었다. 굽는 건
`solution-prerender` 고 전자는 운영에서 뜨지도 않는다 — AGENTS.md 가 함정으로 적어 둔 그 혼동을
문서가 만들고 있었다
- 옛 표 이름 잔재(`place_links`·`local_contents`·`job.jobs`·`company.users`·`fact.facts`·`ai_check_results`)
검증: 빈 컨테이너에 init.sql 로 세운 DB ↔ 마이그레이션으로 따라온 DB 를 `pg_dump --schema-only`
로 비교 — 표·인덱스·제약·컬럼 전부 동일. pytest 583건 중 581 통과(남은 2건은 `.env` 누수·
레이트리밋 카운터로 환경 문제다). 구글 로그인 21건 포함.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
122 lines
5.9 KiB
Python
122 lines
5.9 KiB
Python
from sqlalchemy import and_, select, update
|
|
from sqlalchemy.dialects.postgresql import insert as pg_insert
|
|
|
|
from common.database.db_session_manager import DB_SESSION_MNG
|
|
from common.database.model.models import area_contents
|
|
from common.enums import ErrorType, LocalContentType
|
|
from common.utils.gtime import GTime
|
|
|
|
|
|
class LocalContentCRUD:
|
|
async def list(self, db, status: int | None = None, region_code: str | None = None):
|
|
"""축제·관광지·맛집·날씨 전 종류. ★ 예전엔 FESTIVAL 로 고정돼 있어 sync_region 이 받은
|
|
관광지·맛집이 이 목록에 영영 안 보였다(admin 화면이 축제만 검수/발행하는 줄 알게 됨)."""
|
|
conds = [area_contents.deleted == False] # noqa: E712
|
|
if status is not None:
|
|
conds.append(area_contents.status == status)
|
|
if region_code:
|
|
conds.append(area_contents.region_code == region_code)
|
|
return await DB_SESSION_MNG.execute(
|
|
db, select(area_contents).where(and_(*conds)).order_by(area_contents.collected_at.desc())
|
|
)
|
|
|
|
async def insert(self, db, row):
|
|
return await DB_SESSION_MNG.insert(db, row)
|
|
|
|
async def publish(self, db, ids: list, user_id):
|
|
return await DB_SESSION_MNG.add_with_rowcount(
|
|
db,
|
|
update(area_contents).where(
|
|
area_contents.local_content_id.in_(ids), area_contents.deleted == False # noqa: E712
|
|
).values(status=2, published_at=GTime.UTC(), published_by=user_id, updated_at=GTime.UTC()),
|
|
)
|
|
|
|
async def update(self, db, content_id, data: dict):
|
|
return await DB_SESSION_MNG.add_with_rowcount(
|
|
db,
|
|
update(area_contents).where(
|
|
area_contents.local_content_id == content_id, area_contents.deleted == False # noqa: E712
|
|
).values(**data, updated_at=GTime.UTC()),
|
|
)
|
|
|
|
async def end(self, db, content_id):
|
|
return await self.update(db, content_id, {"status": 3})
|
|
|
|
async def upsert_kind(self, db, values: dict):
|
|
"""지역 이야기 한 종류(가요·인물·…)의 삽입/갱신.
|
|
|
|
★ `uq_local_contents_kind`(region_code, kind — kind IS NOT NULL)에 태운다.
|
|
이 표의 규약은 **한 지역에 종류당 한 벌**이다(migrations/0004). 항목마다 한 행이 아니라
|
|
`body.items` 에 통째로 담긴다 — 사장님이 붙여넣는 같은 종류의 JSON 과 모양을 맞추기
|
|
위해서다. 다시 생성하면 그 한 행을 덮어쓴다.
|
|
★ external_id 는 넣지 않는다. 넣으면 `uq_local_contents_external`(source, external_id)에도
|
|
걸려, 종류가 다른 두 행이 같은 키로 충돌한다."""
|
|
stmt = pg_insert(area_contents).values(**values)
|
|
stmt = stmt.on_conflict_do_update(
|
|
index_elements=[area_contents.region_code, area_contents.kind],
|
|
# ★ 조건은 인덱스와 **글자 그대로** 같아야 한다. 포스트그레스는 ON CONFLICT 술어가
|
|
# 인덱스 술어를 함의하는지 보고, 아니면 "no unique or exclusion constraint matching"
|
|
# 으로 거절한다 — 컬럼도 표도 멀쩡해서 눈으로는 원인이 안 보이는 종류다.
|
|
index_where=and_(
|
|
area_contents.deleted == False, # noqa: E712
|
|
area_contents.kind.isnot(None),
|
|
area_contents.external_id.is_(None),
|
|
),
|
|
set_={
|
|
"title": stmt.excluded.title,
|
|
"body": stmt.excluded.body,
|
|
"content_type": stmt.excluded.content_type,
|
|
"source": stmt.excluded.source,
|
|
"status": stmt.excluded.status,
|
|
"collected_at": stmt.excluded.collected_at,
|
|
"published_at": stmt.excluded.published_at,
|
|
"updated_at": GTime.UTC(),
|
|
},
|
|
)
|
|
return await DB_SESSION_MNG.add(db, stmt)
|
|
|
|
async def list_kinds(self, db, region_code: str):
|
|
"""지역의 이야기 행 전부(종류당 1행). cache-aside 판단에 쓴다."""
|
|
return await DB_SESSION_MNG.execute(
|
|
db,
|
|
select(area_contents).where(
|
|
area_contents.region_code == region_code,
|
|
area_contents.kind.isnot(None),
|
|
area_contents.deleted == False, # noqa: E712
|
|
),
|
|
)
|
|
|
|
async def get_weather(self, db, region_code: str):
|
|
err, rows = await DB_SESSION_MNG.execute(
|
|
db,
|
|
select(area_contents).where(
|
|
area_contents.region_code == region_code,
|
|
area_contents.content_type == LocalContentType.WEATHER.value,
|
|
area_contents.external_id.is_(None),
|
|
area_contents.deleted == False, # noqa: E712
|
|
).limit(1),
|
|
)
|
|
return err, rows[0] if rows else None
|
|
|
|
async def upsert_weather(self, db, values: dict):
|
|
stmt = pg_insert(area_contents).values(**values)
|
|
stmt = stmt.on_conflict_do_update(
|
|
index_elements=[area_contents.region_code, area_contents.content_type],
|
|
# ★ `kind IS NULL` 이 빠져 있어 이 upsert 가 통째로 실패하고 있었다(0007 이 인덱스에
|
|
# 그 조건을 더했다). 날씨는 캐시라 실패해도 화면이 안 죽어서 **로그에만 남았다.**
|
|
index_where=and_(
|
|
area_contents.deleted == False, # noqa: E712
|
|
area_contents.external_id.is_(None),
|
|
area_contents.kind.is_(None),
|
|
),
|
|
set_={
|
|
"source": stmt.excluded.source,
|
|
"body": stmt.excluded.body,
|
|
"status": stmt.excluded.status,
|
|
"collected_at": stmt.excluded.collected_at,
|
|
"expires_at": stmt.excluded.expires_at,
|
|
"updated_at": stmt.excluded.updated_at,
|
|
},
|
|
)
|
|
return await DB_SESSION_MNG.add(db, stmt)
|