Mina Choi
b4085a0e0f
운영 번들 자동 로그인 자격증명 유출, 온보딩 COPY 잡이 Gemini 429 로 죽던 것, 크롤링 실패가 로그에만 남던 것을 한 번에 정리한다. 실측(2026-09-15 밤, 킹서버): 사진분석 배치가 Gemini 분당 쿼터를 다 써서 같은 키를 쓰는 온보딩 COPY 잡도 같이 429 를 맞고 DEAD 로 갔다 — 확인된 fact 만으로도 편집·발행이 되는데 잡을 죽일 이유가 없었다. - solution/frontend: `VITE_AUTO_LOGIN_ID`·`PW` 를 운영 진입점에 안 넘긴다(자동 로그인은 dev 서버 전용) + `Step5Generating` 겉모습을 이전 카드 스타일로, 데이터는 실제 잡 진행(useGenerationJob) 그대로 - solution/backend: copy_service — Gemini 호출 실패해도 잡을 안 죽이고 fact 만으로 계속. db_session_manager — 유니크 제약 충돌(정상 경로) 로그를 ERROR → WARN. worker/runner + alert_service + teams_webhook — 잡 dead-letter·발행 실패·큐 정체를 Teams 로 알림(영구 저장 + 재시도 + dedupe). `/readyz` 추가. collect_diagnostics(신규) — 크롤링 채널별 실패를 jobs.result 에 구조화해서 싣는다. - postgres-init: 0015(users token_version) · 0016(alert_outbox) 마이그레이션 검증: 백엔드 pytest 759 passed. tsc(solution/frontend) 통과. Teams 알림 실채널 수신 확인.
55 lines
2.6 KiB
Python
55 lines
2.6 KiB
Python
"""스케줄 잡 로직(what). '언제 도느냐'(scheduler/__init__.py)와 분리된, 잡이 실제로 하는 일.
|
|
|
|
잡은 '대상을 고르는 것'까지만 하고, 실제 처리는 도메인 service 가 책임진다.
|
|
(지역정보 갱신 · 수집 재시도 · 개별 사이트 재빌드가 여기로 들어온다.)
|
|
"""
|
|
from common.logger import LOG
|
|
|
|
|
|
async def sweep_alert_outbox():
|
|
"""대기 중인 알림을 실제로 보낸다(services/alert_service.process_outbox)."""
|
|
from services import alert_service
|
|
|
|
try:
|
|
await alert_service.process_outbox()
|
|
except Exception as ex: # noqa: BLE001 — 스윕 실패가 스케줄러를 죽이면 안 된다(다음 주기 재시도)
|
|
LOG.w(f"[scheduler] 알림 발송 스윕 실패: {type(ex).__name__}: {ex}")
|
|
|
|
|
|
async def sweep_queue_health():
|
|
"""잡 큐가 막혔는지 주기적으로 본다 — dead-letter 누적·좀비 실행·오래 밀린 PENDING.
|
|
|
|
★ 왜 필요한가: 개별 잡의 DEAD 전이는 worker/runner.py 가 그 자리에서 바로 알린다. 이건
|
|
그것과 다른 신호다 — 잡 하나하나는 재시도 중(아직 DEAD 아님)인데 **큐 전체가 정체**된
|
|
경우(워커 프로세스가 죽었거나 DB 순단이 길어지는 경우)는 개별 잡 알림만으로는 안 보인다.
|
|
★ 복구되면 한 번만 알린다 — send_alert/resolve_alert 의 dedupe_key 가 그 판단을 한다."""
|
|
from crud.job_crud import JobQueue
|
|
from services import alert_service
|
|
|
|
try:
|
|
snap = await JobQueue().ops()
|
|
except Exception as ex: # noqa: BLE001
|
|
LOG.w(f"[scheduler] 큐 상태 조회 실패: {type(ex).__name__}: {ex}")
|
|
return
|
|
|
|
# 기준값: dead-letter 가 최근 1시간에 쌓였거나, 좀비 실행이 있거나, 가장 오래된 PENDING 이
|
|
# 30분 넘게 안 집혔다(정상 워커라면 대기 잡을 몇 초 안에 claim 한다).
|
|
problems = []
|
|
if snap.get("dead_1h", 0) > 0:
|
|
problems.append(f"최근 1시간 dead-letter {snap['dead_1h']}건")
|
|
if snap.get("stuck_running", 0) > 0:
|
|
problems.append(f"좀비 실행 {snap['stuck_running']}건(lease 만료 또는 10분 초과)")
|
|
if snap.get("oldest_pending_sec", 0) > 1800:
|
|
problems.append(f"가장 오래된 대기 잡이 {snap['oldest_pending_sec'] // 60}분째 안 집힘")
|
|
|
|
dedupe_key = "queue_health"
|
|
if problems:
|
|
await alert_service.send_alert(
|
|
kind="queue_stuck",
|
|
title="잡 큐 정체",
|
|
detail=" · ".join(problems) + f"\n{snap}",
|
|
dedupe_key=dedupe_key,
|
|
)
|
|
else:
|
|
await alert_service.resolve_alert(dedupe_key, "잡 큐 정상으로 돌아옴")
|