Mina Choi
b4085a0e0f
운영 번들 자동 로그인 자격증명 유출, 온보딩 COPY 잡이 Gemini 429 로 죽던 것, 크롤링 실패가 로그에만 남던 것을 한 번에 정리한다. 실측(2026-09-15 밤, 킹서버): 사진분석 배치가 Gemini 분당 쿼터를 다 써서 같은 키를 쓰는 온보딩 COPY 잡도 같이 429 를 맞고 DEAD 로 갔다 — 확인된 fact 만으로도 편집·발행이 되는데 잡을 죽일 이유가 없었다. - solution/frontend: `VITE_AUTO_LOGIN_ID`·`PW` 를 운영 진입점에 안 넘긴다(자동 로그인은 dev 서버 전용) + `Step5Generating` 겉모습을 이전 카드 스타일로, 데이터는 실제 잡 진행(useGenerationJob) 그대로 - solution/backend: copy_service — Gemini 호출 실패해도 잡을 안 죽이고 fact 만으로 계속. db_session_manager — 유니크 제약 충돌(정상 경로) 로그를 ERROR → WARN. worker/runner + alert_service + teams_webhook — 잡 dead-letter·발행 실패·큐 정체를 Teams 로 알림(영구 저장 + 재시도 + dedupe). `/readyz` 추가. collect_diagnostics(신규) — 크롤링 채널별 실패를 jobs.result 에 구조화해서 싣는다. - postgres-init: 0015(users token_version) · 0016(alert_outbox) 마이그레이션 검증: 백엔드 pytest 759 passed. tsc(solution/frontend) 통과. Teams 알림 실채널 수신 확인.
63 lines
2.7 KiB
Python
63 lines
2.7 KiB
Python
"""백그라운드 스케줄러(크론) 패키지 — '언제'(when) 담당.
|
|
|
|
다중 워커(운영)에서 잡이 워커마다 중복 실행되면 안 되므로 SCHEDULER_ENABLED=1 인 프로세스에서만 등록한다.
|
|
|
|
등록된 잡:
|
|
· Search Console (GSC_ENABLED=1, 10분마다)
|
|
· 알림 발송 스윕 (1분마다) — alert_outbox 의 PENDING 을 실제로 보낸다
|
|
· 잡 큐 정체 점검 (5분마다) — dead-letter 누적·좀비 실행·오래 밀린 PENDING 을 본다
|
|
둘 다 무조건 등록한다 — TEAMS_WEBHOOK_URL 이 비어 있으면 알림은 쌓이기만 하고 안 나간다
|
|
(services/teams_webhook.is_configured), 서버 동작에는 영향이 없다.
|
|
붙을 잡 —
|
|
· 지역정보 갱신 : 축제 주 1회 / 관광정보 월 1회 / 날씨 시간 단위 — 행정구역 코드 단위 캐시 갱신
|
|
· 수집 재시도 : 실패한 수집 작업 재시도 (외부 API 실패 시 직전 값 유지 + 내부 알림)
|
|
· 사이트 재빌드 : 검증 상태가 바뀐 place 만 개별 재빌드 (전체 재빌드 금지)
|
|
"""
|
|
import os
|
|
|
|
from apscheduler.schedulers.asyncio import AsyncIOScheduler
|
|
|
|
from common.logger import LOG
|
|
|
|
__all__ = ["start_scheduler", "shutdown_scheduler"]
|
|
|
|
_scheduler = None # AsyncIOScheduler | None
|
|
|
|
|
|
def _is_enabled() -> bool:
|
|
return os.environ.get("SCHEDULER_ENABLED", "0") == "1"
|
|
|
|
|
|
def start_scheduler():
|
|
"""lifespan startup 에서 호출. SCHEDULER_ENABLED=1 일 때만 스케줄러를 띄운다."""
|
|
global _scheduler
|
|
if not _is_enabled():
|
|
LOG.i("[scheduler] disabled (SCHEDULER_ENABLED != 1)")
|
|
return
|
|
if _scheduler is not None:
|
|
return
|
|
|
|
# 한국시간 기준. 잡은 scheduler/jobs.py 에 정의하고 여기서 add_job 으로 등록한다.
|
|
_scheduler = AsyncIOScheduler(timezone="Asia/Seoul")
|
|
if os.environ.get("GSC_ENABLED") == "1":
|
|
from services.search_console_service import run_scheduled_check
|
|
_scheduler.add_job(run_scheduled_check, "interval", minutes=10,
|
|
id="search-console", max_instances=1, coalesce=True)
|
|
|
|
from scheduler.jobs import sweep_alert_outbox, sweep_queue_health
|
|
_scheduler.add_job(sweep_alert_outbox, "interval", minutes=1,
|
|
id="alert-outbox", max_instances=1, coalesce=True)
|
|
_scheduler.add_job(sweep_queue_health, "interval", minutes=5,
|
|
id="queue-health", max_instances=1, coalesce=True)
|
|
_scheduler.start()
|
|
LOG.i(f"[scheduler] started (KST: {len(_scheduler.get_jobs())}개 잡)")
|
|
|
|
|
|
def shutdown_scheduler():
|
|
"""lifespan shutdown 에서 호출."""
|
|
global _scheduler
|
|
if _scheduler is not None:
|
|
_scheduler.shutdown(wait=False)
|
|
_scheduler = None
|
|
LOG.i("[scheduler] stopped")
|