523661e3d2
설계(2026-07-10 결정): 요청은 LPS API(dedupe·워커알림 보존), 결과는
lps_db.price_history 직접 읽기(읽기전용 엔진). product_code=item_id
로 결과가 자동 매핑된다.
- 잡③ request_lps_searches(매일 04:00 KST): 24h 이상 미수집 상품을
최대 500건 enqueue(job_type=batch, 100건/콜 청크) — 비용 발생 잡
- 잡④ sync_lps_results(5분): 워터마크(max crawl_end_time) 증분 수집
→ item_internet_lowest_prices append(성공/실패 모두) + 성공분 최신값
items.internet_lowest_price 박제(+yn). 한 트랜잭션(부분반영 방지)
- 스캔 바닥 3일 — 비uuid·미존재 상품 행이 워터마크를 못 올려도
재스캔 범위 유한
- ⚠️ 시각은 aware UTC 통일 — naive 를 timestamptz 파라미터로 넘기면
PG 세션 타임존(KST) 해석으로 9시간 어긋남(중복 수집 실측 버그 수정)
- LowestPriceWebsite 코드 enum(naver=1 coupang=2 …), iilp ORM 모델,
lps_base_url config(+LPS_BASE_URL env)
검증: 실상품 1건 e2e(요청→크롤 found 15,000원→이력+박제 반영),
멱등성(재실행 빈 카운터), 비uuid 12건 스킵, 대상선정 쿼리 500건 상한
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
66 lines
2.9 KiB
Python
66 lines
2.9 KiB
Python
import os
|
|
|
|
from config.config_loader import Configs
|
|
from config.config_models import WebServerConfig, LogConfig, MainDBConfig, LpsDBConfig, JwtToken, StorageConfig, MailConfig
|
|
|
|
# 실행 환경 결정 (기본 local). 환경변수 APP_ENV 로 변경.
|
|
APP_ENV = os.environ.get("APP_ENV", "local")
|
|
|
|
_config_dir = os.path.dirname(__file__)
|
|
_config_file = os.path.join(_config_dir, f"config.{APP_ENV}.toml")
|
|
|
|
# 운영 전제: 항상 APP_ENV=local 로 띄운다 → config.local.toml 사용 (test/docker 도 local 로 실행).
|
|
if not os.path.exists(_config_file):
|
|
raise FileNotFoundError(f"설정 파일이 없습니다: {_config_file} (APP_ENV={APP_ENV}). APP_ENV=local 로 실행하세요.")
|
|
|
|
configs = Configs(_config_file)
|
|
|
|
web_server_config: WebServerConfig = configs.get(WebServerConfig)
|
|
log_config: LogConfig = configs.get(LogConfig)
|
|
main_db_config: MainDBConfig = configs.get(MainDBConfig)
|
|
# [LpsDBConfig] 섹션이 없는 toml(구버전)에서도 죽지 않게 기본값 폴백(name 빈 값 → LPS 연동 비활성).
|
|
lps_db_config: LpsDBConfig = configs.get(LpsDBConfig) or LpsDBConfig()
|
|
jwt_token_config: JwtToken = configs.get(JwtToken)
|
|
storage_config: StorageConfig = configs.get(StorageConfig)
|
|
# [MailConfig] 섹션이 없는 toml(구버전)에서도 죽지 않도록 기본값으로 폴백(전 필드 빈 값 → 발송 시 EmailUnavailable).
|
|
mail_config: MailConfig = configs.get(MailConfig) or MailConfig()
|
|
|
|
|
|
# DB 접속 env override (config.local.toml 유지, 도커에서 host 만 교체). 로컬은 env 미설정 → toml 그대로.
|
|
def _apply_db_env_override(cfg: MainDBConfig):
|
|
h = os.environ.get("DB_HOST")
|
|
if h:
|
|
cfg.write_host = cfg.read_host = h
|
|
if os.environ.get("DB_PORT"):
|
|
cfg.write_port = cfg.read_port = int(os.environ["DB_PORT"])
|
|
if os.environ.get("DB_USER"):
|
|
cfg.write_id = cfg.read_id = os.environ["DB_USER"]
|
|
if os.environ.get("DB_PASSWORD"):
|
|
cfg.write_pw = cfg.read_pw = os.environ["DB_PASSWORD"]
|
|
if os.environ.get("DB_NAME"):
|
|
cfg.name = os.environ["DB_NAME"]
|
|
|
|
|
|
_apply_db_env_override(main_db_config)
|
|
|
|
|
|
# LPS 결과 DB(읽기전용) env override — 도커에서 host 등만 교체. 로컬은 toml 그대로.
|
|
def _apply_lps_db_env_override(cfg: LpsDBConfig):
|
|
if os.environ.get("LPS_DB_HOST"):
|
|
cfg.read_host = os.environ["LPS_DB_HOST"]
|
|
if os.environ.get("LPS_DB_PORT"):
|
|
cfg.read_port = int(os.environ["LPS_DB_PORT"])
|
|
if os.environ.get("LPS_DB_USER"):
|
|
cfg.read_id = os.environ["LPS_DB_USER"]
|
|
if os.environ.get("LPS_DB_PASSWORD"):
|
|
cfg.read_pw = os.environ["LPS_DB_PASSWORD"]
|
|
if os.environ.get("LPS_DB_NAME"):
|
|
cfg.name = os.environ["LPS_DB_NAME"]
|
|
|
|
|
|
_apply_lps_db_env_override(lps_db_config)
|
|
|
|
# LPS API 주소 env override (도커: http://lps-api:9600 또는 host.docker.internal:9600)
|
|
if os.environ.get("LPS_BASE_URL"):
|
|
web_server_config.lps_base_url = os.environ["LPS_BASE_URL"]
|