o2o-negosium-original

minaChoi/o2o-negosium-original

Fork 0

Commit Graph

Author	SHA1	Message	Date
민헌	5ddf5f6249	refactor(negodata): LPS 자동 요청 배치 제거 — 검색은 수동 트리거 전용 협의 결정(2026-07-10): 크롤 비용이 사용자 행동에만 비례하도록, 갱신 오래된 상품을 자동으로 검색 요청하던 잡(매일 04:00, 상한 500건, 일 ~$2)을 제거한다. 검색 진입점은 상품 화면의 수동 트리거 (POST /v1/item/{id}/lowest-price) 하나만 남는다. - request_lps_searches 잡·request_stale_searches 서비스·stale_items CRUD·배치 상수(REFRESH_HOURS 등) 제거 - 수집 잡(sync_lps_results, 5분)은 유지 — 크롤을 일으키지 않는 반영 백스톱(모달 조기 종료·폴링 초과분 자동 반영, 비용 0) 검증: 스케줄러 등록 잡 3개(견적마감 2 + LPS 수집 1) 확인, 수집 잡 실행 정상 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 16:47:39 +09:00
민헌	28b4a9e797	feat(negodata): lowest-price 스텁 API 실구현 — 즉시 트리거 + 온디맨드 동기화 조회 - POST /v1/item/{id}/lowest-price: 상품 1건 LPS 즉시 검색요청(manual 우선순위). queued/duplicated/unavailable 상태 반환, 실패는 ErrorType.LPS_UNAVAILABLE(2000 블록 신설) - GET /v1/item/{id}/lowest-price: 대표 최저가 + 최근 수집 이력(최신순, LowestPriceEntry 타입화). 조회 전 lps_db 증분 동기화 1회 수행 — 5분 크론을 기다리지 않는 실시간 폴링 UX(멱등·저비용) - 동시성 방어 2겹: 프로세스 내 asyncio.Lock(크론·온디맨드 직렬화) + uq_iilp_item_crawl_time 유니크 인덱스(alters/2026-07-10, init.sql 멱등 반영·dev DB 적용) — 경합 진 쪽 tx 실패 후 다음 tick 흡수 - LpsSyncService 무인자 생성자(FastAPI Depends 호환) - compose: negodata-backend 에 LPS_DB_HOST·LPS_BASE_URL env(미설정 시 연동 비활성으로 조용히 동작) 검증(도커 컨테이너 e2e): 인증→POST queued→LPS 크롤→GET 온디맨드 동기화로 이력 즉시 노출(not_found 정책: 대표값 미변경 확인), company 스코프 차단(타사 상품 ITEM_NOT_FOUND) 확인 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 16:17:05 +09:00
민헌	523661e3d2	feat(negodata): LPS 최저가 동기화 배치 — 요청(API)·수집(lps_db)·반영(items) 설계(2026-07-10 결정): 요청은 LPS API(dedupe·워커알림 보존), 결과는 lps_db.price_history 직접 읽기(읽기전용 엔진). product_code=item_id 로 결과가 자동 매핑된다. - 잡③ request_lps_searches(매일 04:00 KST): 24h 이상 미수집 상품을 최대 500건 enqueue(job_type=batch, 100건/콜 청크) — 비용 발생 잡 - 잡④ sync_lps_results(5분): 워터마크(max crawl_end_time) 증분 수집 → item_internet_lowest_prices append(성공/실패 모두) + 성공분 최신값 items.internet_lowest_price 박제(+yn). 한 트랜잭션(부분반영 방지) - 스캔 바닥 3일 — 비uuid·미존재 상품 행이 워터마크를 못 올려도 재스캔 범위 유한 - ⚠️ 시각은 aware UTC 통일 — naive 를 timestamptz 파라미터로 넘기면 PG 세션 타임존(KST) 해석으로 9시간 어긋남(중복 수집 실측 버그 수정) - LowestPriceWebsite 코드 enum(naver=1 coupang=2 …), iilp ORM 모델, lps_base_url config(+LPS_BASE_URL env) 검증: 실상품 1건 e2e(요청→크롤 found 15,000원→이력+박제 반영), 멱등성(재실행 빈 카운터), 비uuid 12건 스킵, 대상선정 쿼리 500건 상한 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>	2026-07-10 15:38:57 +09:00

Author

SHA1

Message

Date

민헌

5ddf5f6249

refactor(negodata): LPS 자동 요청 배치 제거 — 검색은 수동 트리거 전용

협의 결정(2026-07-10): 크롤 비용이 사용자 행동에만 비례하도록,
갱신 오래된 상품을 자동으로 검색 요청하던 잡(매일 04:00, 상한 500건,
일 ~$2)을 제거한다. 검색 진입점은 상품 화면의 수동 트리거
(POST /v1/item/{id}/lowest-price) 하나만 남는다.

- request_lps_searches 잡·request_stale_searches 서비스·stale_items
  CRUD·배치 상수(REFRESH_HOURS 등) 제거
- 수집 잡(sync_lps_results, 5분)은 유지 — 크롤을 일으키지 않는
  반영 백스톱(모달 조기 종료·폴링 초과분 자동 반영, 비용 0)

검증: 스케줄러 등록 잡 3개(견적마감 2 + LPS 수집 1) 확인, 수집 잡 실행 정상

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-10 16:47:39 +09:00

민헌

28b4a9e797

feat(negodata): lowest-price 스텁 API 실구현 — 즉시 트리거 + 온디맨드 동기화 조회

- POST /v1/item/{id}/lowest-price: 상품 1건 LPS 즉시 검색요청(manual
  우선순위). queued/duplicated/unavailable 상태 반환, 실패는
  ErrorType.LPS_UNAVAILABLE(2000 블록 신설)
- GET /v1/item/{id}/lowest-price: 대표 최저가 + 최근 수집 이력(최신순,
  LowestPriceEntry 타입화). 조회 전 lps_db 증분 동기화 1회 수행 —
  5분 크론을 기다리지 않는 실시간 폴링 UX(멱등·저비용)
- 동시성 방어 2겹: 프로세스 내 asyncio.Lock(크론·온디맨드 직렬화) +
  uq_iilp_item_crawl_time 유니크 인덱스(alters/2026-07-10, init.sql
  멱등 반영·dev DB 적용) — 경합 진 쪽 tx 실패 후 다음 tick 흡수
- LpsSyncService 무인자 생성자(FastAPI Depends 호환)
- compose: negodata-backend 에 LPS_DB_HOST·LPS_BASE_URL env(미설정 시
  연동 비활성으로 조용히 동작)

검증(도커 컨테이너 e2e): 인증→POST queued→LPS 크롤→GET 온디맨드
동기화로 이력 즉시 노출(not_found 정책: 대표값 미변경 확인),
company 스코프 차단(타사 상품 ITEM_NOT_FOUND) 확인

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-10 16:17:05 +09:00

민헌

523661e3d2

feat(negodata): LPS 최저가 동기화 배치 — 요청(API)·수집(lps_db)·반영(items)

설계(2026-07-10 결정): 요청은 LPS API(dedupe·워커알림 보존), 결과는
lps_db.price_history 직접 읽기(읽기전용 엔진). product_code=item_id
로 결과가 자동 매핑된다.

- 잡③ request_lps_searches(매일 04:00 KST): 24h 이상 미수집 상품을
  최대 500건 enqueue(job_type=batch, 100건/콜 청크) — 비용 발생 잡
- 잡④ sync_lps_results(5분): 워터마크(max crawl_end_time) 증분 수집
  → item_internet_lowest_prices append(성공/실패 모두) + 성공분 최신값
  items.internet_lowest_price 박제(+yn). 한 트랜잭션(부분반영 방지)
- 스캔 바닥 3일 — 비uuid·미존재 상품 행이 워터마크를 못 올려도
  재스캔 범위 유한
- ⚠️ 시각은 aware UTC 통일 — naive 를 timestamptz 파라미터로 넘기면
  PG 세션 타임존(KST) 해석으로 9시간 어긋남(중복 수집 실측 버그 수정)
- LowestPriceWebsite 코드 enum(naver=1 coupang=2 …), iilp ORM 모델,
  lps_base_url config(+LPS_BASE_URL env)

검증: 실상품 1건 e2e(요청→크롤 found 15,000원→이력+박제 반영),
멱등성(재실행 빈 카운터), 비uuid 12건 스킵, 대상선정 쿼리 500건 상한

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-10 15:38:57 +09:00

3 Commits