 Mina Choi
|
652265cd19
|
페북 수집·지표·저장 파이프라인 정리
수집:
- pages + posts 두 actor 병렬 호출 (facebook-pages-scraper, facebook-posts-scraper)
- 저장 필드 슬림화: 페이지 메타에서 likes/rating/email/phone/address 제거
(followers/reviews와 중복이거나 클리닉 raw_data에 이미 있음)
- 게시물 저장은 캡션 160자 + likes/reactions/shares/views/isVideo/timestamp만
지표 계산 위치 이동: 리포트 시점 → 수집 시점:
- recent_post_age / post_frequency / engagement 를 transform_for_storage에서
결정적으로 산출해 DB에 박음 (재계산 불필요)
- 저장된 게시물은 LLM용 캡션·타입 2필드만 — 추가 슬림 단계 제거
리팩토링:
- services/facebook_audit.py 신설 (instagram_audit 패턴) — _build_overrides의
인라인 클로저(_fb_page_patch)와 analysis.py의 _fb_post_metrics 분리
- collect.py / enrichment.py 가 transform_for_storage를 호출하도록
엔게이지먼트 표기:
- 범위(min~max)로 표시, 전부 0인 지표는 제외
- 댓글은 actor 미제공이라 "댓글 거의 없음" 고정 부가
콘텐츠 유형:
- top_content_type 은 캡션 본문 주제 추론이 필요해 LLM에 위임
- report_prompt.txt 에 facebook_audit.pages[].top_content_type 작성 지침 추가
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-05-28 13:49:22 +09:00 |
|
Mina Choi
|
4855d44381
|
수집 파이프라인 통합 (enrichment 분리, raw_data merge 헬퍼)
- enrichment.py: brand_assets/extra_channels/channel_logos 수집 분리
- db.merge_hospital_raw_data: raw_data read-modify-write 헬퍼
- utils: _run_optional_step·URL 헬퍼 공통화
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-05-27 13:27:39 +09:00 |
 jaehwang
|
cda518c027
|
시장 조사 llm 추가 및 파이프라인 정리, db 커넥션 풀 문제 처리
|
2026-05-19 15:22:34 +09:00 |
|
jaehwang
|
602c69543c
|
plan 추가, analysis 오탈자 제거
|
2026-05-18 10:23:17 +09:00 |
|
jaehwang
|
2b8a90e857
|
llm 붙임 및 리포트 생성 확인
|
2026-05-14 16:16:09 +09:00 |
|
jaehwang
|
26cd946e1b
|
crawling check
|
2026-05-11 14:02:17 +09:00 |
|
jaehwang
|
0d3543d84d
|
스크래핑 로직 점검 및 추가
|
2026-04-30 11:58:52 +09:00 |