Commit Graph

16 Commits

Author SHA1 Message Date
6197fcdc91 fix(crawling): homepages를 GraphQL 대신 __APOLLO_STATE__에서 추출
placeDetail(base)의 homepages 필드는 스키마에 없어 전체 크롤링이
400으로 실패했다(컨테이너 검증 완료). 쿼리에서 제거하고, WTM 우회용
브라우저가 이미 로드하는 place 페이지의 __APOLLO_STATE__ JSON을 캡처해
대표(repr) 링크를 추출한다. 브라우저 캡처 실패 시 HTML 직접 파싱으로
보충한다(직접 요청은 429로 막히는 환경이 있어 best-effort).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CVSeUT2pEmeHc6hG6gVXUS
2026-08-21 11:30:01 +09:00
1ef8e82638 feat(crawling): 업체 공식 링크 수집·저장 및 official_site_url 응답 연동
- 네이버 placeDetail GraphQL base에 homepages 필드 추가, 대표(repr)
  링크 우선으로 살아있는 URL을 추출한다 (실서비스 응답 구조 확인 완료)
- marketing 테이블에 official_site_url 컬럼 추가: 크롤링 시 플레이스
  홈페이지 항목을 저장하고, 없으면 유저가 입력한 크롤링 소스 URL을 저장
- GET /video/{id}, /video/all의 official_site_url은 저장값 우선,
  컬럼 도입 전 기존 행은 place_id 기반 플레이스 URL로 폴백
- 기존 테이블에는 수동 마이그레이션 필요:
  ALTER TABLE marketing ADD COLUMN official_site_url VARCHAR(2048) NULL
  COMMENT '업체 공식 링크' AFTER place_id;

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01CVSeUT2pEmeHc6hG6gVXUS
2026-08-21 10:49:46 +09:00
236c7916a7 이미지 수집 100장 상한 추가 2026-07-13 15:13:24 +09:00
593b6d9922 네이버 정책 변경으로 인한 이미지 크롤링 코드 수정 2026-07-13 14:47:13 +09:00
b8be2a355a 이미지 크롤링 로직 변경 및 자막 이미지 매칭 보완 2026-07-06 16:23:16 +09:00
46449a7a3f 이미지 크롤링 로직 변경 및 자막 이미지 매칭 보완 2026-07-03 11:46:32 +09:00
8415e1c3a7 네이버 크롤링 우회 코드 추가 2026-06-29 10:36:53 +09:00
009b1a5d09 업체명+URL 검색 통합 및 요식업종 가하도록 추가 2026-06-19 16:00:27 +09:00
825ab1fd89 모바일 경로의 place_id 파싱 추가 2026-06-04 13:30:51 +09:00
dhlim
0fd028a49f url 에러 시 404 출력 2026-04-03 01:23:43 +00:00
54e66e4682 add marketing intelligence db 2026-02-11 05:21:00 +00:00
Dohyun Lim
bf7b53c8e8 add logger 2026-01-14 17:46:45 +09:00
Dohyun Lim
94aae50564 update crawler for short url 2026-01-12 13:46:28 +09:00
Dohyun Lim
073777081e add logs for tracing processing task 2026-01-08 14:05:44 +09:00
bluebamus
b5b8e88005 크롤링에 마케팅 분석 추가, 태그 추가, 부대 시설 추가 완료 2025-12-22 16:02:12 +09:00
bluebamus
369f530ec5 add crawler and generate 2025-12-21 22:49:57 +09:00