o2o-infinith-demo/public/robots.txt
Haewon Kam 13f8c362c2 feat: 랜딩 AI 크롤러 가독성 — SSR 프리렌더 + 메타/JSON-LD + robots/sitemap/llms.txt
- src/entry-server.tsx + scripts/prerender.ts: 빌드 시 / 를 renderToString으로 정적 HTML 주입 (크롤러 본문 4단어 → 800+단어)
- main.tsx: 프리렌더된 랜딩은 hydrateRoot, 나머지 라우트는 createRoot
- index.html: lang=ko, description/OG/canonical, Organization·SoftwareApplication·WebSite JSON-LD
- public/: robots.txt(AI 크롤러 명시 허용), sitemap.xml, llms.txt (SPA 리라이트로 index.html 반환되던 문제 해소)
- Badge.tsx: 메인 체크아웃에만 있고 미커밋이던 컴포넌트 추가 (빌드 실패 원인)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-08-28 15:43:47 +09:00

29 lines
549 B
Plaintext

# INFINITH — AI 크롤러 및 검색엔진 전면 허용
User-agent: *
Allow: /
Disallow: /report/loading
Disallow: /api-dashboard
Disallow: /data-validation
# AI 답변엔진 크롤러 (명시 허용)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Yeti
Allow: /
Sitemap: https://infinith-demo.vercel.app/sitemap.xml