5.7 KiB

Raw Permalink Blame History

컴북스 요청 데이터 스펙 & 요약 정답셋 작성 가이드

오투오 과제2(콘텐츠 표절 탐지 / 요소 분석) 2단계 고도화에 필요한 데이터 스펙. 데이터 수령 즉시 학습·검증에 투입할 수 있도록, 포맷을 본 문서로 사전 고정한다. 관련 평가 스크립트: scripts/eval_rouge.py, scripts/eval_metadata_f1.py, scripts/analyze_case_coverage.py

0. 요약 — 무엇을, 왜, 어떤 포맷으로

#	데이터	용도(성능지표)	제공 주체	비고
1	표절/비표절 샘플 글	표절 정밀도 97% (No.4)	컴북스	39 케이스·자서전 도메인 커버
2	article 본문 3만건 + 저작권 확보분	요소 추출·군집화 코퍼스	컴북스	1단계 계획 수량
3	도메인별 텍스트	요약 모델 범용성 (No.7)	컴북스+공개	장르 다양성
4	콘텐츠 요소(메타) 정답 라벨	메타 추출 F1 83 (No.3)	컴북스 1단계분	KLUE NER 공개로 보완
5	요약 정답셋(reference summary)	요약 ROUGE 65 (No.7)	별도 구축	컴북스 미보유 → 역할분담
6	Human Feedback 선호 라벨	표절검출 HF 고도화	별도 구축	라벨링 공수 필요

→ #1~#4 는 컴북스 직접 제공, #5·#6 은 컴북스가 줄 수 없는 데이터로 제작 주체를 먼저 합의해야 한다.

1. 표절/비표절 샘플 글 (정밀도 97% 평가)

포맷 (JSONL): 표절 페어 단위

{"pair_id": "A1-001", "source_text": "원본 ...", "suspect_text": "검사 대상 ...",
 "is_plagiarism": true, "case_id": "A1", "note": "시·노래 가사 무단 인용"}

필수 커버리지: 자동 탐지 대상 케이스(detectable_internal=True, 현재 10종)를 모두 포함. 케이스별 최소 30건 이상 권장(정밀도 0.97 신뢰구간 확보).
- 현재 요청 대상 케이스 목록은 python -m scripts.analyze_case_coverage 로 산출.
도메인: 출판 콘텐츠뿐 아니라 자서전 도메인 표절/비표절을 별도 분리 제공. (현 평가셋 999쌍은 출판 콘텐츠 기준 → 자서전 도메인 정밀도 미검증)
균형: 표절:비표절 ≈ 1:1. 비표절에는 '합법적 인용·정상 2차 창작'을 포함해 과탐(FP)을 줄이는 hard-negative 로 활용.

2. article 본문 데이터 (요소 추출·군집화 코퍼스)

포맷: data/reference/ 와 동일한 .txt 또는 JSONL {"doc_id","title","text"}
수량: 계획서 기준 3만건. 우선 1.5천~3천건 표본 선제공 가능하면 군집화·요소 추출 튜닝을 조기 착수.
저작권: 학습/평가 사용 가능 범위(CCL 또는 계약)를 메타로 명시 → license 필드.

3. 도메인별 텍스트 (요약 범용성)

장르 다양성 확보용(소설/에세이/자서전/실용 등). 요약 모델의 도메인 편향 방지.
포맷은 #2 와 동일. genre 필드 권장.

4. 콘텐츠 요소(메타) 정답 라벨 (메타 F1)

포맷 (JSONL) — scripts/eval_metadata_f1.py 입력과 동일:

{"text": "원문 ...", "characters": ["홍길동"], "motifs": ["복수"],
 "keywords": ["활빈당","탐관오리"], "genre": "역사"}

컴북스 1단계 '콘텐츠 구성요소 정의' 라벨을 article 단위로 제공.
공개 보완: KLUE NER(--klue)로 인물(PS) 추출 F1 을 즉시 측정 가능.

5. 요약 정답셋(reference summary) 작성 가이드 — 별도 구축 필요

컴북스 데이터에는 '본문'만 있고 '요약 정답'이 없다. ROUGE(No.7) 평가는 정답 요약이 전제이므로 아래 가이드에 따라 별도 구축한다. 제작 주체 합의 필요: (A) 컴북스가 작성 / (B) 오투오가 GPT 생성 후 컴북스 검수 / (C) 혼합.

포맷 (JSONL) — scripts/eval_rouge.py 입력과 동일:

{"text": "원문 전체 ...", "reference": "사람이 작성한 정답 요약 ..."}

작성 원칙
1. 길이: 원문의 약 20~30% (또는 3~5문장). 일관된 비율 유지.
2. 내용: 원문에 없는 사실 추가 금지(환각 방지). 핵심 사건·인물·결말 포함.
3. 표현: 단순 문장 복사가 아니라 재구성(추상적 요약 평가 목적).
4. 1건당 1명이 작성하되, 신뢰도 위해 일부는 2명 작성 후 교차검수(IAA 확인).
수량: No.7 신뢰 평가 위해 최소 200~300건(도메인 분산).
검수: GPT 생성안 사용 시(경로 B), 컴북스 편집자가 사실관계·표현 검수 후 확정.

6. Human Feedback 선호 라벨 — 별도 구축 필요

표절 검출 HF Preference Optimization(계획서 p.22)용. '표절 글을 비선호'로 학습. 단순 표절/비표절 데이터가 아니라 사람의 선호 판단 라벨이 필요(라벨링 공수).

파이프라인: scripts/build_preference_dataset.py
1. template — 후보쌍(원본+글A+글B) → 라벨링 템플릿 생성
2. (사람) 각 행에 chosen/rejected 확정, label_status="labeled"
3. convert — 라벨 완료 파일 → DPO 학습셋(JSONL) + 검증/통계

라벨링 형식 (JSONL):

{"pair_id":"p1","prompt":"...[원문]...","candidate_a":"정상 변형글",
 "candidate_b":"표절글","label_status":"labeled",
 "chosen":"정상 변형글","rejected":"표절글"}

수량: 선호학습 최소 500쌍 이상 권장.

7. 공통 — 납기 명시 요청

정밀도 97%·요약 ROUGE 65 는 위 데이터가 전제이므로, 각 항목 제공 시점을 함께 확정한다(연말 인수시험 역산). 부분 표본 선제공이 가능하면 군집화/요소추출 튜닝을 데이터 도착 전 표본으로 조기 착수한다.

5.7 KiB Raw Permalink Blame History