104 lines
5.7 KiB
Markdown
104 lines
5.7 KiB
Markdown
# 컴북스 요청 데이터 스펙 & 요약 정답셋 작성 가이드
|
|
|
|
> 오투오 과제2(콘텐츠 표절 탐지 / 요소 분석) 2단계 고도화에 필요한 데이터 스펙.
|
|
> 데이터 수령 즉시 학습·검증에 투입할 수 있도록, 포맷을 본 문서로 사전 고정한다.
|
|
> 관련 평가 스크립트: `scripts/eval_rouge.py`, `scripts/eval_metadata_f1.py`,
|
|
> `scripts/analyze_case_coverage.py`
|
|
|
|
## 0. 요약 — 무엇을, 왜, 어떤 포맷으로
|
|
|
|
| # | 데이터 | 용도(성능지표) | 제공 주체 | 비고 |
|
|
|---|---|---|---|---|
|
|
| 1 | 표절/비표절 샘플 글 | 표절 정밀도 97% (No.4) | 컴북스 | 39 케이스·자서전 도메인 커버 |
|
|
| 2 | article 본문 3만건 + 저작권 확보분 | 요소 추출·군집화 코퍼스 | 컴북스 | 1단계 계획 수량 |
|
|
| 3 | 도메인별 텍스트 | 요약 모델 범용성 (No.7) | 컴북스+공개 | 장르 다양성 |
|
|
| 4 | 콘텐츠 요소(메타) 정답 라벨 | 메타 추출 F1 83 (No.3) | 컴북스 1단계분 | KLUE NER 공개로 보완 |
|
|
| 5 | **요약 정답셋(reference summary)** | 요약 ROUGE 65 (No.7) | **별도 구축** | 컴북스 미보유 → 역할분담 |
|
|
| 6 | **Human Feedback 선호 라벨** | 표절검출 HF 고도화 | **별도 구축** | 라벨링 공수 필요 |
|
|
|
|
→ #1~#4 는 컴북스 직접 제공, **#5·#6 은 컴북스가 줄 수 없는 데이터**로 제작 주체를 먼저 합의해야 한다.
|
|
|
|
---
|
|
|
|
## 1. 표절/비표절 샘플 글 (정밀도 97% 평가)
|
|
|
|
- **포맷 (JSONL)**: 표절 페어 단위
|
|
```json
|
|
{"pair_id": "A1-001", "source_text": "원본 ...", "suspect_text": "검사 대상 ...",
|
|
"is_plagiarism": true, "case_id": "A1", "note": "시·노래 가사 무단 인용"}
|
|
```
|
|
- **필수 커버리지**: 자동 탐지 대상 케이스(`detectable_internal=True`, 현재 10종)를
|
|
**모두** 포함. 케이스별 최소 30건 이상 권장(정밀도 0.97 신뢰구간 확보).
|
|
- 현재 요청 대상 케이스 목록은 `python -m scripts.analyze_case_coverage` 로 산출.
|
|
- **도메인**: 출판 콘텐츠뿐 아니라 **자서전 도메인** 표절/비표절을 별도 분리 제공.
|
|
(현 평가셋 999쌍은 출판 콘텐츠 기준 → 자서전 도메인 정밀도 미검증)
|
|
- **균형**: 표절:비표절 ≈ 1:1. 비표절에는 '합법적 인용·정상 2차 창작'을 포함해
|
|
과탐(FP)을 줄이는 hard-negative 로 활용.
|
|
|
|
## 2. article 본문 데이터 (요소 추출·군집화 코퍼스)
|
|
|
|
- **포맷**: `data/reference/` 와 동일한 `.txt` 또는 JSONL `{"doc_id","title","text"}`
|
|
- **수량**: 계획서 기준 3만건. 우선 1.5천~3천건 표본 선제공 가능하면 군집화·요소
|
|
추출 튜닝을 조기 착수.
|
|
- **저작권**: 학습/평가 사용 가능 범위(CCL 또는 계약)를 메타로 명시 → `license` 필드.
|
|
|
|
## 3. 도메인별 텍스트 (요약 범용성)
|
|
|
|
- 장르 다양성 확보용(소설/에세이/자서전/실용 등). 요약 모델의 도메인 편향 방지.
|
|
- 포맷은 #2 와 동일. `genre` 필드 권장.
|
|
|
|
## 4. 콘텐츠 요소(메타) 정답 라벨 (메타 F1)
|
|
|
|
- **포맷 (JSONL)** — `scripts/eval_metadata_f1.py` 입력과 동일:
|
|
```json
|
|
{"text": "원문 ...", "characters": ["홍길동"], "motifs": ["복수"],
|
|
"keywords": ["활빈당","탐관오리"], "genre": "역사"}
|
|
```
|
|
- 컴북스 1단계 '콘텐츠 구성요소 정의' 라벨을 article 단위로 제공.
|
|
- 공개 보완: KLUE NER(`--klue`)로 인물(PS) 추출 F1 을 즉시 측정 가능.
|
|
|
|
---
|
|
|
|
## 5. 요약 정답셋(reference summary) 작성 가이드 — **별도 구축 필요**
|
|
|
|
> 컴북스 데이터에는 '본문'만 있고 '요약 정답'이 없다. ROUGE(No.7) 평가는 정답
|
|
> 요약이 전제이므로 아래 가이드에 따라 별도 구축한다. **제작 주체 합의 필요**:
|
|
> (A) 컴북스가 작성 / (B) 오투오가 GPT 생성 후 컴북스 검수 / (C) 혼합.
|
|
|
|
- **포맷 (JSONL)** — `scripts/eval_rouge.py` 입력과 동일:
|
|
```json
|
|
{"text": "원문 전체 ...", "reference": "사람이 작성한 정답 요약 ..."}
|
|
```
|
|
- **작성 원칙**
|
|
1. 길이: 원문의 약 20~30% (또는 3~5문장). 일관된 비율 유지.
|
|
2. 내용: 원문에 **없는 사실 추가 금지**(환각 방지). 핵심 사건·인물·결말 포함.
|
|
3. 표현: 단순 문장 복사가 아니라 재구성(추상적 요약 평가 목적).
|
|
4. 1건당 1명이 작성하되, 신뢰도 위해 일부는 2명 작성 후 교차검수(IAA 확인).
|
|
- **수량**: No.7 신뢰 평가 위해 최소 200~300건(도메인 분산).
|
|
- **검수**: GPT 생성안 사용 시(경로 B), 컴북스 편집자가 사실관계·표현 검수 후 확정.
|
|
|
|
## 6. Human Feedback 선호 라벨 — **별도 구축 필요**
|
|
|
|
> 표절 검출 HF Preference Optimization(계획서 p.22)용. '표절 글을 비선호'로 학습.
|
|
> 단순 표절/비표절 데이터가 아니라 **사람의 선호 판단 라벨**이 필요(라벨링 공수).
|
|
|
|
- **파이프라인**: `scripts/build_preference_dataset.py`
|
|
1. `template` — 후보쌍(원본+글A+글B) → 라벨링 템플릿 생성
|
|
2. (사람) 각 행에 `chosen`/`rejected` 확정, `label_status="labeled"`
|
|
3. `convert` — 라벨 완료 파일 → DPO 학습셋(JSONL) + 검증/통계
|
|
- **라벨링 형식 (JSONL)**:
|
|
```json
|
|
{"pair_id":"p1","prompt":"...[원문]...","candidate_a":"정상 변형글",
|
|
"candidate_b":"표절글","label_status":"labeled",
|
|
"chosen":"정상 변형글","rejected":"표절글"}
|
|
```
|
|
- **수량**: 선호학습 최소 500쌍 이상 권장.
|
|
|
|
---
|
|
|
|
## 7. 공통 — 납기 명시 요청
|
|
|
|
정밀도 97%·요약 ROUGE 65 는 위 데이터가 전제이므로, **각 항목 제공 시점**을
|
|
함께 확정한다(연말 인수시험 역산). 부분 표본 선제공이 가능하면 군집화/요소추출
|
|
튜닝을 데이터 도착 전 표본으로 조기 착수한다.
|