o2o-plagiarism-ai/scripts
hbyang 8ae52b0a82 feat: add summary (No.7) consensus and grounded generation trials
요약 성능지표(No.7, ROUGE 65점) 실험 일습을 커밋한다.

- app/engine/summary_consensus.py: 후보 5개 생성 후 합의 선택(select_consensus).
  문자/어절 2-gram 가중 합의로 고르며, 유효 후보가 없으면 valid=False 를 낸다.
- app/engine/summary_grounded.py: 근거 추출 후 압축하는 2단계 생성.
- summarizer.py: 추출 전략 3종(textrank/coverage/lead). coverage 는 MMR 로
  중복 문장을 눌러 문서 전체를 넓게 담는다. 기본값은 textrank 로 유지한다.

스크립트는 생성·평가·검증을 분리했다. verify_* 는 API 호출 없이 저장된 산출물만
재계산하는 독립 검증기라 지표를 공용 함수로 합치지 않는다. 합치면 검증이 성립하지
않는다. tune_summarizer 는 사람 검수 참조(build_summary_annotation_packet ->
export_summary_annotations)를 입력으로 받아 선택과 최종 보고를 분리한다.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-09-28 10:02:04 +09:00
..
analyze_case_coverage.py chore: prune docs to score-evidence set and drop sweep intermediates 2026-09-28 09:55:02 +09:00
apply_precedent_grades.py feat: 전체 판례 검색과 판례 탭 추가 2026-08-20 16:20:37 +09:00
bench_summarizer.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
build_ai_training_dataset.py feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가 2026-08-20 16:59:17 +09:00
build_persistent_index.py Claude 리뷰 기반 운영 안정성 보강 2026-08-10 16:42:17 +09:00
build_plagiarism_testset.py feat: add precision test harness and 2-1년차 test plan 2026-09-14 14:56:02 +09:00
build_precedent_listup_xlsx.py docs: 적재본 545건의 출처 내역 추가 (컴북스 31 / 위원회 514) 2026-08-20 12:57:34 +09:00
build_precedent_listup.py docs: 자서전·출판물 표절 판단 근거 판례 리스트업 추가 2026-08-19 14:44:20 +09:00
build_preference_dataset.py 2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전) 2026-06-18 13:16:07 +09:00
build_report_xlsx.py reports 수정 및 script 수정 . 2026-09-07 10:45:33 +09:00
build_summary_annotation_packet.py feat: 요약 검수 패킷과 수기집 원본 수집 도구 추가 2026-08-20 17:24:39 +09:00
build_summary_trial.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
calibrate_ai_detector_cuts.py feat: OCR·조판 아티팩트 정규화와 백분위 컷 캘리브레이션 2026-08-19 13:53:59 +09:00
clean_ai_samples.py feat: 전달 파일 전용 정책과 AI 표본 품질 감사 추가 2026-08-21 08:44:22 +09:00
collect_copyright_precedents.py feat: 판례 GPT 판단과 연동 가이드 최신화 2026-08-18 11:10:02 +09:00
eval_metadata_f1.py 2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전) 2026-06-18 13:16:07 +09:00
eval_rouge.py feat: prepare summary (No.7) section in certificate format 2026-09-16 16:36:53 +09:00
evaluate_grounded_summary.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
evaluate_o2o_dataset.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
evaluate_pairs.py feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가 2026-08-20 16:59:17 +09:00
export_summary_annotations.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
extract_source_documents.py 3.5만 에피소드 기반 표절·AI·판례 분석 파이프라인 구현 2026-08-10 16:12:15 +09:00
extract_suspected_excerpts.py feat: report original text and judgment criteria for review 2026-09-03 09:49:50 +09:00
generate_ai_samples.py chore: AI 생성 설정 provenance 기록 2026-08-20 17:22:14 +09:00
generate_plagiarism_pairs.py feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가 2026-08-20 16:59:17 +09:00
improve_summary_trial.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
ingest_life_writing.py feat: add anonymized infringement batch reporting 2026-09-02 09:23:45 +09:00
ingest_o2o_xlsx.py feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가 2026-08-20 16:59:17 +09:00
refine_word_consensus.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
rescore_recall.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
run_embedding_infringement_batch.py feat: query life writing at segment level 2026-09-04 14:40:53 +09:00
run_infringement_batch.py feat: query life writing at segment level 2026-09-04 14:40:53 +09:00
run_precision_eval.py feat: emit precision result in scorecard JSON format 2026-09-16 16:01:49 +09:00
sample_curl.sh API Key 인증 완전 제거 2026-05-14 08:58:28 +09:00
sample_python.py API Key 인증 완전 제거 2026-05-14 08:58:28 +09:00
show_klue_ner_samples.py feat: add id offset and prediction array output to NER sample viewer 2026-09-16 14:40:29 +09:00
show_plagiarism_samples.py feat: add plagiarism testset sample viewer for scorecard capture 2026-09-16 16:26:03 +09:00
show_summary_samples.py feat: prepare summary (No.7) section in certificate format 2026-09-16 16:36:53 +09:00
train_ai_detector.py feat: AI 의심도 모델의 학습 범위 노출 2026-08-21 09:06:26 +09:00
train_klue_ner.py fix: derive KLUE NER labels from dataset, not hardcoded order 2026-09-16 13:40:04 +09:00
tune_summarizer.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
validate_precedents.py feat: 판례 GPT 판단과 연동 가이드 최신화 2026-08-18 11:10:02 +09:00
verify_grounded_summary.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
verify_summary_improvement.py feat: add summary (No.7) consensus and grounded generation trials 2026-09-28 10:02:04 +09:00
visualize_eval_v2.py chore: drop superseded eval visualizer and duplicate ROUGE helper 2026-09-18 09:48:12 +09:00