hbyang 0223abd145 feat: add precision test harness and 2-1년차 test plan ... 성능지표 #4(표절 판별 정밀도) 를 공인시험에서 재현할 수 있게 시험셋 생성기, 평가 실행기, python 3.9 평가 컨테이너, 시험절차서를 둔다. 시험셋은 작성자 단위로 코퍼스를 나눠 만든다. 비표절 시료를 참조 코퍼스에서 뽑으면 인덱스가 자기 자신을 찾아 전부 오탐이 되므로, 인덱스에 없는 작성자의 글만 쓴다. 무관한 글만 넣으면 정밀도가 부풀려져 주제 근접 시료 150건을 따로 섞는다. 실제 오탐이 나는 유형이 그것이다. 대필(인칭 전환)은 제외한다. 원문이 그대로 남지만 표절 여부가 계약·동의로 갈려 텍스트만으로 판정할 수 없다. 자체 측정 결과 정밀도 0.9840 (TP=493 FP=8 TN=492 FN=7). 목표 0.97 을 넘고, 오탐 8건 중 7건이 주제 근접 시료에서 나와 난이도가 운영 조건을 반영한다. 시험셋에는 자서전 원문이 들어가므로 저장소에 두지 않는다. 시드가 manifest 에 고정돼 있어 생성기로 동일하게 재생성된다. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>		2026-09-14 14:56:02 +09:00
..
analyze_case_coverage.py	2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전)	2026-06-18 13:16:07 +09:00
apply_precedent_grades.py	feat: 전체 판례 검색과 판례 탭 추가	2026-08-20 16:20:37 +09:00
build_ai_training_dataset.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
build_persistent_index.py	Claude 리뷰 기반 운영 안정성 보강	2026-08-10 16:42:17 +09:00
build_plagiarism_testset.py	feat: add precision test harness and 2-1년차 test plan	2026-09-14 14:56:02 +09:00
build_precedent_listup_xlsx.py	docs: 적재본 545건의 출처 내역 추가 (컴북스 31 / 위원회 514)	2026-08-20 12:57:34 +09:00
build_precedent_listup.py	docs: 자서전·출판물 표절 판단 근거 판례 리스트업 추가	2026-08-19 14:44:20 +09:00
build_preference_dataset.py	2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전)	2026-06-18 13:16:07 +09:00
build_report_xlsx.py	reports 수정 및 script 수정 .	2026-09-07 10:45:33 +09:00
build_summary_annotation_packet.py	feat: 요약 검수 패킷과 수기집 원본 수집 도구 추가	2026-08-20 17:24:39 +09:00
calibrate_ai_detector_cuts.py	feat: OCR·조판 아티팩트 정규화와 백분위 컷 캘리브레이션	2026-08-19 13:53:59 +09:00
clean_ai_samples.py	feat: 전달 파일 전용 정책과 AI 표본 품질 감사 추가	2026-08-21 08:44:22 +09:00
collect_copyright_precedents.py	feat: 판례 GPT 판단과 연동 가이드 최신화	2026-08-18 11:10:02 +09:00
eval_metadata_f1.py	2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전)	2026-06-18 13:16:07 +09:00
eval_rouge.py	fix: 요약 ROUGE를 계획서 수식에 맞춤 (F1 → recall, 다중 참조)	2026-08-19 13:54:22 +09:00
evaluate_o2o_dataset.py	Initial commit: O2O 저작권 침해 여부 탐지 API	2026-05-13 11:20:17 +09:00
evaluate_pairs.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
extract_source_documents.py	3.5만 에피소드 기반 표절·AI·판례 분석 파이프라인 구현	2026-08-10 16:12:15 +09:00
extract_suspected_excerpts.py	feat: report original text and judgment criteria for review	2026-09-03 09:49:50 +09:00
generate_ai_samples.py	chore: AI 생성 설정 provenance 기록	2026-08-20 17:22:14 +09:00
generate_plagiarism_pairs.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
ingest_life_writing.py	feat: add anonymized infringement batch reporting	2026-09-02 09:23:45 +09:00
ingest_o2o_xlsx.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
run_embedding_infringement_batch.py	feat: query life writing at segment level	2026-09-04 14:40:53 +09:00
run_infringement_batch.py	feat: query life writing at segment level	2026-09-04 14:40:53 +09:00
run_precision_eval.py	feat: add precision test harness and 2-1년차 test plan	2026-09-14 14:56:02 +09:00
sample_curl.sh	API Key 인증 완전 제거	2026-05-14 08:58:28 +09:00
sample_python.py	API Key 인증 완전 제거	2026-05-14 08:58:28 +09:00
train_ai_detector.py	feat: AI 의심도 모델의 학습 범위 노출	2026-08-21 09:06:26 +09:00
validate_precedents.py	feat: 판례 GPT 판단과 연동 가이드 최신화	2026-08-18 11:10:02 +09:00
visualize_eval_v2.py	성능지표 및 레포트 업로드 .	2026-05-18 14:54:01 +09:00
visualize_eval.py	Initial commit: O2O 저작권 침해 여부 탐지 API	2026-05-13 11:20:17 +09:00