hbyang 76c710c6ef feat: support dedup rerun and configurable exact-span threshold ... 상무님 지적 두 가지를 검증 가능한 형태로 만든다. 1) 중복 원고: 코퍼스 6343건 중 247그룹 503건이 중복이고, 침해의심 103건 중 28건이 여기서 비롯됐다. 다만 247그룹 중 234그룹이 서로 다른 문서 사이의 중복이라 같은 제출자의 재제출인지 다른 제출자의 표절인지 아직 모른다. 지우기 전에 원문째로 남기도록 build_duplicate_report.py 를 둔다. 2) 연속 일치 기준 80자: 근거 없이 잡힌 초기값이다. 무관한 원고 4만 쌍을 대조해 재보니 3어절 100%, 4어절 99.8%, 5어절 47%, 7어절 0% 오탐이다 (한 건을 6343건과 대조하는 효과 반영). 관행인 3~5어절은 쓸 수 없고 7어절 = 공백 포함 27자가 오탐 0% 를 유지하는 최저점이다. 배치에 --exclude-segments 와 --min-exact-span 을 추가한다. 중복은 질의와 색인 양쪽에서 함께 빼야 한다. 한쪽만 빼면 지운 원고가 여전히 상대로 잡힌다. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>		2026-09-03 10:29:27 +09:00
..
analyze_case_coverage.py	2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전)	2026-06-18 13:16:07 +09:00
apply_precedent_grades.py	feat: 전체 판례 검색과 판례 탭 추가	2026-08-20 16:20:37 +09:00
build_ai_training_dataset.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
build_duplicate_report.py	feat: support dedup rerun and configurable exact-span threshold	2026-09-03 10:29:27 +09:00
build_persistent_index.py	Claude 리뷰 기반 운영 안정성 보강	2026-08-10 16:42:17 +09:00
build_precedent_listup_xlsx.py	docs: 적재본 545건의 출처 내역 추가 (컴북스 31 / 위원회 514)	2026-08-20 12:57:34 +09:00
build_precedent_listup.py	docs: 자서전·출판물 표절 판단 근거 판례 리스트업 추가	2026-08-19 14:44:20 +09:00
build_preference_dataset.py	2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전)	2026-06-18 13:16:07 +09:00
build_report_xlsx.py	feat: report original text and judgment criteria for review	2026-09-03 09:49:50 +09:00
build_summary_annotation_packet.py	feat: 요약 검수 패킷과 수기집 원본 수집 도구 추가	2026-08-20 17:24:39 +09:00
calibrate_ai_detector_cuts.py	feat: OCR·조판 아티팩트 정규화와 백분위 컷 캘리브레이션	2026-08-19 13:53:59 +09:00
clean_ai_samples.py	feat: 전달 파일 전용 정책과 AI 표본 품질 감사 추가	2026-08-21 08:44:22 +09:00
collect_copyright_precedents.py	feat: 판례 GPT 판단과 연동 가이드 최신화	2026-08-18 11:10:02 +09:00
eval_metadata_f1.py	2단계 고도화 선행 작업: 군집화·요약·평가환경·데이터 스펙 (데이터 수령 전)	2026-06-18 13:16:07 +09:00
eval_rouge.py	fix: 요약 ROUGE를 계획서 수식에 맞춤 (F1 → recall, 다중 참조)	2026-08-19 13:54:22 +09:00
evaluate_o2o_dataset.py	Initial commit: O2O 저작권 침해 여부 탐지 API	2026-05-13 11:20:17 +09:00
evaluate_pairs.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
extract_source_documents.py	3.5만 에피소드 기반 표절·AI·판례 분석 파이프라인 구현	2026-08-10 16:12:15 +09:00
extract_suspected_excerpts.py	feat: report original text and judgment criteria for review	2026-09-03 09:49:50 +09:00
generate_ai_samples.py	chore: AI 생성 설정 provenance 기록	2026-08-20 17:22:14 +09:00
generate_plagiarism_pairs.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
ingest_life_writing.py	feat: add anonymized infringement batch reporting	2026-09-02 09:23:45 +09:00
ingest_o2o_xlsx.py	feat: 수령 자서전 데이터 파이프라인과 맞춤 요약 추가	2026-08-20 16:59:17 +09:00
run_embedding_infringement_batch.py	feat: support dedup rerun and configurable exact-span threshold	2026-09-03 10:29:27 +09:00
run_infringement_batch.py	feat: support sharded infringement batches	2026-09-02 09:28:38 +09:00
sample_curl.sh	API Key 인증 완전 제거	2026-05-14 08:58:28 +09:00
sample_python.py	API Key 인증 완전 제거	2026-05-14 08:58:28 +09:00
train_ai_detector.py	feat: AI 의심도 모델의 학습 범위 노출	2026-08-21 09:06:26 +09:00
validate_precedents.py	feat: 판례 GPT 판단과 연동 가이드 최신화	2026-08-18 11:10:02 +09:00
visualize_eval_v2.py	성능지표 및 레포트 업로드 .	2026-05-18 14:54:01 +09:00
visualize_eval.py	Initial commit: O2O 저작권 침해 여부 탐지 API	2026-05-13 11:20:17 +09:00