성적서 '4. 모델 결과' 는 plagiarism_detection_performance 아래에
test_dataset / confusion_matrix / performance_metrics / threshold /
interpretation 을 담은 JSON 을 캡처해 싣는다. 그 형식으로 출력한다.
threshold 는 전 차수처럼 단일 수치가 아니라 세 조건(결합유사도 0.65 /
연속일치 35자 / 커버리지 0.30)의 조합이므로 객체로 둔다. 유사도만으로
판정하지 않는다는 점이 판정 기준의 핵심이라 수치 하나로 줄이면 오해를 준다.
interpretation 문구는 실제 confusion matrix 에서 계산한다.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
성능지표 #4(표절 판별 정밀도) 를 공인시험에서 재현할 수 있게 시험셋 생성기,
평가 실행기, python 3.9 평가 컨테이너, 시험절차서를 둔다.
시험셋은 작성자 단위로 코퍼스를 나눠 만든다. 비표절 시료를 참조 코퍼스에서
뽑으면 인덱스가 자기 자신을 찾아 전부 오탐이 되므로, 인덱스에 없는 작성자의
글만 쓴다. 무관한 글만 넣으면 정밀도가 부풀려져 주제 근접 시료 150건을 따로
섞는다. 실제 오탐이 나는 유형이 그것이다.
대필(인칭 전환)은 제외한다. 원문이 그대로 남지만 표절 여부가 계약·동의로
갈려 텍스트만으로 판정할 수 없다.
자체 측정 결과 정밀도 0.9840 (TP=493 FP=8 TN=492 FN=7). 목표 0.97 을 넘고,
오탐 8건 중 7건이 주제 근접 시료에서 나와 난이도가 운영 조건을 반영한다.
시험셋에는 자서전 원문이 들어가므로 저장소에 두지 않는다. 시드가 manifest 에
고정돼 있어 생성기로 동일하게 재생성된다.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
