diff --git a/docs/TEST_PLAN_2026_PHASE2.md b/docs/TEST_PLAN_2026_PHASE2.md index 2b9f172..cfe409d 100644 --- a/docs/TEST_PLAN_2026_PHASE2.md +++ b/docs/TEST_PLAN_2026_PHASE2.md @@ -534,15 +534,48 @@ f1 = 2 * precision * recall / (precision + recall) if (precision + recall #### 4. 모델 결과 +```json +{ + "plagiarism_detection_performance": { + "model": "O2O Triple-Similarity Detector", + "engine_version": "o2o-plagiarism-2.2.0-persistent-cpu", + "test_dataset": { + "total_samples": 1000, + "plagiarism_cases": 500, + "non_plagiarism_cases": 500 + }, + "confusion_matrix": { + "true_positive": 493, + "false_positive": 8, + "true_negative": 492, + "false_negative": 7 + }, + "performance_metrics": { + "precision": 0.984, + "recall": 0.986, + "f1_score": 0.985, + "accuracy": 0.985 + }, + "threshold": { + "combined_similarity": 0.65, + "min_exact_span_chars": 35, + "min_coverage": 0.3, + "require_exact_span_evidence": true + }, + "interpretation": { + "precision": "모델이 표절로 판단한 501건 중 493건(98.4%)이 실제 표절", + "recall": "실제 표절 500건 중 493건(98.6%)을 정확히 탐지", + "false_positive_rate": "1.6%" + } + } +} ``` -판정 기준: 유사도>=0.65 | 연속일치>=35자 | 커버리지>=0.30 | 연속일치 필수=True -============================================================== -표절 여부 판별 정밀도 (precision) : 0.9840 [목표 0.97] -재현율 (recall) : 0.9860 -F1 : 0.9850 -TP=493 FP=8 TN=492 FN=7 +**최종 결과 : precision 98.40% 달성** +변형 유형별 분해는 다음과 같다. + +``` [변형 유형별] compress n= 50 P=1.000 R=1.000 TP=50 FP=0 TN=0 FN=0 hard_negative n= 150 P=0.000 R=0.000 TP=0 FP=7 TN=143 FN=0 @@ -554,9 +587,8 @@ TP=493 FP=8 TN=492 FN=7 ``` 오탐 8건 중 7건이 주제 근접 시료(하드 네거티브)에서 발생하여, 시험 난이도가 -실제 운영 조건을 반영하고 있음을 확인하였다. - -**최종 결과 : precision 98.40% 달성** +실제 운영 조건을 반영하고 있음을 확인하였다. 완전복제·문장재배열·축약은 +미탐지 0건이며, 어휘치환 150건 중 6건만 놓쳤다. --- ---