hbyang
018dbc4a8f
유사도만 넘고 그대로 겹친 구간이 없는 후보를 채택하지 않는다. 같은 주제를 다룬 글은 임베딩 유사도가 함께 오르므로 유사도 단독 판정은 오탐이 된다. 실데이터 106건 중 29건이 연속 일치 0자 또는 35자 미만이었고, 현장 검토에서 31건이 오탐으로 판정됐다. 이 조건을 걸면 106 -> 77건이 되어 그 29건이 빠진다. 반대로 새로 놓치는 건은 없다(미탐지 7,680건 재판정 결과 0건). persistent_min_exact_span 기본값도 80 -> 35 로 내린다. 9어절 = 공백 포함 35자이며, 어절 3~9 스윕과 문서쌍 전수 대조로 정한 값이다. 이전 80은 근거 없이 잡힌 초기값이었다. 정밀도 지표(성능지표 #4)를 정면으로 겨냥한 변경이다. 오탐을 줄이는 방향이 정밀도 목표와 일치한다. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| config.py | ||