hbyang
0223abd145
성능지표 #4(표절 판별 정밀도) 를 공인시험에서 재현할 수 있게 시험셋 생성기, 평가 실행기, python 3.9 평가 컨테이너, 시험절차서를 둔다. 시험셋은 작성자 단위로 코퍼스를 나눠 만든다. 비표절 시료를 참조 코퍼스에서 뽑으면 인덱스가 자기 자신을 찾아 전부 오탐이 되므로, 인덱스에 없는 작성자의 글만 쓴다. 무관한 글만 넣으면 정밀도가 부풀려져 주제 근접 시료 150건을 따로 섞는다. 실제 오탐이 나는 유형이 그것이다. 대필(인칭 전환)은 제외한다. 원문이 그대로 남지만 표절 여부가 계약·동의로 갈려 텍스트만으로 판정할 수 없다. 자체 측정 결과 정밀도 0.9840 (TP=493 FP=8 TN=492 FN=7). 목표 0.97 을 넘고, 오탐 8건 중 7건이 주제 근접 시료에서 나와 난이도가 운영 조건을 반영한다. 시험셋에는 자서전 원문이 들어가므로 저장소에 두지 않는다. 시드가 manifest 에 고정돼 있어 생성기로 동일하게 재생성된다. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
20 lines
765 B
Docker
20 lines
765 B
Docker
# 성능지표 평가 전용 이미지.
|
|
# 계획서가 평가환경을 python 3.9 로 못박아 두었고(성능지표 #3/#4/#7),
|
|
# 시험 서버의 시스템 파이썬은 3.6.9 라 컨테이너로 맞춘다. GPU 는 쓰지 않는다.
|
|
FROM python:3.9-slim
|
|
|
|
WORKDIR /app
|
|
RUN apt-get update && apt-get install -y --no-install-recommends gcc g++ \
|
|
&& rm -rf /var/lib/apt/lists/*
|
|
COPY requirements.txt .
|
|
RUN pip install --no-cache-dir -r requirements.txt
|
|
COPY app ./app
|
|
COPY scripts ./scripts
|
|
COPY data/taxonomy ./data/taxonomy
|
|
COPY data/precedents ./data/precedents
|
|
COPY data/autobiography ./data/autobiography
|
|
COPY data/reference ./data/reference
|
|
|
|
ENV USE_LLM_LEGAL_JUDGE=false
|
|
CMD ["python", "scripts/run_precision_eval.py", "--testset", "data/eval/testset_v2"]
|