o2o-plagiarism-ai/docs/AI_DETECTION.md

한국어 AI 생성 의심도 (ai_detector)

이 기능이 산출하는 값은 "AI가 썼다"는 판정이 아니라, 사람 검토를 어디에 먼저 배정할지 정하는 우선순위 점수입니다. 저자 통보·계약 조치·출간 거부의 단독 근거로 사용할 수 없습니다. 이유는 아래 3. 한계와 오탐 위험에 정리했습니다.

관련 파일:

파일	역할
app/engine/ai_detector.py	특징 추출 + 점수 산출 + 구간 채점
scripts/build_ai_training_dataset.py	xlsx(human) + JSONL/CSV(AI) → 학습셋
scripts/train_ai_detector.py	CPU 학습 + 보정 + 지표/아티팩트 저장
tests/test_ai_detector.py	단위테스트 (외부 다운로드 불필요)

---

1. 동작 모드 — 점수를 지어내지 않는다

세 가지 모드가 있고, 결과 객체의 is_stub / model_version / note 로 항상 구분 가능합니다. 기존 detector.py:_dummy_ai_generation_signal 처럼 문자 코드 합으로 만든 임의 더미는 이 모듈에 없습니다.

모드	조건	available	score	is_stub	model_version
unavailable	아티팩트 없음 + allow_heuristic=False (기본)	False	None	False	"unavailable"
heuristic	아티팩트 없음 + allow_heuristic=True	True	0~1	True	"heuristic-baseline-v1"
trained	학습 아티팩트 로드 성공	True	0~1 (보정됨)	False	예: logreg-nolen-kf-ko-v1-auroc0.912

기본값이 unavailable 인 이유는, 검증되지 않은 점수가 조용히 운영 화면에 노출되는 상황을 막기 위해서입니다. 휴리스틱을 켜려면 명시적으로 opt-in 해야 합니다.

export AI_DETECTOR_MODEL_PATH=/mnt/data1/o2o/ai_detector/model.joblib
export AI_DETECTOR_ALLOW_HEURISTIC=false   # 기본값

휴리스틱 baseline 에 대한 경고

heuristic 모드는 문헌상 알려진 경향(문장 길이 균일성, 쉼표 과다 등)을 선형 위치로 환산해 평균하는 규칙 계층입니다. 참조 구간 값은 아직 어떤 데이터로도 캘리브레이션되지 않은 자리표시자입니다. 79권 인간 저작 코퍼스로 FPR을 측정하기 전까지는 데모·개발 편의용으로만 쓰고, 대외 산출물이나 사용자 화면에 노출하지 마십시오.

---

2. 특징 (kf-ko-v1)

KatFishNet 계열의 한국어 표지를 결정적·설명 가능하게 구현했습니다. 총 54개(기본 37 + 품사 17)이며 FEATURE_NAMES 순서가 곧 모델 입력 벡터의 순서입니다. 이 순서는 아티팩트에 저장되어 로드 시 대조되며, 불일치하면 로드를 거부합니다.

계열	대표 특징	근거
띄어쓰기	mean_eojeol_len, cv_eojeol_len, long_eojeol_ratio	생성문의 어절 길이 분포가 더 균일
문장	cv_sentence_len, std_sentence_len, mean_sentence_len	burstiness — 사람 글은 문장 길이 기복이 큼
쉼표·부호	comma_per_sentence, comma_ratio, punct_diversity	생성문의 쉼표 과다 사용 경향
종결	end_da_ratio, end_yo_ratio, end_noun_ratio	종결어미 분포의 정형성
반복	char3gram_repeat_ratio, word_bigram_repeat_ratio, hapax_ratio	표현 재사용
품사	pos_bigram_entropy, pos_trigram_repeat_ratio, josa_diversity, eomi_diversity	품사 배열의 정형성, 조사·어미 다양도
길이	char_count, sentence_count, morph_count 등	보조 — 아래 경고 참조

품사 특징 폴백

품사 특징은 kiwipiepy 가 있을 때만 산출됩니다. 미설치·초기화 실패·토큰화 예외 어느 경우에도 예외를 밖으로 던지지 않고 품사 특징을 0.0 으로 두며 pos_available=0.0 을 세웁니다. 특징 벡터의 길이와 순서는 절대 변하지 않습니다. 모델이 품사로 학습됐는데(requires_pos=True) 실행 환경에 kiwi 가 없으면 pos_required_by_model_but_missing 경고가 붙습니다.

⚠️ 길이 특징 편향

human 에피소드와 AI 생성 표본의 분량 분포가 다르면, 모델은 문체가 아니라 길이를 학습합니다. 실제로 합성 데이터로 검증했을 때 상위 기여 특징이 sentence_count, char_count, morph_count 로 채워졌고, --drop-length-features 를 켜자 comma_ratio, josa_ratio, std_sentence_len 같은 실제 문체 지표로 바뀌었습니다.

실데이터에서는 두 설정을 모두 돌려 성능 차이를 반드시 비교하십시오. 길이를 빼도 성능이 유지되면 문체를 배운 것이고, 크게 떨어지면 길이만 보고 있었던 것입니다.

---

3. 한계와 오탐 위험

이 기능을 도입하기 전에 반드시 합의해야 할 항목입니다.

1. 자서전은 대필·윤문이 일상적입니다. 편집자가 다듬은 원고는 문체가 정제되어 AI 쪽으로 기울기 쉽습니다. 이 도메인에서 FP는 "저자가 AI로 썼다"는 통보로 이어질 수 있고, 그건 명예 문제입니다.
2. 학습에 쓰이지 않은 생성 모델에는 일반화가 잘 되지 않습니다. 특정 모델의 출력으로 학습하면 그 모델만 잡습니다.
3. 가벼운 수정으로 회피됩니다. 문장을 몇 개 쪼개고 쉼표만 지워도 주요 특징이 흔들립니다.
4. 짧은 글은 통계가 성립하지 않습니다. HARD_MIN_CHARS=120 미만은 채점을 거부하고, MIN_RELIABLE_CHARS=300 미만은 short_text_low_confidence 경고를 붙입니다.
5. 표절 점수와 절대 합산하지 마십시오. 세 점수(표절 / 침해위험 / AI의심)는 끝까지 독립 필드여야 합니다.

평가 기준은 F1 이 아니라 FPR

인간 저작을 AI로 오판하는 비용이 압도적으로 크므로, 임계값은 F1 최적점이 아니라 목표 FPR 상한에서 잡습니다. train_ai_detector.py 의 --target-fpr(기본 0.05, low_cut)과 --high-fpr(기본 0.01, high_cut)이 그 역할입니다. 모델은 train에서 적합하고 임계값은 모델이 보지 않은 val에서 정하며, test는 최종 보고에만 사용합니다. val human 표본이 100건 미만이면 FPR 컷이 불안정하다는 경고가 납니다.

low_cut == high_cut 경고가 뜨면 medium 배지가 사라진 상태입니다. 표본이 너무 쉽게 분리되거나 표본 수가 부족하다는 신호이니 데이터를 재점검하십시오.

---

4. provenance (작성 경로 추정)

확정이 아니라 검토자 참고용 분류입니다. 구간 점수 분포에서 유도합니다.

값	규칙	검토자 해석
human	문서·구간 모두 low	통상 검토
ai	문서 high, low 구간 없음	우선 검토
mixed	high 구간과 low 구간이 공존	부분 삽입 의심 — 어느 구간인지 확인
edited	전 구간이 medium 에 몰림	AI 초안 + 사람 윤문(또는 역) 가능성
unknown	채점 가능한 구간 없음 / 모델 미가용	판단 보류

mixed 가 실무상 가장 유용합니다. 문서 전체 점수 하나로는 "30만 자 중 한 챕터만 생성물"을 절대 못 잡지만, 구간 점수는 잡습니다.

---

5. 학습 절차

5.1 데이터 준비

# ① 컬럼 확인 (아무것도 쓰지 않음) — 반드시 먼저 실행
python scripts/build_ai_training_dataset.py --xlsx episodes.xlsx --inspect

# ② 빌드
python scripts/build_ai_training_dataset.py \
    --xlsx episodes.xlsx \
    --text-column "에피소드 본문" --book-column "도서명" \
    --ai-jsonl data/training/ai_samples.jsonl \
    --out data/training/ai_dataset.jsonl

AI 샘플 JSONL 형식 (--ai-text-field/--ai-generator-field 로 변경 가능):

{"text": "생성된 본문 …", "generator": "gpt-4o-mini", "book": ""}

5.2 누출 방지 — 이 설계의 핵심

분할 단위는 개별 텍스트가 아니라 source_group 입니다.

• human: book:<도서명> (도서 정보가 없으면 sheet:<시트명>)
• AI: ai:<generator> (또는 --ai-group-field 로 지정)

같은 책의 에피소드가 train 과 test 에 동시에 들어가면 모델이 문체가 아니라 그 책을 외웁니다. 빌더는 분할 후 그룹 중복을 검사해 발견 시 exit 1 로 실패하고, 학습 CLI도 train/val/test 그룹 중복을 확인해 exit 2 로 중단합니다.

분할은 해시 기반이라 결정적이며(--seed), 라벨별로 비율을 맞춥니다. 정규화 후 완전 중복 텍스트는 제거합니다(recovered.csv 에서 9,633행 중복이 나온 전례).

5.3 학습

python scripts/train_ai_detector.py \
    --data data/training/ai_dataset.jsonl \
    --model logreg \
    --drop-length-features \
    --target-fpr 0.05 --high-fpr 0.01 \
    --out data/models/ai_detector.joblib

• --model logreg — StandardScaler + LogisticRegression. 기본 권장. 계수 × 표준화값으로 기여도를 뽑을 수 있어 검토자에게 근거를 보여줄 수 있습니다.
• --model hgb — HistGradientBoosting. 성능이 나을 수 있으나 기여도를 못 뽑아 top_contributions 가 빕니다(지어내지 않습니다).
• 두 경우 모두 CalibratedClassifierCV(sigmoid) + StratifiedGroupKFold 로 확률을 보정합니다. 보정 안 된 점수를 "의심도 %"로 띄우면 검토자가 과신합니다.
• GPU 불필요, 외부 API 호출 없음.

즉시 실패하는 조건 (조용히 넘어가지 않고 exit 2): label 필드 없음 / 단일 클래스 / 소수 클래스 10건 미만 / source_group 4개 미만 / train·val·test 그룹 중복 / 어느 split이 단일 클래스 / train 그룹이 CV fold 보다 적음.

5.4 산출물

model.joblib 에는 estimator 와 함께 재현에 필요한 메타가 들어갑니다: feature_names, feature_set_version, model_version, requires_pos, zeroed_features, low_cut, high_cut, metrics, sklearn_version, trained_at. model.metrics.json 에 AUROC / AUPRC / confusion matrix / FPR / TPR / precision / recall / F1 이 train·validation·test 각각 저장됩니다.

---

6. 통합 연결점 (반영 완료)

아래 항목은 API 통합에 반영됐습니다. 변경 시 유지해야 할 계약으로 참고합니다.

6.1 app/core/config.py

ai_detector_model_path: str = "./data/models/ai_detector.joblib"
ai_detector_allow_heuristic: bool = False
ai_detector_enabled: bool = True

Settings가 get_ai_detector()에 모델 경로·휴리스틱 허용·품사 사용 설정을 주입합니다.

6.2 app/api/schemas.py — AiGenerationSignal 확장

AiGenerationSignal에는 아래 필드가 반영돼 있습니다.

추가 필드	타입	비고
available	bool	False 면 score/suspicion_level 이 None
provenance	Literal["human","ai","mixed","edited","unknown"]	4절
model_version	str	감사 추적용 — 어느 모델이 낸 점수인지
feature_set_version	str	kf-ko-v1
warnings	list[str]	short_text_low_confidence 등
segments	list[SegmentScore]	구간별 점수
top_contributions	list[{feature, contribution}]	설명 근거
pos_available	bool	품사 특징 사용 여부

score는 None을 허용하고 suspicion_level=unknown으로 unavailable 상태를 표현합니다.

6.3 app/engine/detector.py

문자 코드 합 더미는 제거됐고 전처리 전 raw text를 탐지기에 전달합니다.

from app.engine.ai_detector import get_ai_detector

ai_result = get_ai_detector().detect(text)

ReviewSummary.ai_suspicion_level은 unknown을 지원하므로 미학습 결과를 low로 오독하지 않습니다.

단건 탐지는 threadpool에서 실행하고, 배치 경로는 구간 채점을 생략해 CPU 부하를 줄입니다.

6.4 바이칼 연동 문서

docs/API_SPEC_BAIKAL.md / docs/API_GUIDE_BAIKAL.md도 미학습 시 unknown/null을 반환하도록 갱신했습니다. is_stub=false여도 확정 판정은 아닙니다.

---

7. 테스트

python -m pytest tests/test_ai_detector.py -q

51건. 외부 모델 다운로드·네트워크 없이 통과합니다. sklearn/kiwipiepy/joblib 미설치 환경에서도 핵심 경로는 전부 돌아가며(학습 모델 경로는 stub estimator 로 검증), joblib 이 있어야만 의미 있는 파일 아티팩트 3건만 skip 됩니다.

검증 항목: 특징 키 완전성·결정성·벡터 순서 계약 / 해시 더미가 아님(구조가 같으면 구조 특징도 같음) / kiwi 부재·토큰화 예외 폴백 / 길이특징 마스킹의 학습·추론 일치 / unavailable 시 점수 미산출 / 휴리스틱의 스텁 표기와 방향성 / 짧은 텍스트 거부·경고 / 구간 오프셋 유효성 / provenance 규칙 / 추론 실패 전파 / 특징 불일치 아티팩트 로드 거부 / JSON 직렬화.

---

8. 지표 없이 운영하기 — 백분위 컷 (권장 경로)

AI 생성 표본이 없어 정확도를 측정할 수 없을 때의 실용 경로다. 모델 학습도 성능지표도 없이 규칙 점수만으로 검토 우선순위를 매긴다.

8.1 점수의 의미를 바꾼다

"AI일 확률"은 라벨 없이 측정할 수 없다. 대신 등록 코퍼스가 전부 인간 저작이라는 사실을 이용해, 그 점수 분포의 상위 백분위를 컷으로 잡는다. 그러면 결과는

"등록 자서전 대비 상위 2% 이례적 문체 → 우선 검토"

가 되며, 이 진술은 정확도를 측정하지 않아도 참이다. 덤으로 high 배지 비율이 정의상 고정되어 검토 부하가 예측 가능해진다. 반면 "AI 확률 72%"는 어떤 근거로도 방어할 수 없다. 이 차이 때문에 백분위 컷을 권장한다.

8.2 절차

# 서버와 같은 환경(kiwipiepy 포함)에서 실행할 것 — 품사 특징 유무가 점수를 바꾼다
python scripts/calibrate_ai_detector_cuts.py \
    --database data/runtime/corpus.sqlite3 --sample 3000

출력된 두 줄을 .env 에 넣고 AI_DETECTOR_ALLOW_HEURISTIC=true 와 함께 재시작한다.

AI_DETECTOR_ALLOW_HEURISTIC=true
AI_DETECTOR_LOW_CUT=0.7024
AI_DETECTOR_HIGH_CUT=0.7352

--low-percentile(기본 90) / --high-percentile(기본 98) 로 배지 비율을 조절한다. low/high 는 둘 다 설정해야 적용된다. 하나만 넣으면 자리표시자로 되돌아간다.

8.3 스크립트가 거부하는 경우

규칙 점수는 각 규칙이 [0,1] 로 clip 되므로 상단에서 포화할 수 있다. 포화가 심하면 p90 과 p98 이 같은 값이 되고, 그 컷을 쓰면 high 배지가 영원히 0건이 된다. 이 경우 스크립트는 .env 를 출력하지 않고 exit 3 으로 중단하며 진단을 남긴다 (saturated_share, distinct_scores). 대응은 --high-percentile 을 낮추거나, 표본을 늘리거나, 표본이 특정 도서에 치우쳤는지 확인하는 것이다.

유효 표본 100건 미만이면 백분위가 불안정하므로 exit 2 로 중단한다.

8.4 캘리브레이션해도 달라지지 않는 것

• is_stub 은 여전히 true 다. 컷을 맞췄을 뿐 학습된 모델이 아니다.
• model_version 만 heuristic-baseline-v1 → heuristic-baseline-v1+corpus-percentile 로 바뀌어 컷의 출처를 드러낸다.
• AI 생성 텍스트를 실제로 구분한다는 근거는 여전히 없다. 이 점수가 높다는 것은 "등록된 인간 원고들과 문체 통계가 다르다"는 뜻일 뿐이며, 번역체·대필·윤문·장르 차이 모두가 같은 방향으로 점수를 올린다.
• 따라서 저자·편집자에게 노출할 때는 "AI 생성 의심도"보다 "문체 이례도" 로 표기하고, 검토 우선순위 정렬 용도로만 쓸 것을 권한다.