- scripts/generate_posts.mjs + gen/{evidence,prompt,serialize}.mjs, briefs/README.md, 새 문항 brief 예시
- 게이트 COMPARISON_CLAIM(타 병원·업계 평균 비교 수치) 신설 + 픽스처, 금칙어 부정문 예외, 직렬화 왕복 테스트
- 회귀 리포트·샘플 3편 docs/reports/viewclinic/04_supporters, v2 §11-5 기록
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
94 lines
5.7 KiB
JavaScript
94 lines
5.7 KiB
JavaScript
// 게이트 규칙 회귀 테스트. 빌드 없이 돈다.
|
|
// 1) fixtures/*.md : frontmatter `expect:` 에 적힌 error 코드가 실제로 나와야 통과
|
|
// 2) fixtures/*.html: 첫 줄 주석의 expect 코드 (none = 오류 0)
|
|
// 3) src/content/posts/*.md 전편이 소스 규칙 error 0 이어야 통과 (정답지 회귀)
|
|
// node scripts/gate/test.mjs
|
|
import { readdirSync, readFileSync } from 'node:fs';
|
|
import { join } from 'node:path';
|
|
import { fileURLToPath } from 'node:url';
|
|
import yaml from 'js-yaml';
|
|
import * as R from './rules.mjs';
|
|
|
|
const here = (p) => fileURLToPath(new URL(p, import.meta.url));
|
|
const FIX = here('./fixtures/');
|
|
const POSTS = here('../../src/content/posts/');
|
|
const authors = JSON.parse(readFileSync(here('../../src/data/authors.json'), 'utf8'));
|
|
const ctx = { physicians: authors.physicians, supporters: authors.supporters }; // 실제 글 회귀용
|
|
const fx = JSON.parse(readFileSync(join(FIX, '_authors.json'), 'utf8'));
|
|
const fxCtx = { physicians: fx.physicians, supporters: fx.supporters }; // 픽스처용
|
|
const base = yaml.load(readFileSync(join(FIX, '_base.yml'), 'utf8'));
|
|
|
|
let pass = 0, failCount = 0;
|
|
const ok = (name, msg = '') => { pass++; console.log(` ✓ ${name}${msg ? ' · ' + msg : ''}`); };
|
|
const bad = (name, msg) => { failCount++; console.error(` ✗ ${name}: ${msg}`); };
|
|
const codes = (list, level = R.E) => [...new Set(list.filter((x) => x.level === level).map((x) => x.code))];
|
|
|
|
// 1) md 픽스처
|
|
for (const f of readdirSync(FIX).filter((x) => x.endsWith('.md'))) {
|
|
const { data, body } = R.parseMarkdown(readFileSync(join(FIX, f), 'utf8'));
|
|
const { expect = [], ...fm } = data;
|
|
const merged = { ...base, ...fm };
|
|
const got = codes(R.checkPostSource({ data: merged, body }, fxCtx));
|
|
const missing = expect.filter((c) => !got.includes(c));
|
|
const extra = got.filter((c) => !expect.includes(c));
|
|
if (missing.length) bad(f, `기대한 오류가 안 나옴: ${missing.join(', ')} (실제: ${got.join(', ') || '없음'})`);
|
|
else if (extra.length) bad(f, `기대 밖 오류: ${extra.join(', ')}`);
|
|
else ok(f, got.join(', '));
|
|
}
|
|
|
|
// 2) html 픽스처 (dist 규칙)
|
|
for (const f of readdirSync(FIX).filter((x) => x.endsWith('.html'))) {
|
|
const html = readFileSync(join(FIX, f), 'utf8');
|
|
const expect = html.match(/expect:\s*([A-Z_]+|\(none\))/)?.[1];
|
|
const text = R.stripHtml(html);
|
|
const got = codes([...R.checkOperatorVocab(text, `/${f}`), ...R.checkBannedBody(text), ...R.checkHeadingEndings(html)]);
|
|
if (expect === '(none)') got.length ? bad(f, `오류 없어야 하는데: ${got.join(', ')}`) : ok(f, '오류 0');
|
|
else got.includes(expect) ? ok(f, got.join(', ')) : bad(f, `기대 ${expect}, 실제 ${got.join(', ') || '없음'}`);
|
|
}
|
|
|
|
// 3) 정답지 회귀: 실제 18편은 error 0
|
|
let postErrors = 0;
|
|
for (const f of readdirSync(POSTS).filter((x) => x.endsWith('.md'))) {
|
|
const parsed = R.parseMarkdown(readFileSync(join(POSTS, f), 'utf8'));
|
|
const errs = R.checkPostSource(parsed, ctx).filter((x) => x.level === R.E);
|
|
if (errs.length) { postErrors += errs.length; errs.forEach((e) => bad(`posts/${f}`, `[${e.code}] ${e.msg}`)); }
|
|
}
|
|
if (!postErrors) ok('src/content/posts 전편', `소스 규칙 error 0 (${readdirSync(POSTS).filter((x) => x.endsWith('.md')).length}편)`);
|
|
|
|
// 4) 부정문·임상 의견 표기는 통과해야 한다 (정답지에 실제로 있는 문장)
|
|
const negatives = [
|
|
'다만 답변만으로 운영 실태나 수술 안전이 보장되는 것은 아닙니다.',
|
|
'나노텍스처를 선호한다는 것이 손유성 원장의 임상 판단이며, 독립 연구로 비교우위가 확정됐다는 뜻은 아닙니다.',
|
|
];
|
|
const negGot = R.checkConclusions(negatives.map((text) => ({ field: 'body', text })));
|
|
negGot.length ? bad('부정문 통과', negGot.map((x) => x.msg).join(' | ')) : ok('부정문·임상 의견 문장 통과');
|
|
|
|
// 5) 생성기 직렬화 왕복: 정답지 frontmatter → js-yaml dump → 다시 파싱해도 값이 같고, 소스 게이트(금칙어·비교 수치·홈페이지 중복 포함) error 0
|
|
{
|
|
const { toMarkdown, gatePost } = await import('../gen/serialize.mjs');
|
|
const homeText = readFileSync(here('../home_text.txt'), 'utf8');
|
|
const KEYS = ['title', 'summary', 'description', 'faq', 'sources', 'videos', 'qbIds', 'tags', 'hero', 'thumbnail', 'reviewer', 'reviewedAt', 'datePublished'];
|
|
let rt = 0;
|
|
for (const f of readdirSync(POSTS).filter((x) => x.endsWith('.md'))) {
|
|
const g = R.parseMarkdown(readFileSync(join(POSTS, f), 'utf8'));
|
|
const md = toMarkdown(g.data, g.body);
|
|
const m = R.parseMarkdown(md);
|
|
for (const k of KEYS) if (JSON.stringify(g.data[k] ?? null) !== JSON.stringify(m.data[k] ?? null)) { rt++; bad(`왕복 ${f}`, `${k} 값이 바뀜`); }
|
|
if (typeof m.data.datePublished !== 'string') { rt++; bad(`왕복 ${f}`, 'datePublished 가 문자열이 아님 (YAML 날짜 자동 변환)'); }
|
|
const errs = gatePost(md, { ...ctx, homeText }).errors;
|
|
if (errs.length) { rt++; errs.forEach((e) => bad(`생성기 게이트 ${f}`, `[${e.code}] ${e.msg}`)); }
|
|
}
|
|
if (!rt) ok('생성기 직렬화 왕복·소스 게이트', '18편 값 동일, error 0');
|
|
}
|
|
|
|
// 6) 수치 대조·비교 수치 (생성기 전용 규칙)
|
|
{
|
|
const cmp = R.checkComparison('마취과 전문의 상주 비율은 병원급 이상 평균 23.1%인데 뷰성형외과는 43%입니다.');
|
|
cmp.length ? ok('비교 수치 검출', cmp[0].code) : bad('비교 수치 검출', '병원급 평균 23.1% vs 43% 를 못 잡음');
|
|
const okCmp = R.checkComparison('다른 병원에서 한 수술도 재수술 상담이 되나요? 상담에서 확인하세요.');
|
|
okCmp.length ? bad('비교 수치 오탐', okCmp[0].msg) : ok('"다른 병원에서 한 수술" 서술 통과');
|
|
}
|
|
|
|
console.log(`통과 ${pass} · 실패 ${failCount}`);
|
|
if (failCount) process.exit(1);
|