174 lines
6.6 KiB
JavaScript
174 lines
6.6 KiB
JavaScript
#!/usr/bin/env node
|
|
// scripts/ci/test-metrics.mjs
|
|
// TDD 2.0 Phase 0 — 테스트 체계 지표 산출 (게이트 아님).
|
|
//
|
|
// 정책 정본: docs/tdd-red/07-revamp-plan.md §3-2
|
|
// - 커버리지% 가 아니라 "무엇을 얼마나/얼마나 강하게" 검증하는지의 추세를 본다.
|
|
// - 이 스크립트는 실패를 만들지 않는다. 회귀 차단은 check-test-quality.mjs 가 한다.
|
|
//
|
|
// 사용:
|
|
// node scripts/ci/test-metrics.mjs # 표준출력으로 markdown
|
|
// node scripts/ci/test-metrics.mjs --write # docs/tdd-red/metrics/YYYY-MM-DD.md 로 저장
|
|
// node scripts/ci/test-metrics.mjs --json # 기계 판독용
|
|
|
|
import { mkdirSync, writeFileSync } from 'node:fs'
|
|
import { dirname } from 'node:path'
|
|
import {
|
|
countAmbient,
|
|
countMatches,
|
|
gitLsFiles,
|
|
isTestFile,
|
|
readRepoFile,
|
|
WEAK_ASSERTION,
|
|
} from './lib/test-files.mjs'
|
|
|
|
const CWD = process.cwd()
|
|
|
|
const SUITES = [
|
|
{ key: 'desktop', label: '데스크톱 (Vitest)', prefix: 'apps/desktop/' },
|
|
{ key: 'core', label: 'packages/core (Vitest)', prefix: 'packages/core/' },
|
|
{ key: 'i18n', label: 'packages/i18n (Vitest)', prefix: 'packages/i18n/' },
|
|
{ key: 'ui', label: 'packages/ui (Vitest)', prefix: 'packages/ui/' },
|
|
{ key: 'api-client', label: 'packages/api-client (Vitest)', prefix: 'packages/api-client/' },
|
|
{ key: 'web', label: '웹 (Vitest + Playwright)', prefix: 'apps/web/' },
|
|
{ key: 'mobile', label: '모바일 (Jest)', prefix: 'apps/mobile-rn/' },
|
|
{ key: 'edge', label: 'Supabase Edge (Deno)', prefix: 'server/supabase/' },
|
|
{ key: 'cloudflare', label: 'Cloudflare Worker (Deno)', prefix: 'server/cloudflare-worker/' },
|
|
{ key: 'dotnet', label: 'API 서버 (xUnit)', prefix: 'apps/api-server.Tests/' },
|
|
]
|
|
|
|
const TEST_CASE = /(?:^|\n)\s*(?:it|test)(?:\.(?:each|skip|only|todo|concurrent)(?:\([^\n]*?\))?)?\s*\(/g
|
|
// Deno(.test) 와 xUnit([Fact]/[Theory]) 는 vitest/jest 문법이 아니다.
|
|
const DENO_TEST = /^\s*Deno\s*\.\s*test\s*\(/gm
|
|
const DOTNET_FACT = /^\s*\[(?:Fact|Theory)[^\]]*\]/gm
|
|
const ASSERTION = /\bexpect\s*\(|\bassert(?:\.\w+)?\s*\(|\bDeno\s*\.\s*assert\w*\s*\(|\bAssert\.\w+\s*\(/g
|
|
const SKIP = /\.(?:skip|todo)\s*\(/g
|
|
|
|
function read(path) {
|
|
return readRepoFile(path, CWD)
|
|
}
|
|
|
|
export function collectMetrics() {
|
|
const files = gitLsFiles(CWD).filter(isTestFile)
|
|
const suites = new Map(
|
|
SUITES.map((s) => [s.key, { ...s, files: 0, cases: 0, assertions: 0, weak: 0, ambient: 0, skips: 0 }]),
|
|
)
|
|
const offenders = { weak: [], ambient: [] }
|
|
|
|
for (const path of files) {
|
|
const suite = SUITES.find((s) => path.startsWith(s.prefix))
|
|
if (!suite) continue
|
|
let text
|
|
try {
|
|
text = read(path)
|
|
} catch {
|
|
continue
|
|
}
|
|
const row = suites.get(suite.key)
|
|
const cases =
|
|
countMatches(text, TEST_CASE) + countMatches(text, DENO_TEST) + countMatches(text, DOTNET_FACT)
|
|
const weak = countMatches(text, WEAK_ASSERTION)
|
|
const ambient = countAmbient(text)
|
|
row.files += 1
|
|
row.cases += cases
|
|
row.assertions += countMatches(text, ASSERTION)
|
|
row.weak += weak
|
|
row.ambient += ambient
|
|
row.skips += countMatches(text, SKIP)
|
|
if (weak > 0) offenders.weak.push({ path, weak })
|
|
if (ambient > 0) offenders.ambient.push({ path, ambient })
|
|
}
|
|
|
|
const localeDir = 'packages/i18n/src/locales'
|
|
let localeKeys = 0
|
|
let localeFiles = 0
|
|
try {
|
|
localeFiles = gitLsFiles(CWD).filter((f) => f.startsWith(localeDir) && f.endsWith('.json')).length
|
|
localeKeys = Object.keys(JSON.parse(read(`${localeDir}/ko.json`))).length
|
|
} catch {
|
|
// 로케일이 없으면 0 (게이트 아님)
|
|
}
|
|
|
|
offenders.weak.sort((a, b) => b.weak - a.weak)
|
|
offenders.ambient.sort((a, b) => b.ambient - a.ambient)
|
|
|
|
const rows = [...suites.values()].filter((s) => s.files > 0)
|
|
const total = (key) => rows.reduce((n, s) => n + s[key], 0)
|
|
|
|
return {
|
|
generatedAt: new Date().toISOString().slice(0, 10),
|
|
totals: {
|
|
files: total('files'),
|
|
cases: total('cases'),
|
|
assertions: total('assertions'),
|
|
weak: total('weak'),
|
|
ambient: total('ambient'),
|
|
skips: total('skips'),
|
|
localeFiles,
|
|
localeKeys,
|
|
},
|
|
suites: rows,
|
|
offenders,
|
|
}
|
|
}
|
|
|
|
export function toMarkdown(metrics) {
|
|
const t = metrics.totals
|
|
const lines = []
|
|
lines.push(`# 테스트 체계 지표 — ${metrics.generatedAt}`)
|
|
lines.push('')
|
|
lines.push('> `node scripts/ci/test-metrics.mjs --write` 로 생성된다. 손으로 고치지 않는다.')
|
|
lines.push('> 정책: `docs/tdd-red/07-revamp-plan.md` §3-2 (지표는 게이트가 아니다)')
|
|
lines.push('')
|
|
lines.push('## 합계')
|
|
lines.push('')
|
|
lines.push('| 항목 | 값 |')
|
|
lines.push('|---|---|')
|
|
lines.push(`| 테스트 파일 | ${t.files} |`)
|
|
lines.push(`| 테스트 케이스 | ${t.cases} |`)
|
|
lines.push(`| 단정(expect/assert) | ${t.assertions} |`)
|
|
lines.push(`| 약한 단정 (toBeDefined/toBeTruthy/toBeFalsy/toBeNull) | ${t.weak} |`)
|
|
lines.push(`| 시간·난수 직접 호출 (ambient) | ${t.ambient} |`)
|
|
lines.push(`| skip/todo | ${t.skips} |`)
|
|
lines.push(`| i18n 로케일 파일 | ${t.localeFiles} |`)
|
|
lines.push(`| i18n 키 (ko 기준) | ${t.localeKeys} |`)
|
|
lines.push('')
|
|
lines.push('## 스위트별')
|
|
lines.push('')
|
|
lines.push('| 스위트 | 파일 | 케이스 | 단정 | 약한 단정 | ambient |')
|
|
lines.push('|---|---:|---:|---:|---:|---:|')
|
|
for (const s of metrics.suites) {
|
|
lines.push(`| ${s.label} | ${s.files} | ${s.cases} | ${s.assertions} | ${s.weak} | ${s.ambient} |`)
|
|
}
|
|
lines.push('')
|
|
lines.push('## 약한 단정 상위 파일')
|
|
lines.push('')
|
|
lines.push('| 파일 | 개수 |')
|
|
lines.push('|---|---:|')
|
|
for (const row of metrics.offenders.weak.slice(0, 15)) lines.push(`| \`${row.path}\` | ${row.weak} |`)
|
|
lines.push('')
|
|
lines.push('## ambient 시간·난수 상위 파일')
|
|
lines.push('')
|
|
lines.push('| 파일 | 개수 |')
|
|
lines.push('|---|---:|')
|
|
for (const row of metrics.offenders.ambient.slice(0, 15)) lines.push(`| \`${row.path}\` | ${row.ambient} |`)
|
|
lines.push('')
|
|
return lines.join('\n')
|
|
}
|
|
|
|
const args = new Set(process.argv.slice(2))
|
|
const metrics = collectMetrics()
|
|
|
|
if (args.has('--json')) {
|
|
process.stdout.write(JSON.stringify(metrics, null, 2) + '\n')
|
|
} else if (args.has('--write')) {
|
|
const target = `docs/tdd-red/metrics/${metrics.generatedAt}.md`
|
|
mkdirSync(dirname(target), { recursive: true })
|
|
writeFileSync(target, toMarkdown(metrics), 'utf8')
|
|
process.stdout.write(`[test-metrics] wrote ${target}\n`)
|
|
process.stdout.write(
|
|
`[test-metrics] ${metrics.totals.files} files / ${metrics.totals.cases} cases / weak ${metrics.totals.weak} / ambient ${metrics.totals.ambient}\n`,
|
|
)
|
|
} else {
|
|
process.stdout.write(toMarkdown(metrics))
|
|
}
|