#!/usr/bin/env node // scripts/ci/test-metrics.mjs // TDD 2.0 Phase 0 — 테스트 체계 지표 산출 (게이트 아님). // // 정책 정본: docs/tdd-red/07-revamp-plan.md §3-2 // - 커버리지% 가 아니라 "무엇을 얼마나/얼마나 강하게" 검증하는지의 추세를 본다. // - 이 스크립트는 실패를 만들지 않는다. 회귀 차단은 check-test-quality.mjs 가 한다. // // 사용: // node scripts/ci/test-metrics.mjs # 표준출력으로 markdown // node scripts/ci/test-metrics.mjs --write # docs/tdd-red/metrics/YYYY-MM-DD.md 로 저장 // node scripts/ci/test-metrics.mjs --json # 기계 판독용 import { mkdirSync, writeFileSync } from 'node:fs' import { dirname } from 'node:path' import { countAmbient, countMatches, gitLsFiles, isTestFile, readRepoFile, WEAK_ASSERTION, } from './lib/test-files.mjs' const CWD = process.cwd() const SUITES = [ { key: 'desktop', label: '데스크톱 (Vitest)', prefix: 'apps/desktop/' }, { key: 'core', label: 'packages/core (Vitest)', prefix: 'packages/core/' }, { key: 'i18n', label: 'packages/i18n (Vitest)', prefix: 'packages/i18n/' }, { key: 'ui', label: 'packages/ui (Vitest)', prefix: 'packages/ui/' }, { key: 'api-client', label: 'packages/api-client (Vitest)', prefix: 'packages/api-client/' }, { key: 'web', label: '웹 (Vitest + Playwright)', prefix: 'apps/web/' }, { key: 'mobile', label: '모바일 (Jest)', prefix: 'apps/mobile-rn/' }, { key: 'edge', label: 'Supabase Edge (Deno)', prefix: 'server/supabase/' }, { key: 'cloudflare', label: 'Cloudflare Worker (Deno)', prefix: 'server/cloudflare-worker/' }, { key: 'dotnet', label: 'API 서버 (xUnit)', prefix: 'apps/api-server.Tests/' }, ] const TEST_CASE = /(?:^|\n)\s*(?:it|test)(?:\.(?:each|skip|only|todo|concurrent)(?:\([^\n]*?\))?)?\s*\(/g // Deno(.test) 와 xUnit([Fact]/[Theory]) 는 vitest/jest 문법이 아니다. const DENO_TEST = /^\s*Deno\s*\.\s*test\s*\(/gm const DOTNET_FACT = /^\s*\[(?:Fact|Theory)[^\]]*\]/gm const ASSERTION = /\bexpect\s*\(|\bassert(?:\.\w+)?\s*\(|\bDeno\s*\.\s*assert\w*\s*\(|\bAssert\.\w+\s*\(/g const SKIP = /\.(?:skip|todo)\s*\(/g function read(path) { return readRepoFile(path, CWD) } export function collectMetrics() { const files = gitLsFiles(CWD).filter(isTestFile) const suites = new Map( SUITES.map((s) => [s.key, { ...s, files: 0, cases: 0, assertions: 0, weak: 0, ambient: 0, skips: 0 }]), ) const offenders = { weak: [], ambient: [] } for (const path of files) { const suite = SUITES.find((s) => path.startsWith(s.prefix)) if (!suite) continue let text try { text = read(path) } catch { continue } const row = suites.get(suite.key) const cases = countMatches(text, TEST_CASE) + countMatches(text, DENO_TEST) + countMatches(text, DOTNET_FACT) const weak = countMatches(text, WEAK_ASSERTION) const ambient = countAmbient(text) row.files += 1 row.cases += cases row.assertions += countMatches(text, ASSERTION) row.weak += weak row.ambient += ambient row.skips += countMatches(text, SKIP) if (weak > 0) offenders.weak.push({ path, weak }) if (ambient > 0) offenders.ambient.push({ path, ambient }) } const localeDir = 'packages/i18n/src/locales' let localeKeys = 0 let localeFiles = 0 try { localeFiles = gitLsFiles(CWD).filter((f) => f.startsWith(localeDir) && f.endsWith('.json')).length localeKeys = Object.keys(JSON.parse(read(`${localeDir}/ko.json`))).length } catch { // 로케일이 없으면 0 (게이트 아님) } offenders.weak.sort((a, b) => b.weak - a.weak) offenders.ambient.sort((a, b) => b.ambient - a.ambient) const rows = [...suites.values()].filter((s) => s.files > 0) const total = (key) => rows.reduce((n, s) => n + s[key], 0) return { generatedAt: new Date().toISOString().slice(0, 10), totals: { files: total('files'), cases: total('cases'), assertions: total('assertions'), weak: total('weak'), ambient: total('ambient'), skips: total('skips'), localeFiles, localeKeys, }, suites: rows, offenders, } } export function toMarkdown(metrics) { const t = metrics.totals const lines = [] lines.push(`# 테스트 체계 지표 — ${metrics.generatedAt}`) lines.push('') lines.push('> `node scripts/ci/test-metrics.mjs --write` 로 생성된다. 손으로 고치지 않는다.') lines.push('> 정책: `docs/tdd-red/07-revamp-plan.md` §3-2 (지표는 게이트가 아니다)') lines.push('') lines.push('## 합계') lines.push('') lines.push('| 항목 | 값 |') lines.push('|---|---|') lines.push(`| 테스트 파일 | ${t.files} |`) lines.push(`| 테스트 케이스 | ${t.cases} |`) lines.push(`| 단정(expect/assert) | ${t.assertions} |`) lines.push(`| 약한 단정 (toBeDefined/toBeTruthy/toBeFalsy/toBeNull) | ${t.weak} |`) lines.push(`| 시간·난수 직접 호출 (ambient) | ${t.ambient} |`) lines.push(`| skip/todo | ${t.skips} |`) lines.push(`| i18n 로케일 파일 | ${t.localeFiles} |`) lines.push(`| i18n 키 (ko 기준) | ${t.localeKeys} |`) lines.push('') lines.push('## 스위트별') lines.push('') lines.push('| 스위트 | 파일 | 케이스 | 단정 | 약한 단정 | ambient |') lines.push('|---|---:|---:|---:|---:|---:|') for (const s of metrics.suites) { lines.push(`| ${s.label} | ${s.files} | ${s.cases} | ${s.assertions} | ${s.weak} | ${s.ambient} |`) } lines.push('') lines.push('## 약한 단정 상위 파일') lines.push('') lines.push('| 파일 | 개수 |') lines.push('|---|---:|') for (const row of metrics.offenders.weak.slice(0, 15)) lines.push(`| \`${row.path}\` | ${row.weak} |`) lines.push('') lines.push('## ambient 시간·난수 상위 파일') lines.push('') lines.push('| 파일 | 개수 |') lines.push('|---|---:|') for (const row of metrics.offenders.ambient.slice(0, 15)) lines.push(`| \`${row.path}\` | ${row.ambient} |`) lines.push('') return lines.join('\n') } const args = new Set(process.argv.slice(2)) const metrics = collectMetrics() if (args.has('--json')) { process.stdout.write(JSON.stringify(metrics, null, 2) + '\n') } else if (args.has('--write')) { const target = `docs/tdd-red/metrics/${metrics.generatedAt}.md` mkdirSync(dirname(target), { recursive: true }) writeFileSync(target, toMarkdown(metrics), 'utf8') process.stdout.write(`[test-metrics] wrote ${target}\n`) process.stdout.write( `[test-metrics] ${metrics.totals.files} files / ${metrics.totals.cases} cases / weak ${metrics.totals.weak} / ambient ${metrics.totals.ambient}\n`, ) } else { process.stdout.write(toMarkdown(metrics)) }