test(infra): add test-system metrics baseline (TDD 2.0 Phase 0)

docs/tdd-red/07-revamp-plan.md Phase 0 — "측정 없는 개편은 없다"의 첫 단계.
게이트가 아니라 지표다 (05 §9: 커버리지·강도는 지표, 완료 조건 아님).

추가:
- scripts/ci/test-metrics.mjs — 스위트별 파일/케이스/단정/약한 단정/ambient/스킵,
  i18n 로케일 수·키 수를 markdown 또는 JSON 으로 산출 (--write 로 날짜 문서 생성)
- scripts/ci/lib/test-files.mjs — 테스트 파일 판정·계수 공용 헬퍼
  (test:hygiene 과 같은 패턴을 쓰도록 한 곳에 모음)
- docs/tdd-red/metrics/2026-11-08.md — 오늘 기준선

측정 결과 (기준선):
- 파일 407 · 케이스 3,498 · 단정 8,958
- 약한 단정(toBeDefined/toBeTruthy/toBeFalsy/toBeNull) 128
- ambient 시계/난수(Date.now/Math.random/performance.now) 203
- skip/todo 3 · i18n 2,753키 × 12로케일

문서:
- 07-revamp-plan.md: 상태를 "Phase 0 완료"로 갱신, 측정치를 추정치(3,380/106/169)에서
  실측치로 교정
- REFACTOR_WAVE5_AUDIT.md: Wave 5 감사 결과(실행 입력) 편입

검증: node scripts/ci/test-metrics.mjs --write / --json GREEN,
      npm run test:metrics GREEN
This commit is contained in:
Yun Chan 2026-11-08 21:08:35 +09:00
parent f95bc9cdeb
commit 42583cc96b
7 changed files with 648 additions and 0 deletions

View file

@ -0,0 +1,145 @@
# REFACTOR WAVE 5 — 감사(AUDIT) 결과와 실행 계획
> 작성: 2026-11-05 · 상태: **감사 완료 / 실행 전** (소스 무변경)
> 정책 정본: `docs/REFACTOR_POLICY.md`(DP1~DP11, W3-*, W4-*) 계승. 본 문서는 Wave 5의 **입력**이며,
> 실행 후 `docs/REFACTOR_WAVE5_REPORT.md`로 결과를 남긴다.
> 하네스: `.claude/skills/refactor-wave/SKILL.md` (R1~R8, P1~P12)
---
## 0. 기준선 (감사 시점에 실제로 돌린 게이트)
| 게이트 | 결과 | 비고 |
|---|---|---|
| `npm run typecheck` (전 워크스페이스) | **GREEN** | desktop/web/admin/packages 전부 |
| `npm run lint` | **GREEN** (`--max-warnings=0`) | desktop/web/admin/packages |
| `npm run test:hygiene` | **GREEN** (400 test files) | `.only`/무근거 skip/항상참 단정/`waitForTimeout` 없음 |
| `npm run contract:check` · `version:check` · `check:design` | **GREEN** | 드리프트 0 |
| `any` · `console.log` · `TODO/FIXME` | **0건** | 표면 위생은 이미 포화 |
**해석**: 표면 규칙(any/console/토큰/i18n 리터럴)은 Wave 1~4에서 소진됐다. Wave 5의 수확은
**계약 드리프트 · 테스트만 통과하는 코드 · 3회 이상 중복 · 게이트 공백**에 있다.
측정 재현(로컬 스크립트, `scratch/`는 gitignore):
```bash
node scratch/dead-exports.mjs # 928 export 중 dead 43 / test-only 12
node scratch/dead-modules.mjs # app 레이어 미import 모듈 8 (엔트리 5 제외 → 2~3 실 후보)
node scratch/dupe-audit.mjs # 앱 간 동명 함수 80쌍, 최장 함수(컴포넌트) 목록
node scratch/i18n-audit.mjs # 2753 키 × 12 로케일, 고아 후보 798
```
---
## 1. 발견 (판정: DELETE / REWIRE / REFACTOR / KEEP)
### P0 — 사용자 약속·보안 (문서가 주장하는데 코드에 호출자가 없음)
| ID | 확신도 | 판정 | 근거 | 왜 지금 |
|---|---|---|---|---|
| **W5-01** | HIGH | **REWIRE**(불가 시 DELETE+주장 철회) | `packages/core/src/utils/pii-redactor.ts:1-3`("클라우드 전송 전 민감 데이터 자동 마스킹"), `packages/core/src/utils/secure-memory.ts`, 재export `packages/core/src/index.ts:18`. 프로덕션 호출 **0** — 유일 참조는 `apps/desktop/tests/red/pii-redactor.usecase.test.ts` (`grep -rn redactPII apps server` → 0) | 테스트는 "ZDR/마스킹 동작"을 초록으로 증명하는데 실제 전송 경로엔 배선이 없다. **컴플라이언스 주장과 코드가 불일치** |
| **W5-02** | HIGH | **DELETE** | `packages/core/src/ipc-channels.ts:60-73`(TTS 채널 9개), `packages/core/src/types.ts:247-292`(TTS 타입 7개). preload에 TTS 네임스페이스 없음, `apps/desktop/src/main/ipc/`에 tts 핸들러 없음. 실제 재생은 `TTSPlaybackService`가 자체 표면으로 처리 | 죽은 IPC 계약이 SSOT에 남아 있으면 "이 채널로 붙이면 된다"는 오해를 만든다 |
### P1 — 계약 드리프트 (타입은 SSOT에 있는데 소비자가 안 씀)
| ID | 확신도 | 판정 | 근거 |
|---|---|---|---|
| **W5-03** | HIGH | 채널 살아있음 → **REWIRE**, 채널 죽음 → **DELETE** | `packages/core/src/types.ts` 데드 27: `TTSSpeakParams`(270), `TTSSpeakResult`(276), `SetTTSVoiceParams`(280), `DownloadVoiceParams`, `TTSStatusChangedEvent`(288), `SpeakingStateChangedEvent`, `PullModelParams`(356), `LLMPullProgressEvent`(370), `HistoryExportParams`(744), `ShowRecordingTipParams`(825), `ShowResultPopupParams`(831), `TipMeasuredParams`(836), `TipStateChangedEvent`, `TipPrepareEvent`, `TipShowEvent`, `ActiveAppInfo`, `ShowNotificationParams`, `OpenExternalParams`, `InsertTextParams`, `InsertTextResult`, `StatsQueryParams`, `DailyStats`, `WeeklyStats`, `RAGChunk`, `MeetingGenerateDocResult`, `DiarizationResult`, `CreateSupportTicketParams` |
실행 규칙(P1 재검증): 각 타입마다 **채널/핸들러가 살아있는지** 먼저 grep한다.
- 살아있음 → preload/handler가 코어 타입을 import하도록 **REWIRE**(SSOT 복구). 예: `text:insert`는 서비스 내부 호출로 남아 `InsertTextParams`가 사장 → DELETE.
- 죽음 → 타입 삭제. `Statistics`/`RAG`/`support` 계열은 실제 IPC 표면 확인 후 결정.
### P2 — 데드 모듈·토큰
| ID | 확신도 | 판정 | 근거 |
|---|---|---|---|
| **W5-04** | HIGH | DELETE | `apps/desktop/src/renderer/components/ProBadge.tsx` (65줄, 자기 참조만) · `apps/admin/src/lib/supabase-server.ts` (web 사본과 동일 래퍼, import 0) |
| **W5-09** | MED | DS 공개 API 여부 확인 후 DELETE | `packages/ui/src/theme.ts`: `d3roSpace`, `d3roWeight`, `d3roMotion`, `darkTheme`, `lightTheme`, `getModePalette` / `packages/ui-native/src/theme.ts`: `d3roNativeSpace`, `d3roNativeWeight`, `d3roNativeMotion`, `d3roNativeOverlayShadow`, `D3roNativePaletteKey` — 참조 0 |
| **W5-10** | MED | REFACTOR | hex 폴백 10건: `packages/ui/src/components/ds/AudioVisualizerBar.tsx:26-33`, `GradientWave.tsx:30-38` — `#60a5fa/#3b82f6/#818cf8/#a78bfa`가 테마 값과 이중 정의(DP1 정신 위반) |
`KEEP`(삭제 금지, 사유 명시): `apps/desktop/src/preload/popup.ts`(electron-vite entry) · `apps/*/src/proxy.ts`(Next 미들웨어) · `apps/admin/src/instrumentation.ts` · `*.d.ts` · `packages/core/src/constants.ts:WAVE_BAR`(외부 계약 아님, 화면 고유 수치 P4).
### P3 — 3회 이상 중복 (DP7 위반, 실측)
| ID | 확신도 | 판정 | 중복 |
|---|---|---|---|
| **W5-05** | HIGH | REFACTOR → `packages/core/src/{guards,csv,format}.ts` | `isRecord` **27**정의 · `requireUuid` **14** · `requireUserId` **8** · `formatDuration` **9** · `escapeLikePattern` **3**(`apps/desktop/src/main/db/like-pattern.ts:12`, `apps/web/src/lib/dictionary-client.ts:109`, `apps/mobile-rn/src/features/dictionary/dictionary-service.ts:154` — 셋 다 동일 정규식) · `csvCell` **3** · `parseCsv`/`parseCsvRows`/`serializeDictionary`/`parseDictionaryFile` **3** |
| **W5-06** | MED | REFACTOR → `packages/core/src/unified-search.ts` | 통합검색 랭킹·발췌 이중 구현: `apps/desktop/src/main/services/UnifiedSearchService.ts`(264줄) vs `apps/mobile-rn/src/features/search/unified-search-service.ts`(459줄) — `includesQuery`/`recordResult`/`meetingResult`/발췌 생성 동일 규칙, 데이터 접근만 다름 |
| **W5-07** | MED | REFACTOR(역할 순서만 core로) | 권한 계층 2벌: `apps/admin/src/lib/admin-guard.ts`(71줄) vs `server/supabase/functions/_shared/admin-auth.ts`(74줄) — manager<admin<super_admin |
주의(W5-05): 오류 타입이 앱마다 다르므로 `throw`를 공용화하지 않는다. **판정 함수만** core로 올리고
각 앱은 `if (!isUuid(x)) throw new XError(...)` 형태로 유지한다(가드의 실패 표면은 앱 소유).
### P4 — i18n 위생
| ID | 확신도 | 판정 | 근거 |
|---|---|---|---|
| **W5-08** | MED | REFACTOR | ① `scripts/ci/sync-i18n-locales.mjs`가 **번역 값 40여 개를 스크립트 안에 하드코딩**(ko/en) 후 JSON에 주입 — W3 "손으로 옮겨 적은 사본 금지"의 변형 위반. ② 로케일 간 값이 ko와 동일한 키 52~65개(미번역). ③ 고아 후보 **798**/2753 (정적 `t('…')` 기준). ④ `--check` 게이트 부재 → 드리프트가 조용히 통과 |
### P5 — 구조(대형 파일) — churn 근거가 있는 것만
| ID | 확신도 | 판정 | 근거 |
|---|---|---|---|
| **W5-11** | MED | REFACTOR (순수 이동 P3) | `apps/desktop/src/renderer/components/SettingsModal.tsx:95` 단일 컴포넌트 **857줄** · `meeting/MeetingDetailTabs.tsx:98` **720** · `pages/MeetingModePage.tsx:61` **672** · `input-insights/InputInsightsView.tsx:106` **616** · `input-insights/InputConsentPanel.tsx:33` **584** · 서비스: `packages/core/src/typo-correction.ts` 2705 · `SuggestionService.ts` 2392(최근 churn 22회) · `InputTelemetryService.ts` 2205 |
### P6 — 게이트 공백
| ID | 확신도 | 판정 | 근거 |
|---|---|---|---|
| **W5-12** | HIGH | GATE 추가 | `site/`는 npm workspace 밖(`package.json` workspaces에 없음) → 루트 `lint`/`typecheck`/`test` 대상 아님. 마케팅·법률·다운로드 표면인데 정적 게이트 0. `site/src/i18n/index.ts`(231줄)도 독립 구현 |
---
## 2. 패치 그룹 (파일 비충돌 · 순수 정리와 기능 수정 분리)
| 그룹 | 내용 | 파일 영역 | 선행 |
|---|---|---|---|
| **G1** | W5-04 데드 모듈 + W5-09 데드 토큰 + W5-10 hex 폴백 | `apps/desktop/src/renderer/components/ProBadge.tsx`, `apps/admin/src/lib/supabase-server.ts`, `packages/ui/src/{theme,theme-vars}.ts`, `packages/ui-native/src/theme.ts`, `packages/ui/src/components/ds/*` | — |
| **G2** | W5-02 TTS 계약 삭제 + W5-03 타입 27건 REWIRE/DELETE | `packages/core/src/{types,ipc-channels}.ts`, `apps/desktop/src/preload/index.ts`, `apps/desktop/src/main/ipc/*` | — |
| **G3** | W5-01 PII/ZDR 배선 (**기능 변경**, 별도 커밋·별도 검증) | `packages/core/src/utils/{pii-redactor,secure-memory}.ts`, `apps/desktop/src/main/services/{CloudSTTService,AudioCaptureService}.ts`, 클라우드 프록시 경로 | 사용자 결정 필요(배선 vs 주장 철회) |
| **G4** | W5-05/06/07 중복 → core 추출 | `packages/core/src/{guards,csv,format,unified-search,admin-roles}.ts`(신규), `apps/{desktop,web,mobile-rn}/src/**`, `server/supabase/functions/_shared/admin-auth.ts` | G2 완료 후(같은 types.ts 접촉 회피) |
| **G5** | W5-08 i18n 스크립트 정리 + `--check` 게이트 | `scripts/ci/sync-i18n-locales.mjs`, `packages/i18n/src/locales/*.json`, `package.json` | — |
| **G6** | W5-12 site 정적 게이트 | `.forgejo/workflows/ci.yml`, root `package.json`, `site/tsconfig.json`, 가능하면 `site` eslint config | — |
| **G7** | W5-11 대형 파일 순수 이동 (**위험**, 화면별 1커밋) | renderer 컴포넌트/페이지 단위 | G1 완료 후(토큰 접촉 회피) |
각 그룹 검증(R7 축약): 잔여 식별자 grep → 변경 파일 lint → 해당 워크스페이스 테스트 →
모노레포 `typecheck` → (G3/G7은) `npm run dev` 수동 1회. `git add -A` 금지, 그룹당 1커밋.
---
## 3. 실행 전 사용자 결정이 필요한 4가지
1. **W5-01**: PII 마스킹/ZDR을 **실제 전송 경로에 배선**할 것인가, 아니면 코드·테스트·주장을 **삭제**할 것인가? (배선은 기능 변경이므로 Wave 5 범위 밖으로 빼는 선택도 가능)
2. **W5-03**: 살아있는 채널의 타입은 **REWIRE(SSOT 복구)** vs **타입 삭제(핸들러 인라인 유지)** 중 어느 쪽? (권장: REWIRE)
3. **W5-09**: `d3roSpace/Weight/Motion`, `darkTheme/lightTheme/getModePalette`는 외부 소비자를 위한 **DS 공개 API**로 유지할 것인가? (권장: 참조 0이면 삭제, 재도입은 필요 시)
4. **W5-11**: 대형 파일 분할을 이번 Wave에 포함할 것인가, 아니면 G1~G6만 하고 별도 Wave로 미룰 것인가? (권장: `SuggestionService`만, churn 22회 근거로)
---
## 4. 실행 순서 (권장)
```
G1(데드 모듈/토큰) → G2(TTS 계약) → G4(중복 추출) → G5(i18n) → G6(site 게이트) → G7(대형 파일)
↘ G3(PII 배선) — 별도 승인·별도 검증
```
G3만 "순수 정리 아님"으로 표시해 분리한다(W4-4 규칙). 나머지는 공개 IPC/payload 의미를 바꾸지 않는다.
---
## 5. 보고서에 남길 것 (실행 후)
- 그룹별 diff 요약 + 삭제/이동 건수(실측 재측정: `scratch/dead-exports.mjs` before/after)
- W5-03 각 타입의 live/dead 판정 표(REWIRE vs DELETE 근거)
- G7 diff 1:1 대조 결과(P2: 훅 체인·구독/해제·useEffect deps)
- false positive 기록(P1): 이번 감사에서 걸러낸 것 — 예: `AppUpdatePhase`는 같은 파일 내부 참조, `popup.ts`는 빌드 엔트리, `apps/web` 컴포넌트는 `@/` 별칭 import
- 남은 부채: i18n 고아 키 798(사용처 재확인 필요), `apps/web` 테스트 24건, `packages/ui` 테스트 0 → TDD 개편(`docs/tdd-red/07-revamp-plan.md`)으로 이관
---
## 6. 하네스 갱신 항목
- `docs/REFACTOR_POLICY.md`에 **Wave 5 섹션**(W5-1~W5-5) 추가 — 실행 착수 시.
- `.claude/skills/refactor-wave/SKILL.md` 누적 인덱스에 Wave 5 추가.
- `docs/map/10-feature-catalog.md` · `11-gap-backlog.md` — G1/G2/G4 완료 시 해당 기능 행 갱신(AGENTS.md §4).

View file

@ -19,6 +19,7 @@
| `04-long-scenarios.md` | RED를 **긴 시나리오**(행위 사양)로 재구성 | 핵심 산출물 3 |
| `05-framework.md` | 실행 프레임워크: 제어 루프·AGENTS.md·체크리스트·게이트 | 핵심 산출물 4 |
| `06-repo-application.md` | **이 저장소 적용본**: 계층·경로·명령·게이트·삭제/통폐합 기록 | 실행 정본 |
| `07-revamp-plan.md` | **v2.0 개편 계획**: v1.1이 문선만 선언한 것(보호경로·강도·결정성·i18n 계약·영향 선택)을 게이트로 옮기는 Phase 0~5 | 실행 계획(미실행) |
| `SOURCES.md` | 100개 정보 항목(약 94 외부) + 1차 소스 14개 | 증거 자료실 |
---
@ -74,6 +75,7 @@ docs/tdd-red/
├── 04-long-scenarios.md
├── 05-framework.md
├── 06-repo-application.md ← 이 저장소 경로·명령·게이트 (실행 정본)
├── 07-revamp-plan.md ← v2.0 개편 계획 (Phase 0~5, 미실행)
└── SOURCES.md (100개 정보 항목: 약 94 외부 출처)
└── 레드팀 검증 → `scratch/tdd-red/redteam/01~05*.md` (5방면)
```

View file

@ -0,0 +1,180 @@
# 07 · TDD 체계 개편 계획 (Plan v2.0)
> 작성: 2026-11-05 · 갱신: 2026-11-08 · 상태: **Phase 0·1 완료 / Phase 2~5 계획**
> 선행 정본: `docs/tdd-red/00`~`06`(프레임워크 v1.1, 2026-11-04) · `AGENTS.md §3` · `.claude/skills/refactor-wave/SKILL.md`
> 본 문서는 v1.1을 **폐기하지 않는다.** v1.1이 문서로만 선언한 것을 **측정·게이트·자동화로 승격**하는 계획이다.
---
## 1. 현행 체계 (2026-11 현재 실측)
| 축 | 현재 | 정본 |
|---|---|---|
| 원칙 | 5축(행위·단정·실패이유·결정성·의도) + 12 패턴 / 10 안티패턴 | `02` |
| 실행 | 2계층(내부 루프 RED→GREEN→REFACTOR · 외부 GATE=VERIFY+REVIEW+DONE) | `05 §1` |
| TRIAGE | 변경별 RED 면제/필수 선별표 | `05 §7` |
| 위생 게이트 | `npm run test:hygiene` (8규칙 + `--self-test`) | `scripts/ci/check-test-hygiene.mjs` |
| 포트폴리오 | 정적/단위/서비스통합/계약/E2E 4계층, E2E는 임계 여정 6파일 | `06 §2`, `§5` |
| 통합 게이트 | `npm run verify:all` + CI 5잡(quality/build/mobile/edge/api) | `package.json`, `.forgejo/workflows/ci.yml` |
| 보호 경로 | `CODEOWNERS` 6경로 | `06 §5` |
**측정된 규모** (`docs/tdd-red/metrics/2026-11-08.md`, `npm run test:metrics`):
테스트 파일 **407** · 케이스 **3,498** · 단정 8,958
(desktop 2,075 / core 547 / mobile 509 / edge 263 / web 46 / api-client 31 / xUnit 27)
· 약한 단정 **128** · ambient 시계/난수 **203** · skip/todo 3 · i18n 2,753키 × 12로케일.
**현재 게이트 전부 GREEN** — typecheck, lint(`--max-warnings=0`), test:hygiene, contract/version/design.
---
## 2. 진단 — "문서는 있는데 강제되지 않는 것" 10개
| # | 갭 | 실측 증거 | 결과 |
|---|---|---|---|
| **G1** | 보호 경로가 **문서와 코드에서 다르고, 게이트가 없다** | `05 §2`/`06 §5`는 `tests/acceptance/**`를 보호경로라 하지만 실제 보호 대상은 `apps/*/tests/e2e/*.spec.ts`. `grep -rn "tests/acceptance" scripts/ci` → **0**. `CODEOWNERS`는 존재하나 CI 검사 없음 | 에이전트가 보호 여정의 단정을 약화·삭제해도 **초록** |
| **G2** | 결함-검출 강도 지표 없음 | 커버리지 설정 1개(`apps/desktop/vitest.config.ts` → `src/main/services/**` 한정), 실행·게이트 없음. 뮤테이션 도구 **미설치**(Stryker 없음, `05 §4`는 "도입 여부 결정"으로 미결) | 단정이 약해져도 알 방법이 없다 |
| **G3** | 약한 단정이 게이트를 통과 | `toBeDefined()/toBeTruthy()/not.toBeNull()` **128건**(2026-11-08 실측). hygiene 규칙은 "항상 참"(`expect(true)`)만 막는다 | 커버리지는 오르고 검출력은 0인 테스트가 합법 |
| **G4** | 결정성 정책 부재 | 테스트 내 `Date.now()`/`Math.random()`/`performance.now()` **203건**, `setTimeout` 38건. `Clock`/`Random` 포트 없음 | flaky가 나도 원인 귀속 규칙이 없다 |
| **G5** | flaky 격리·재시도 정책 없음 | CI에 재실행/격리 목록 없음. `05 §8`의 "zero-tolerance"는 선언뿐 | 재현 안 되는 실패가 "그냥 다시 돌리기"로 처리됨 |
| **G6** | 테스트 선택 실행 없음 | 로컬·CI 모두 전체 스위트. 영향 분석 없음(3,380 케이스) | 에이전트 루프가 느려져 TDD 자체가 회피된다 |
| **G7** | 포트폴리오 편중 | `apps/web` 24케이스(페이지 18개, 결제/Payple 흐름 포함) · `packages/ui` **0** · `packages/ui-native` **0** · `packages/i18n` **0** | 계약(DS/i18n) 계층이 비어 있음 |
| **G8** | 추적성(T-ID)이 문서에만 | `04-long-scenarios.md`의 T-101/T-210 표는 예시. 코드/테스트에 ID 없음, 매트릭스 생성 스크립트 없음 | 요구 → 테스트 추적 불가. SDD 이점 미확보 |
| **G9** | 계약 테스트가 i18n·디자인 토큰을 안 덮음 | 2,753키 × 12 로케일. 로케일 parity 검사 없음(수동 sync 스크립트가 값까지 하드코딩), 고아 후보 **798** | 번역 누락/드리프트가 조용히 배포 |
| **G10** | 보호 여정이 CI에서 **실행되지 않음** | 데스크톱 E2E는 러너 X 디스플레이 없음 → 릴리스 전 로컬 수동(`06 §6`) | "보호"가 실제로는 "미실행" |
한 줄 결론: **v1.1은 사양으로는 충분하고, 집행 수단이 없다.** 그래서 2.0의 주제는 "새 원칙"이 아니라 **"원칙을 스크립트로 옮기기"**다.
---
## 3. 개편 목표 구조 (v2.0)
2계층 루프는 유지하고, 외부 GATE에 **4개 기둥**을 추가한다.
```
[SPEC] 수용 시나리오(+T-ID) ── 보호 경로
│
[내부 루프] RED → GREEN → REFACTOR ← 로컬, test:affected 로 60초 이내
│
[GATE]
├─ VERIFY : affected 스위트 + typecheck + lint + hygiene (기존)
├─ CONTRACT : 보호경로 무결성 + i18n parity + DS 토큰 계약 (신규 ★)
├─ STRENGTH : 증분 뮤테이션(핵심 도메인) + 약한 단정 0 (신규 ★)
├─ REVIEW : 테스트 diff 먼저, 약화/삭제/스킵/무관변경 탐지 (기존)
└─ DONE : 결정적 통과 + flaky 재시도 3회 규칙 (강화 ★)
```
### 3-1. 신규 스크립트 (모두 `--self-test` 동반 = `test:hygiene` 패턴 준수)
| 스크립트 | 역할 | 최초 규칙 |
|---|---|---|
| `scripts/ci/check-protected-tests.mjs` | 보호 경로 diff 검사 | (a) 보호 파일에서 `it/test` 개수 **감소** 시 실패 (b) `expect(` 감소 시 실패 (c) `.skip/.only` 추가 시 실패 (d) 커밋 본문/PR 라벨에 `allow-protected-change:` 마커 + 사유가 없으면 실패 |
| `scripts/ci/check-test-hygiene.mjs` **확장** | 규칙 2개 추가 | `weak-assertion`(`toBeDefined/toBeTruthy/not.toBeNull` **만** 있는 테스트 블록), `ambient-time`(테스트에서 무주입 `Date.now()/Math.random()` — 허용 목록: 시드 계산·`vi.setSystemTime` 직전) |
| `scripts/ci/check-i18n-contract.mjs` | 로케일 계약 | 키 집합 동일성(12개), `t('…')` 리터럴이 ko에 존재, 고아 키 리포트(게이트 아님 → 임계치 초과 시 실패) |
| `scripts/ci/check-ds-contract.mjs` | DS 계약 | `packages/ui` DS 컴포넌트가 role/aria 최소 계약을 export하고 테스트가 참조하는지 |
| `scripts/ci/test-metrics.mjs` | 지표 산출(게이트 아님) | 스위트별 케이스/시간/약한 단정/flaky 후보/뮤테이션 점수 → `docs/tdd-red/metrics/YYYY-MM-DD.md` |
| `scripts/ci/run-affected-tests.mjs` | 영향 선택 실행 | 변경 파일 → 워크스페이스·테스트 디렉터리 매핑 후 해당 스위트만 실행(안전 기본값: 매핑 실패 시 전체) |
### 3-2. 측정 항목 (게이트 아닌 지표, `05 §9` 정합)
- 결함-검출력: 증분 뮤테이션 점수(핵심 도메인만)
- flaky율: 3회 재실행 불일치 수
- 리드타임: `test:affected` 소요(목표 **< 60초**), CI full suite 소요
- 약한 단정 잔량(파일 단위 추세)
- 보호경로 무결성 위반 수(0 유지)
---
## 4. 로드맵 (Phase 0~5)
### Phase 0 — 기준선 (✅ 완료 2026-11-08)
- `scripts/ci/test-metrics.mjs` (+ 공용 헬퍼 `scripts/ci/lib/test-files.mjs`) 작성.
- 산출: `docs/tdd-red/metrics/2026-11-08.md` — 파일 407 · 케이스 3,498 · 단정 8,958 · 약한 단정 128 · ambient 203 · i18n 2,753키×12.
- **Exit 충족**: 지표 문서 + `npm run test:metrics` / `test:metrics:write` 등록.
### Phase 1 — 집행 수단 1: 보호경로·위생 (2~3일)
- `check-protected-tests.mjs` (+ self-test fixture: 약화/삭제/skip/정당한 변경 4케이스)
- hygiene 규칙 `weak-assertion`, `ambient-time` 추가 + self-test fixture **동시** 추가(`06 §8`)
- **기존 106건은 파일 단위 점진 정리**: 신규/수정 파일만 0 강제(`--changed` 모드) → 3주 내 전량.
- CI `quality` 잡에 두 게이트 추가.
- **Exit**: 보호 파일을 일부러 약화한 PR이 CI에서 **빨강**, 정당한 변경은 마커로 통과.
### Phase 2 — 집행 수단 2: 계약·i18n·DS (2~3일)
- `packages/i18n/__tests__/locale-contract.test.ts`: 12로케일 키 집합 동일, `{placeholders}` 정합, 값이 비어있지 않음.
- `check-i18n-contract.mjs`: 코드의 `t('literal')` 키 존재 검사 + 고아 리포트(임계치: 신규 고아 0).
- `packages/ui/__tests__/ds-contract.test.tsx`: DS 컴포넌트별 role/aria 최소 계약(스냅샷 금지, `06 §3` 정합).
- `scripts/ci/sync-i18n-locales.mjs` 정리: 하드코딩 번역값을 `locales/*.json`으로 이동, `--check`만 남김.
- **Exit**: 로케일 키 하나를 지우면 CI 빨강. i18n 고아 수가 지표로 고정.
### Phase 3 — 피드백 속도: 영향 선택 실행 (1주)
- `run-affected-tests.mjs` + `npm run test:affected`.
- 매핑 규칙: `packages/core/**` → core+desktop+web+mobile / `apps/desktop/src/main/**` → `--mode service` / renderer → renderer+E2E(spec 선택) / `server/**` → deno / `apps/mobile-rn/**` → jest.
- 안전장치: 매핑 미스 시 전체 실행, CI는 **항상 full**.
- **Exit**: 로컬 affected 실행 < 60초(중앙값), CI full 유지.
### Phase 4 — 강도: 증분 뮤테이션 + 결정성 포트 (1~2주)
- `Clock`/`Random` 포트를 `packages/core`에 추가(생성자/옵션 주입, 기본값은 실제 시계) → 신규 테스트는 주입 사용.
- Stryker(또는 vitest-mutation 계열) 도입을 **desktop main/services + packages/core 핵심 모듈**로 한정, PR에서는 변경 파일 증분만, nightly는 전체.
- 대상 도메인(사용자·돈·보안): `license`, `billing/plan-catalog`, `ads`, `dictionary-policy`, `entitlement`, `transcript-correction`.
- **Exit**: 해당 6개 모듈 뮤테이션 점수 기준선 기록, 목표 ≥ 60% (게이트 아닌 리포트).
### Phase 5 — 보호 여정의 실제 실행 (1주, 인프라)
- `release.yml` 태그 잡에 Windows 러너 E2E(`test:acceptance:desktop`) 추가, 실패 시 릴리스 중단.
- 웹은 `E2E_NO_SERVER=1` 스모크 + Payple 계약 스펙을 CI 잡으로.
- 설치 산출물 스모크(설치 → 기동 → 여정 1개) — `R7` 런타임 게이트와 연결.
- **Exit**: 보호 6경로가 태그 릴리스에서 실제 실행되고 결과가 릴리스 증거에 남는다.
---
## 5. 게이트 커맨드 (개편 후 최종형)
```bash
# 커밋 전 (목표 < 90초)
npm run test:hygiene:test && npm run test:hygiene
npm run check:protected-tests
npm run test:affected
# PR / 통합
npm run verify:all # 기존
npm run check:i18n && npm run check:ds-contract
npm run test:metrics:check # 약한 단정/고아 키 임계치
# 야간
npm run test:mutation -- --full
# 릴리스 전
npm run test:acceptance:desktop # Windows 러너 또는 로컬(GUI 세션)
npm run test:acceptance:web
```
---
## 6. 하지 않을 것 (비목표)
- 커버리지 **퍼센트 게이트** 도입 금지 (`05 §9`: 커버리지는 지표, 게이트 아님).
- E2E 확대 금지 — 여전히 임계 여정 3~5개 + 웹 스모크(`06 §4`).
- 스냅샷/픽셀 비교 도입 금지(이 저장소에 시각 회귀 인프라 없음).
- `.NET`/Deno/모바일 Jest에 뮤테이션 적용 금지(`05 §4` 명시 제외 유지).
- 테스트를 통과시키기 위한 리팩터 금지 — 약화 발견 시 **테스트 보강 또는 스펙 재합의**만.
---
## 7. 리스크와 완화
| 리스크 | 완화 |
|---|---|
| 새 게이트가 기존 3,380 테스트를 대량으로 빨강으로 만든다 | Phase 1의 `weak-assertion`/`ambient-time`은 **변경 파일 한정**으로 시작, baseline 파일 목록을 `docs/tdd-red/metrics/`에 동결 |
| 보호경로 게이트가 정당한 스펙 변경을 막는다 | `allow-protected-change:` 마커 + 사유 요구(사람 리뷰), 마커 사용 이력은 월 1회 리뷰 |
| 뮤테이션 도구가 느려 개발 루프를 막는다 | PR은 증분·핵심 6모듈만, nightly 전체, 내부 루프에서 제외(`05 §4`) |
| 영향 선택 실행이 회귀를 놓친다 | 매핑 미스 = 전체 실행, CI는 항상 full, `packages/**` 변경은 광범위 매핑 |
| i18n 고아 798 삭제가 런타임 키를 지운다 | 동적 키(`t(\`settings.${x}\`)`) 화이트리스트를 게이트에 내장, 삭제는 Wave 5 G5와 분리 |
---
## 8. 완료 정의 (v2.0)
- [ ] Phase 0~2 완료: 보호경로·i18n·DS 게이트가 CI에서 실제로 빨강을 낸다(자기검증 fixture 포함)
- [ ] `test:affected` 로컬 중앙값 < 60초
- [ ] 핵심 6모듈 뮤테이션 점수 기준선 + 추세 기록
- [ ] 보호 6경로가 릴리스 태그에서 실행되고 증거가 남는다
- [ ] `docs/tdd-red/00`~`06`이 실행 결과와 일치(문서-코드 드리프트 0) — `06 §8` 갱신 규칙 준수
- [ ] `docs/map/02-infrastructure.md` §테스트 인프라 행 갱신

View file

@ -0,0 +1,70 @@
# 테스트 체계 지표 — 2026-11-08
> `node scripts/ci/test-metrics.mjs --write` 로 생성된다. 손으로 고치지 않는다.
> 정책: `docs/tdd-red/07-revamp-plan.md` §3-2 (지표는 게이트가 아니다)
## 합계
| 항목 | 값 |
|---|---|
| 테스트 파일 | 407 |
| 테스트 케이스 | 3498 |
| 단정(expect/assert) | 8958 |
| 약한 단정 (toBeDefined/toBeTruthy/toBeFalsy/toBeNull) | 128 |
| 시간·난수 직접 호출 (ambient) | 203 |
| skip/todo | 3 |
| i18n 로케일 파일 | 12 |
| i18n 키 (ko 기준) | 2753 |
## 스위트별
| 스위트 | 파일 | 케이스 | 단정 | 약한 단정 | ambient |
|---|---:|---:|---:|---:|---:|
| 데스크톱 (Vitest) | 212 | 2075 | 5148 | 88 | 164 |
| packages/core (Vitest) | 36 | 547 | 1239 | 14 | 3 |
| packages/api-client (Vitest) | 4 | 31 | 47 | 3 | 0 |
| 웹 (Vitest + Playwright) | 8 | 46 | 203 | 9 | 5 |
| 모바일 (Jest) | 95 | 509 | 1595 | 14 | 24 |
| Supabase Edge (Deno) | 44 | 263 | 637 | 0 | 7 |
| Cloudflare Worker (Deno) | 1 | 5 | 22 | 0 | 0 |
| API 서버 (xUnit) | 7 | 22 | 67 | 0 | 0 |
## 약한 단정 상위 파일
| 파일 | 개수 |
|---|---:|
| `packages/core/__tests__/keybinding.test.ts` | 10 |
| `apps/mobile-rn/__tests__/auth-privacy-boundary.test.tsx` | 9 |
| `apps/desktop/tests/main/services/input-telemetry-stale-snapshot.test.ts` | 8 |
| `apps/web/e2e/dashboard-dictionary-commands.spec.ts` | 7 |
| `apps/desktop/tests/unit/stt-model-download-redteam-r3-24.test.ts` | 6 |
| `apps/desktop/tests/main/sync/cloud-credentials-redteam-r3-1.test.ts` | 5 |
| `apps/desktop/tests/red/history.usecase.test.ts` | 5 |
| `apps/desktop/tests/red/ads/ads-mediation.test.ts` | 4 |
| `apps/desktop/tests/main/services/CustomInstructionService.test.ts` | 3 |
| `apps/desktop/tests/unit/AdMediationEngine.test.ts` | 3 |
| `packages/core/__tests__/typo-correction.test.ts` | 3 |
| `apps/desktop/tests/main/services/DictionaryService.test.ts` | 2 |
| `apps/desktop/tests/main/services/HistoryService.test.ts` | 2 |
| `apps/desktop/tests/main/services/KeyBindingService.test.ts` | 2 |
| `apps/desktop/tests/main/services/i18n-locale-parity.test.ts` | 2 |
## ambient 시간·난수 상위 파일
| 파일 | 개수 |
|---|---:|
| `apps/desktop/tests/main/services/suggestion-redteam-r1-1.test.ts` | 11 |
| `apps/desktop/tests/integration/cross-device-sync.supabase.test.ts` | 10 |
| `apps/desktop/tests/main/sync/SyncEngine.test.ts` | 10 |
| `apps/desktop/tests/red/crypto-license.usecase.test.ts` | 8 |
| `server/supabase/functions/_shared/admob-ssv.test.ts` | 7 |
| `apps/desktop/tests/main/services/input-flow-services.test.ts` | 6 |
| `apps/desktop/tests/main/services/modifier-state.test.ts` | 6 |
| `apps/desktop/tests/main/services/suggestion-redteam-r2-3.test.ts` | 6 |
| `apps/desktop/tests/main/services/suggestion-redteam-r3-1.test.ts` | 6 |
| `apps/desktop/tests/red/meeting-recording-redteam-r2-1.test.ts` | 6 |
| `apps/mobile-rn/__tests__/templates-memos.local.integration.mjs` | 6 |
| `apps/desktop/tests/main/services/input-telemetry-focus-flicker.test.ts` | 5 |
| `apps/mobile-rn/__tests__/admin-mobile.local.e2e.mjs` | 5 |
| `apps/desktop/tests/eval/suggestion-replay.eval.test.ts` | 4 |
| `apps/desktop/tests/main/services/KeyBindingService.test.ts` | 4 |

View file

@ -57,6 +57,8 @@
"test": "npm run test --workspaces --if-present",
"test:hygiene": "node scripts/ci/check-test-hygiene.mjs",
"test:hygiene:test": "node scripts/ci/check-test-hygiene.mjs --self-test",
"test:metrics": "node scripts/ci/test-metrics.mjs",
"test:metrics:write": "node scripts/ci/test-metrics.mjs --write",
"test:acceptance:desktop": "npm run test:e2e --workspace=@d3ro/desktop",
"test:acceptance:web": "npm run test:e2e --workspace=@d3ro/web -- smoke.spec.ts",
"lint": "eslint apps/desktop apps/web apps/admin packages --ext .ts,.tsx --max-warnings=0",

View file

@ -0,0 +1,77 @@
// scripts/ci/lib/test-files.mjs
// 테스트 파일 판정·계수 공용 헬퍼 — test-metrics / check-test-quality 가 같은 규칙을 공유한다.
// 규칙을 늘릴 때는 이 파일 한 곳만 고치고, 두 스크립트의 --self-test 를 함께 확인한다.
import { execFileSync } from 'node:child_process'
import { readFileSync } from 'node:fs'
import { join } from 'node:path'
/** test:hygiene 과 동일한 패턴 (의도적 동일 — 게이트 3개가 같은 파일을 보게 한다). */
export const TEST_FILE =
/(?:^|\/)(?:tests?|__tests__|e2e)\/.*\.(?:test|spec)\.[cm]?[jt]sx?$|\.(?:test|spec)\.[cm]?[jt]sx?$/
export const EXCLUDED_PATH =
/(?:^|\/)(?:node_modules|dist|build|out|coverage|playwright-report|test-results|scratch)(?:\/|$)/
/** 약한 단정 — "값이 있다"만 확인하고 결함을 잡지 못하는 형태. */
export const WEAK_ASSERTION =
/\bexpect\s*\([^)]*\)\s*\.\s*(?:not\s*\.\s*)?(?:toBeDefined|toBeTruthy|toBeFalsy|toBeNull)\s*\(/g
/** 테스트 안의 직접 시계/난수 호출 (주입·고정 줄은 제외). */
export const AMBIENT_TIME = /\b(?:Date\.now|Math\.random|performance\.now)\s*\(\s*\)/g
export const AMBIENT_ALLOW =
/(?:setSystemTime|useFakeTimers|advanceTimersByTime|advanceTimers|withMockedNow|randomSeed|mkdtemp|vi\.spyOn\()/
export function gitLsFiles(cwd = process.cwd()) {
return execFileSync('git', ['ls-files'], { cwd, maxBuffer: 1 << 28, encoding: 'utf8' })
.split('\n')
.map((line) => line.trim().replaceAll('\\', '/'))
.filter(Boolean)
}
export function isTestFile(path) {
if (EXCLUDED_PATH.test(path)) return false
if (path.endsWith('.cs')) return path.startsWith('apps/api-server.Tests/') && /Tests?\.cs$/.test(path)
if (/\.(?:mjs|js)$/.test(path) && path.includes('__tests__')) return true
return TEST_FILE.test(path)
}
export function countMatches(text, re) {
re.lastIndex = 0
let count = 0
while (re.exec(text)) count += 1
return count
}
/** 줄 단위로 세어 주입/고정 줄은 제외한다. */
export function countAmbient(text) {
let count = 0
for (const line of text.split('\n')) {
if (AMBIENT_ALLOW.test(line)) continue
AMBIENT_TIME.lastIndex = 0
while (AMBIENT_TIME.exec(line)) count += 1
}
return count
}
export function readRepoFile(path, cwd = process.cwd()) {
return readFileSync(join(cwd, path), 'utf8')
}
/** test 파일 경로 → { path, weak, ambient } */
export function scanQuality(cwd = process.cwd()) {
const rows = []
for (const path of gitLsFiles(cwd).filter(isTestFile)) {
let text
try {
text = readRepoFile(path, cwd)
} catch {
continue
}
rows.push({
path,
weak: countMatches(text, WEAK_ASSERTION),
ambient: countAmbient(text),
})
}
return rows
}

172
scripts/ci/test-metrics.mjs Normal file
View file

@ -0,0 +1,172 @@
#!/usr/bin/env node
// scripts/ci/test-metrics.mjs
// TDD 2.0 Phase 0 — 테스트 체계 지표 산출 (게이트 아님).
//
// 정책 정본: docs/tdd-red/07-revamp-plan.md §3-2
// - 커버리지% 가 아니라 "무엇을 얼마나/얼마나 강하게" 검증하는지의 추세를 본다.
// - 이 스크립트는 실패를 만들지 않는다. 회귀 차단은 check-test-quality.mjs 가 한다.
//
// 사용:
// node scripts/ci/test-metrics.mjs # 표준출력으로 markdown
// node scripts/ci/test-metrics.mjs --write # docs/tdd-red/metrics/YYYY-MM-DD.md 로 저장
// node scripts/ci/test-metrics.mjs --json # 기계 판독용
import { mkdirSync, writeFileSync } from 'node:fs'
import { dirname } from 'node:path'
import {
countAmbient,
countMatches,
gitLsFiles,
isTestFile,
readRepoFile,
WEAK_ASSERTION,
} from './lib/test-files.mjs'
const CWD = process.cwd()
const SUITES = [
{ key: 'desktop', label: '데스크톱 (Vitest)', prefix: 'apps/desktop/' },
{ key: 'core', label: 'packages/core (Vitest)', prefix: 'packages/core/' },
{ key: 'api-client', label: 'packages/api-client (Vitest)', prefix: 'packages/api-client/' },
{ key: 'web', label: '웹 (Vitest + Playwright)', prefix: 'apps/web/' },
{ key: 'mobile', label: '모바일 (Jest)', prefix: 'apps/mobile-rn/' },
{ key: 'edge', label: 'Supabase Edge (Deno)', prefix: 'server/supabase/' },
{ key: 'cloudflare', label: 'Cloudflare Worker (Deno)', prefix: 'server/cloudflare-worker/' },
{ key: 'dotnet', label: 'API 서버 (xUnit)', prefix: 'apps/api-server.Tests/' },
]
const TEST_CASE = /(?:^|\n)\s*(?:it|test)(?:\.(?:each|skip|only|todo|concurrent)(?:\([^\n]*?\))?)?\s*\(/g
// Deno(.test) 와 xUnit([Fact]/[Theory]) 는 vitest/jest 문법이 아니다.
const DENO_TEST = /^\s*Deno\s*\.\s*test\s*\(/gm
const DOTNET_FACT = /^\s*\[(?:Fact|Theory)[^\]]*\]/gm
const ASSERTION = /\bexpect\s*\(|\bassert(?:\.\w+)?\s*\(|\bDeno\s*\.\s*assert\w*\s*\(|\bAssert\.\w+\s*\(/g
const SKIP = /\.(?:skip|todo)\s*\(/g
function read(path) {
return readRepoFile(path, CWD)
}
export function collectMetrics() {
const files = gitLsFiles(CWD).filter(isTestFile)
const suites = new Map(
SUITES.map((s) => [s.key, { ...s, files: 0, cases: 0, assertions: 0, weak: 0, ambient: 0, skips: 0 }]),
)
const offenders = { weak: [], ambient: [] }
for (const path of files) {
const suite = SUITES.find((s) => path.startsWith(s.prefix))
if (!suite) continue
let text
try {
text = read(path)
} catch {
continue
}
const row = suites.get(suite.key)
const cases =
countMatches(text, TEST_CASE) + countMatches(text, DENO_TEST) + countMatches(text, DOTNET_FACT)
const weak = countMatches(text, WEAK_ASSERTION)
const ambient = countAmbient(text)
row.files += 1
row.cases += cases
row.assertions += countMatches(text, ASSERTION)
row.weak += weak
row.ambient += ambient
row.skips += countMatches(text, SKIP)
if (weak > 0) offenders.weak.push({ path, weak })
if (ambient > 0) offenders.ambient.push({ path, ambient })
}
const localeDir = 'packages/i18n/src/locales'
let localeKeys = 0
let localeFiles = 0
try {
localeFiles = gitLsFiles(CWD).filter((f) => f.startsWith(localeDir) && f.endsWith('.json')).length
localeKeys = Object.keys(JSON.parse(read(`${localeDir}/ko.json`))).length
} catch {
// 로케일이 없으면 0 (게이트 아님)
}
offenders.weak.sort((a, b) => b.weak - a.weak)
offenders.ambient.sort((a, b) => b.ambient - a.ambient)
const rows = [...suites.values()].filter((s) => s.files > 0)
const total = (key) => rows.reduce((n, s) => n + s[key], 0)
return {
generatedAt: new Date().toISOString().slice(0, 10),
totals: {
files: total('files'),
cases: total('cases'),
assertions: total('assertions'),
weak: total('weak'),
ambient: total('ambient'),
skips: total('skips'),
localeFiles,
localeKeys,
},
suites: rows,
offenders,
}
}
export function toMarkdown(metrics) {
const t = metrics.totals
const lines = []
lines.push(`# 테스트 체계 지표 — ${metrics.generatedAt}`)
lines.push('')
lines.push('> `node scripts/ci/test-metrics.mjs --write` 로 생성된다. 손으로 고치지 않는다.')
lines.push('> 정책: `docs/tdd-red/07-revamp-plan.md` §3-2 (지표는 게이트가 아니다)')
lines.push('')
lines.push('## 합계')
lines.push('')
lines.push('| 항목 | 값 |')
lines.push('|---|---|')
lines.push(`| 테스트 파일 | ${t.files} |`)
lines.push(`| 테스트 케이스 | ${t.cases} |`)
lines.push(`| 단정(expect/assert) | ${t.assertions} |`)
lines.push(`| 약한 단정 (toBeDefined/toBeTruthy/toBeFalsy/toBeNull) | ${t.weak} |`)
lines.push(`| 시간·난수 직접 호출 (ambient) | ${t.ambient} |`)
lines.push(`| skip/todo | ${t.skips} |`)
lines.push(`| i18n 로케일 파일 | ${t.localeFiles} |`)
lines.push(`| i18n 키 (ko 기준) | ${t.localeKeys} |`)
lines.push('')
lines.push('## 스위트별')
lines.push('')
lines.push('| 스위트 | 파일 | 케이스 | 단정 | 약한 단정 | ambient |')
lines.push('|---|---:|---:|---:|---:|---:|')
for (const s of metrics.suites) {
lines.push(`| ${s.label} | ${s.files} | ${s.cases} | ${s.assertions} | ${s.weak} | ${s.ambient} |`)
}
lines.push('')
lines.push('## 약한 단정 상위 파일')
lines.push('')
lines.push('| 파일 | 개수 |')
lines.push('|---|---:|')
for (const row of metrics.offenders.weak.slice(0, 15)) lines.push(`| \`${row.path}\` | ${row.weak} |`)
lines.push('')
lines.push('## ambient 시간·난수 상위 파일')
lines.push('')
lines.push('| 파일 | 개수 |')
lines.push('|---|---:|')
for (const row of metrics.offenders.ambient.slice(0, 15)) lines.push(`| \`${row.path}\` | ${row.ambient} |`)
lines.push('')
return lines.join('\n')
}
const args = new Set(process.argv.slice(2))
const metrics = collectMetrics()
if (args.has('--json')) {
process.stdout.write(JSON.stringify(metrics, null, 2) + '\n')
} else if (args.has('--write')) {
const target = `docs/tdd-red/metrics/${metrics.generatedAt}.md`
mkdirSync(dirname(target), { recursive: true })
writeFileSync(target, toMarkdown(metrics), 'utf8')
process.stdout.write(`[test-metrics] wrote ${target}\n`)
process.stdout.write(
`[test-metrics] ${metrics.totals.files} files / ${metrics.totals.cases} cases / weak ${metrics.totals.weak} / ambient ${metrics.totals.ambient}\n`,
)
} else {
process.stdout.write(toMarkdown(metrics))
}