This commit is contained in:
parent
6e3123091a
commit
aeddaa6972
69 changed files with 3178 additions and 424 deletions
|
|
@ -55,6 +55,10 @@ powershell -NoProfile -ExecutionPolicy Bypass -File scripts\start-local-whisper-
|
|||
- `-NoGateway`/`-NoWeb`를 쓰면 해당 컴포넌트의 stale 정리도 건너뛰고, API 정리는 지정한 `-ApiPort` listener만 대상으로 한다. public `8001`, Tailnet `8010`, local `8000`을 나눠 띄운 상태에서 API-only 재기동할 때 다른 포트를 건드리지 않는다.
|
||||
- `dev-down.ps1`은 기본적으로 DB 컨테이너를 보존한다. 컨테이너도 멈추려면 `-Db`를 명시한다.
|
||||
|
||||
DB를 `dev-up.ps1`이 관리하는 경로에서는 API를 띄우기 전에 TCP `pg_isready`가 통과해야 하며, 새 DB와 기존 `vignette-dev-db` 재시작 모두 이 순서를 따른다. 기동 뒤에는 `/health`의 `db=true`를 확인한다. `-NoDb` 또는 Docker 부재에서의 `db=false` degraded는 허용된 개발 모드지만, DB readiness 성공을 뜻하지 않는다. 2026-10-19에는 managed 경로의 socket 0/TCP 2 → TCP 0 재초기화 재현과 strict API health를 수용했다. [closeout 보고서](../ops/backlog-closeout-2026-10-19.md)를 따른다.
|
||||
|
||||
returned-practice G4/G5 폐루프는 기존 dev DB를 재사용하지 않는다. `scripts/run-periodic-learner-e2e.py --execute`는 clean source snapshot의 전용 disposable engine/DB/API/Web를 loopback 포트에서만 올린다. 2026-10-19 receipt는 same-learner 실제 추천·브라우저 회기·SSE·review·G4/G5 `0→1→1`, returned desktop/mobile 4 passed와 route mock 0을 확인했고, 종료 뒤 container·volume·network·listener 잔여는 모두 0이었다. [receipt](../ops/backlog-closeout-2026-10-19.md#e2e-001-현행-경계)를 따른다.
|
||||
|
||||
DB나 배포 경로를 바꾸기 전에는 custom-format dump와 SHA-256 manifest를 먼저 만든다. 스크립트는
|
||||
DB 내용을 stdout에 흘리지 않고 container 내부 임시 파일을 `pg_restore --list`로 검증한 뒤에만
|
||||
로컬 백업을 원자 게시한다. 기존 container나 volume을 제거하는 경로는 없다.
|
||||
|
|
@ -372,16 +376,16 @@ powershell -NoProfile -ExecutionPolicy Bypass -File scripts\install-health-sampl
|
|||
powershell -NoProfile -ExecutionPolicy Bypass -File scripts\install-health-sampler-task.ps1 -IntervalMinutes 5 -RunNow
|
||||
```
|
||||
|
||||
쌓인 원시 헬스 샘플은 명시 기간을 준 maintenance 스크립트로 일별 rollup에 먼저 집계한 뒤 정리한다.
|
||||
기본은 dry-run이며, 실제 삭제는 `--apply`를 붙였을 때만 수행한다. non-dev 환경에서는
|
||||
`--allow-non-dev-apply`가 없으면 apply가 차단된다.
|
||||
쌓인 원시 헬스 샘플은 `--rollup-days`를 반드시 지정한 maintenance 스크립트로 일별 rollup에 먼저 집계한 뒤 정리한다.
|
||||
raw 보존 기본값은 90일, daily rollup 보존 기본값은 365일이다. 기본은 dry-run이며, 실제 삭제는 `--apply`를 붙였을 때만 수행한다. non-dev 환경에서는
|
||||
`--allow-non-dev-apply`가 없으면 apply가 차단된다. 2026-10-19 로컬 격리 DB 수용은 migration 25를 그 proof에만 적용한 결과이며, 기존 dev/prod 적용이나 운영 스케줄 등록을 뜻하지 않는다.
|
||||
|
||||
```powershell
|
||||
# 영향 범위 확인
|
||||
C:\Users\encep\AppData\Local\Programs\Python\Python311\python.exe scripts\maintain-admin-health-events.py --rollup-days 2 --retention-days 30 --json
|
||||
# 영향 범위 확인: --rollup-days 2는 이 예시의 집계 시점일 뿐 보존 기간이 아니다.
|
||||
C:\Users\encep\AppData\Local\Programs\Python\Python311\python.exe scripts\maintain-admin-health-events.py --rollup-days 2 --retention-days 90 --rollup-retention-days 365 --json
|
||||
|
||||
# dev DB에서만 실제 적용
|
||||
C:\Users\encep\AppData\Local\Programs\Python\Python311\python.exe scripts\maintain-admin-health-events.py --rollup-days 2 --retention-days 30 --apply --json
|
||||
C:\Users\encep\AppData\Local\Programs\Python\Python311\python.exe scripts\maintain-admin-health-events.py --rollup-days 2 --retention-days 90 --rollup-retention-days 365 --apply --json
|
||||
```
|
||||
|
||||
---
|
||||
|
|
@ -507,6 +511,8 @@ Invoke-RestMethod -Method Post `
|
|||
현재 sync 경로는 active `kb.document`의 hash/version을 먼저 읽고, hash가 바뀐 pack만 다음 document version으로 색인한다.
|
||||
임베딩 모델이 없으면 `degraded=true`로 BM25-only 색인이 되지만, 라이브 코칭 기본 로컬 근거는 계속 동작한다.
|
||||
|
||||
2026-10-19 로컬 교정에서는 workbook data C/D 다섯 항목의 외부 사용을 명시적으로 막고, 관리자 sync 두 경로가 RLS role/user id를 함께 전달하도록 맞췄다. 검증 당시 별도 API `8014`와 현재 기본 `.env`의 실DB에서 unauthenticated `401`, learner `403`, admin `202`, 후속 retrieval `200`을 확인했고, 같은 admin sync를 두 번 실행해 매번 `sources=7`, `items=7`, `chunks=0`, `skipped_unchanged=7`, `embedded=false`, `degraded=false`를 확인했다. 이후 `8000`은 최종 소스로 재시작해 `db=true`·`engine=true`지만 Jev `live_verified=false`는 유지한다. 모두 로컬 증거이며 dev/prod 또는 운영 배포를 갱신하지 않는다.
|
||||
|
||||
API 서버 없이 DB에 직접 비교/적용하려면 저장소 루트에서 runner를 쓴다. 기본은 DB-backed dry-run이라 write하지 않고, `--apply`에서만 `kb.source` upsert와 `kb.document/kb.chunk` 색인을 수행한다.
|
||||
|
||||
```powershell
|
||||
|
|
|
|||
|
|
@ -15,12 +15,12 @@ Vignette 저장소의 모든 검증 수단(백엔드 단위 테스트, 웹 타
|
|||
|
||||
| 검증 | 작업 디렉터리 | 명령 | DB | API(8000) | 웹(5173) | 엔진GW(9099) | 브라우저 | 현재 통과 |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 백엔드 단위 테스트 | `apps/api` | `py -3.11 -m pytest app/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-09-22 전체 실행 1173 passed / 1 skipped / 0 failed |
|
||||
| 엔진 게이트웨이 테스트 | `apps/api` | `py -3.11 -m pytest engine_gateway/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-09-07 전체 실행 71 passed / 1 warning |
|
||||
| 백엔드 단위 테스트 | `apps/api` | `py -3.11 -m pytest app/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-10-19 `kbsync500-rework`: `VIGNETTE_CLIENT_AFFECT_PROVIDER=legacy` 최종 app 1263 passed / 1 skipped / 1 warning (18.72s, exit 0) |
|
||||
| 엔진 게이트웨이 테스트 | `apps/api` | `py -3.11 -m pytest engine_gateway/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-10-19 `final-checks/20261018T232629Z`: 82 passed / 1 warning (exit 0) |
|
||||
| API 타입 생성 체크 | `apps/web` | `npm run check:api-types` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | pass |
|
||||
| 웹 타입체크 | `apps/web` | `npm run typecheck` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | pass |
|
||||
| 웹 빌드 | `apps/web` | `npm run build` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | pass |
|
||||
| Playwright E2E(전체) | `apps/web` | `npm run e2e` | **필요(+시드)** | **필요** | 자동기동 | 일부만 | **필요** | 현재 수집 1321 tests / 74 files · 현 작업트리 전체 GREEN 미검증 |
|
||||
| Playwright E2E(전체) | `apps/web` | `npm run e2e` | **필요(+시드)** | **필요** | 자동기동 | 일부만 | **필요** | 2026-10-19 현재 수집 1334 tests / 74 files · 현 작업트리 전체 GREEN 미검증 |
|
||||
|
||||
핵심 원칙: **단위 테스트(pytest)와 타입체크/빌드는 외부 서비스 없이 단독 실행된다.**
|
||||
**E2E만 풀스택(DB+API+웹+브라우저)을 요구한다.** 아래 각 절에서 근거와 절차를 설명한다.
|
||||
|
|
@ -29,6 +29,18 @@ Vignette 저장소의 모든 검증 수단(백엔드 단위 테스트, 웹 타
|
|||
`test_admin_usage_postgres.py`가 `VIGNETTE_USAGE_TEST_DATABASE_URL` 미설정일 때 건너뛰는 경우다. 새 skip은
|
||||
아니며, warning 1건은 통과 수와 분리해 기록한다.
|
||||
|
||||
### 0.1 2026-10-19 로컬 closeout 수용 범위
|
||||
|
||||
아래는 새 날짜의 로컬 수용 기록이다. 과거 실행 수치를 대체하지 않으며, 배포·push·외부 임상 검수·전체 E2E GREEN을 주장하지 않는다.
|
||||
|
||||
- `DEVUP-DB-RACE`: managed DB 경로의 TCP `pg_isready`, strict API `/health`의 `db=true`, `authoritative-sequence.json`의 socket 0/TCP 2 → TCP 0 재초기화, 기존 `devdb` 재시작 뒤 API `db=true`를 수용했다.
|
||||
- `ADMIN-AFFECT-V2-MOBILE`: `e2e/admin-affect.spec.ts` desktop/mobile 20 passed. 320/390/1440 스크린샷과 SHA-256은 [closeout 보고서](../ops/backlog-closeout-2026-10-19.md)에 보존한다.
|
||||
- `AVATAR-V3` render mode: `e2e/avatar-expression.spec.ts` focused desktop/mobile 6 passed로 v3 ready의 outer `linocut-v3`와 loading/error/no-rig의 `svg` 및 inner renderer를 확인했다. 원화·공개/소유자 게이트는 남는다.
|
||||
- `C-001`: 결정론적 기술 산출물 6건과 focused 10건은 로컬 수용했지만 외부 임상 입력은 0이므로 `review_complete=true` 또는 외부 완료가 아니다.
|
||||
- `RETENTION-001`: 격리 DB에서 raw 90일·rollup 365일의 90/365 경계, 반복 실행, learner 차단, rollback, raw 366일의 신규 rollup 만료를 확인했다. admin-only exact policy와 RLS enabled guard, dry-run 전체 snapshot 무변경도 수용했다. migration 25는 그 proof에만 적용했으며 기존 dev/prod·운영 스케줄에는 적용하지 않았다.
|
||||
- `RELEASE-MIGRATIONS`: RELEASE-23·24·25 transactional required-payload 계약과 retention CLI/release 38 passed, service focused 35 passed/1 warning은 로컬 증거다. 운영 migration 적용·최종 운영 테스트는 별도 gate다.
|
||||
- `E2E-001`: 최신 full fixture는 direct spec 1264건(각 project 632)에서 1254 passed·0 failed·10 skipped·0 flaky(779.880s, exit 0)다. 10 skip 중 desktop/mobile 의도 대칭 6건은 그대로이고, returned-practice DB closed-loop G4/G5 desktop/mobile 4건은 전용 disposable engine/DB/API/Web에서 same-learner 실제 SSE·review·G4/G5 `0→1→1`과 returned desktop/mobile 4 passed·route mock 0으로 별도 수용했다. 기존 dev DB는 재사용하지 않았고 cleanup 잔여도 0이다. 최초 admin KPI·avatar 간헐 원인은 과거 관측으로 남아 있고 이번 전체 통과로 확정하지 않는다. 전체 수집 1334건의 일괄 완료 주장은 하지 않으며, 기본 Jev 설정의 전체 API 재검증·`live_verified`와 외부/운영 gate가 남아 전체 E2E DONE은 주장하지 않는다. 세부 수치와 증거는 [closeout의 통합 표](../ops/backlog-closeout-2026-10-19.md#최종-e2e-통합-수치)를 따른다.
|
||||
|
||||
---
|
||||
|
||||
## 1. 백엔드 단위 테스트 (pytest)
|
||||
|
|
@ -570,7 +582,7 @@ hourly heartbeat는 최신 GREEN이 6시간 이상 오래됐거나 material mile
|
|||
- 2026-07-01 focused 검증: `C:\Users\encep\AppData\Local\Programs\Python\Python311\python.exe -X utf8 -m pytest -p no:cacheprovider app/test_teacher_dashboard.py -q` **10 passed**. 교수자 대시보드 API는 `session_persistence.list_all_sessions()`로 전체 담당 세션을 읽고, 학습자 일반 목록은 `list_recent_sessions()`로 최근 100개 제한을 명시해 한 학생의 최신 회기가 다른 학생 분석 목록을 밀어내지 않는지 검증한다. 또한 ended session summary가 `app.session_evaluation`의 `evaluation_status`, `review_ready`, `supervisor_state`, `evaluation_error`를 별도로 싣고, 평가 실패가 수동 review status와 섞이지 않는지 검증한다.
|
||||
- 2026-07-01 focused 검증: `npx playwright test e2e/admin.spec.ts --project=chromium-desktop --project=chromium-mobile --workers=1 --grep "approved admin without onboarding"` **2 passed**. 승인된 `role=admin` 사용자의 세션에 `admin_access=false`, `onboarding_completed_at=null`이 남아도 `/admin`이 `/onboarding`으로 우회하지 않고 관리 콘솔의 `/admin/*` API를 호출하는지 fixture로 고정한다.
|
||||
- 2026-07-15 보태니컬 글래스 UI·SSOT 검증: `npm run check:design-ssot` + `npm run typecheck` + `npm run build` 통과, `npx playwright test e2e/layout-visual-gate.spec.ts --project=chromium-single-run --reporter=line` 시각 게이트 **15/15**, `npx playwright test e2e/auth-visual.spec.ts --project=chromium-single-run --reporter=line` **1/1**, `npx playwright test e2e/session-layout.spec.ts e2e/learner.spec.ts e2e/session-review.spec.ts --project=chromium-desktop --project=chromium-mobile` **46/46**, 로그인→온보딩 focused desktop/mobile **2/2**. 공통 AppShell GNB, Theme store, Surface variant의 소유권과 전 폭 대시보드/리뷰 탭, 로그인·온보딩 라이트/다크 390/1280px, 고해상도 보태니컬 자산을 함께 고정한다. 라이트 테마도 패널당 복수 굴절 그라데이션, backdrop blur, 헤어라인, 그림자를 computed style로 단언하며 모바일 셸이 보태니컬 배경을 제거하지 않는지 검사한다. 관리자 사용자 표는 semantic table, 정렬 헤더, 1440px 최소 폭과 표 전용 가로 스크롤을 desktop/mobile에서 검증한다.
|
||||
- 2026-07-31 활성 세션 보태니컬 워크스페이스 검증: `full-sweep-session.spec.ts`의 1536×1024 계약이 좌 326px·우 357px 레일, 1408px 상단/본문, 1468px 하단 제어바, 좌우/스테이지 보태니컬 WebP 연결과 라이트 테마를 실측한다. 세션 전수 desktop/mobile **32 passed / 2 skipped**, `session-layout` **8/8**, 7폭 `layout-visual-gate` **15/15**, `check:design-ssot`·typecheck·build를 통과했다. 1366×768 이하는 스테이지보다 자막이 작아지지 않게 별도 압축 계약을 적용한다.
|
||||
- 2026-07-31 활성 세션 보태니컬 워크스페이스 검증: 이는 당시 `full-sweep-session.spec.ts`의 1536×1024 역사 계약으로 좌 326px·우 357px 레일, 1408px 상단/본문, 1468px 하단 제어바, 좌우/스테이지 보태니컬 WebP 연결과 라이트 테마를 실측했다. 세션 전수 desktop/mobile **32 passed / 2 skipped**, `session-layout` **8/8**, 7폭 `layout-visual-gate` **15/15**, `check:design-ssot`·typecheck·build를 통과했다. 1366×768 이하는 스테이지보다 자막이 작아지지 않게 별도 압축 계약을 적용했다. 이후 공통 1480px 폭 상한 계약은 최종 검증 뒤 별도 현재 증거로 기록한다.
|
||||
- 2026-07-31 관리자 Provider·모델별 비용 원장 검증: `python -X utf8 -m pytest -p no:cacheprovider app/test_llm_pricing.py app/test_admin_ops.py app/test_usage_report.py engine_gateway/test_provider_registry.py engine_gateway/test_gateway_model.py -q` **66 passed**. Claude CLI SDK 비용 추정값과 Agy/Gemini·Codex·Claude API 공식 참조단가 추정을 분리하고, 기존 DB의 0달러 Agy 행을 조회 시 재산정하며, 단가 미등록 모델은 `미산정`으로 남기는 계약을 고정했다. `npm run generate:api-types`·`check:api-types`·typecheck·build를 통과했고, 관리자 AI desktop/mobile focused E2E **2 passed**와 7폭 focused layout visual gate **1 passed**에서 Gemini 원장 `$0.06`·`참조단가` 표시와 레이아웃 containment를 확인했다. 공개 API 프로세스를 재시작하고 Cloudflare Pages production `11b3e11f`에 배포했다. 인증된 공개 `/admin/usage?window_days=30`은 `source=database`, `durable=true`, `gemini-3.6-flash-high` 5호출·입력 35,703·출력 1,129·참조단가 `$0.062022`를 반환했고, 검증용 인증 세션은 즉시 삭제했다. 커스텀 도메인의 `AdminAi-BfxMUlzj.js`와 `AdminAi-XHkda_d4.css`는 올바른 JavaScript/CSS MIME으로 200을 반환한다.
|
||||
- 2026-08-28 Gemini 3.7 비용 미산정 회귀 검증: screenshot과 같은 `gemini-3.7-flash-high` 21회·입력 115,950·출력 4,407의 기존 0달러 원장을 2026 프로모션 기준 `≤$0.103489`(`reference_upper_bound`)로 보정한다. Gemini 3.6/3.7 출시·프로모션·2027 경계, 요청별 200K 단가 구간, 일부 미산정 `$…+`, 상한+미산정 `partial_upper_bound`의 `미산정`, 저장된 과거 비용의 라벨 불변, 정확한 `(e2e, fake-client, input=1, output=1, cost=0)` 제외를 회귀화했다. 전체·일별·예산에 비용 확실성을 전파하고 불확실한 평균·비중은 숨긴다. 동일 계량 시그니처 SQL 집계와 migration 18의 client-turn 기간 인덱스를 고정했으며, release agent는 이 파일만 `CREATE INDEX CONCURRENTLY`로 트랜잭션 밖에서 적용한다. focused **105 passed / 1 skipped**, `app engine_gateway` 전체 **1102 passed / 1 skipped**, 새 빈 PostgreSQL에서 온라인 마이그레이션+통합 **1 passed**, release agent **31 passed**, API type generation/check·typecheck·build, 관리자 AI desktop/mobile **6 passed**를 확인했다. 통합 컨테이너와 테스트 DB는 `--rm`으로 정리했으며, 공개 배포·운영 DB 데이터 삭제는 하지 않았다.
|
||||
- 2026-08-29 Google 계정 데이터 복구 검증: migration 19가 owner-managed `auth_identity_alias`와 세션의 별도 `login_email`을 추가한다. Gmail 중복 계정은 학습 데이터 0건이지만 기본 설정 1행이 있어 최초 가드가 rollback했고, 전체 app_user FK를 전수 스캔한 뒤 canonical 설정과 겹치는 값이 동일함을 확인했다. 개정 트랜잭션은 source-only `account_approval` 알림 키를 canonical 설정에 합치고 원본 설정 행은 보존한다. 백업 복제 DB에서 alias 2·세션 21·턴 64·평가 6·활성 source session 0·고아 0으로 통과 후 복제 DB를 삭제했고, 활성 DB도 사용자 1175·회기 469·평가 65·고아 0을 유지했다. 공개 API fresh provenance는 commit `dba9b75a…`·tree `14cd4607…`, health DB/engine true, voice exact, OpenAPI 129, auth 401이며 boot/watchdog 실제 실행 결과는 0/0이다. Pages production `ef48c0ae…`의 custom domain은 clean build entry·login chunk SHA와 일치하고 단일 Google CTA E2E 1건을 통과했다. 실제 Gmail callback은 브라우저 계정 선택을 기다린다.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue