라우터 7 동기 갱신 복구와 E2E 격리 수정, 검증 기록 동기화
Some checks failed
API contract / OpenAPI type drift (push) Failing after 3m30s
Some checks failed
API contract / OpenAPI type drift (push) Failing after 3m30s
This commit is contained in:
parent
d801a1619d
commit
b0ff44a1d4
9 changed files with 236 additions and 154 deletions
|
|
@ -10,6 +10,10 @@ import { expect, test, type APIResponse, type Page } from "@playwright/test";
|
|||
import {
|
||||
acquireGlobalEngineConfigLock,
|
||||
completeAlliancePreCheckpoint,
|
||||
installControlledEngineConfig,
|
||||
readEngineConfigSnapshot,
|
||||
restoreEngineConfig,
|
||||
type EngineConfigSnapshot,
|
||||
} from "./support";
|
||||
|
||||
const API_PORT = 8018;
|
||||
|
|
@ -29,15 +33,6 @@ interface ManagedServer {
|
|||
requests: () => string[];
|
||||
}
|
||||
|
||||
interface EngineConfigSnapshot {
|
||||
engine_mode: string;
|
||||
engine_url: string;
|
||||
model: string;
|
||||
reasoning_effort: string | null;
|
||||
updated_by: string | null;
|
||||
updated_at: string | null;
|
||||
}
|
||||
|
||||
interface AdminEngineConfigResponse {
|
||||
engine_mode: string;
|
||||
engine_url: string;
|
||||
|
|
@ -348,6 +343,8 @@ async function startApi(engineUrl: string): Promise<ManagedProcess> {
|
|||
ENGINE_URL: engineUrl,
|
||||
ENGINE_MODE: "claude_api",
|
||||
VIGNETTE_LIVE_CLIENT_PROVIDER: "claude_api",
|
||||
// apps/api/.env의 jev가 상속되면 가짜 엔진 호출 전에 OpenRouter 외부 호출이 끼어든다.
|
||||
VIGNETTE_CLIENT_AFFECT_PROVIDER: "legacy",
|
||||
ENGINE_TIMEOUT: "20",
|
||||
ENGINE_CONNECT_TIMEOUT: "2",
|
||||
EVALUATOR_SEMANTIC_CACHE_ENABLED: "false",
|
||||
|
|
@ -447,86 +444,6 @@ function runPsql(sql: string): string {
|
|||
return String(result.stdout).trim();
|
||||
}
|
||||
|
||||
function sqlTextValue(value: string | null): string {
|
||||
return value === null ? "NULL" : `'${value.replaceAll("'", "''")}'`;
|
||||
}
|
||||
|
||||
function readEngineConfigSnapshot(): EngineConfigSnapshot | null {
|
||||
const raw = runPsql(`
|
||||
SELECT COALESCE(
|
||||
(
|
||||
SELECT json_build_object(
|
||||
'engine_mode', engine_mode,
|
||||
'engine_url', engine_url,
|
||||
'model', model,
|
||||
'reasoning_effort', reasoning_effort,
|
||||
'updated_by', updated_by,
|
||||
'updated_at', updated_at
|
||||
)::text
|
||||
FROM app.admin_engine_config
|
||||
WHERE id = TRUE
|
||||
),
|
||||
'null'
|
||||
);
|
||||
`);
|
||||
return raw === "null" ? null : (JSON.parse(raw) as EngineConfigSnapshot);
|
||||
}
|
||||
|
||||
function installControlledEngineConfig(engineUrl: string): void {
|
||||
runPsql(`
|
||||
INSERT INTO app.admin_engine_config (
|
||||
id, engine_mode, engine_url, model, reasoning_effort, updated_by, updated_at
|
||||
)
|
||||
VALUES (
|
||||
TRUE, 'claude_api', ${sqlTextValue(engineUrl)}, 'req005-controlled', 'medium',
|
||||
'req005-e2e', now()
|
||||
)
|
||||
ON CONFLICT (id) DO UPDATE SET
|
||||
engine_mode = EXCLUDED.engine_mode,
|
||||
engine_url = EXCLUDED.engine_url,
|
||||
model = EXCLUDED.model,
|
||||
reasoning_effort = EXCLUDED.reasoning_effort,
|
||||
updated_by = EXCLUDED.updated_by,
|
||||
updated_at = EXCLUDED.updated_at;
|
||||
`);
|
||||
expect(readEngineConfigSnapshot()).toMatchObject({
|
||||
engine_mode: "claude_api",
|
||||
engine_url: engineUrl,
|
||||
model: "req005-controlled",
|
||||
reasoning_effort: "medium",
|
||||
updated_by: "req005-e2e",
|
||||
});
|
||||
}
|
||||
|
||||
function restoreEngineConfig(snapshot: EngineConfigSnapshot | null): void {
|
||||
if (snapshot === null) {
|
||||
runPsql("DELETE FROM app.admin_engine_config WHERE id = TRUE;");
|
||||
} else {
|
||||
runPsql(`
|
||||
INSERT INTO app.admin_engine_config (
|
||||
id, engine_mode, engine_url, model, reasoning_effort, updated_by, updated_at
|
||||
)
|
||||
VALUES (
|
||||
TRUE,
|
||||
${sqlTextValue(snapshot.engine_mode)},
|
||||
${sqlTextValue(snapshot.engine_url)},
|
||||
${sqlTextValue(snapshot.model)},
|
||||
${sqlTextValue(snapshot.reasoning_effort)},
|
||||
${sqlTextValue(snapshot.updated_by)},
|
||||
${sqlTextValue(snapshot.updated_at)}::timestamptz
|
||||
)
|
||||
ON CONFLICT (id) DO UPDATE SET
|
||||
engine_mode = EXCLUDED.engine_mode,
|
||||
engine_url = EXCLUDED.engine_url,
|
||||
model = EXCLUDED.model,
|
||||
reasoning_effort = EXCLUDED.reasoning_effort,
|
||||
updated_by = EXCLUDED.updated_by,
|
||||
updated_at = EXCLUDED.updated_at;
|
||||
`);
|
||||
}
|
||||
expect(readEngineConfigSnapshot()).toEqual(snapshot);
|
||||
}
|
||||
|
||||
function sqlUuidArray(values: Iterable<string>): string {
|
||||
const rows = [...values];
|
||||
return rows.length ? `ARRAY[${rows.map((value) => `'${value}'::uuid`).join(",")}]` : "ARRAY[]::uuid[]";
|
||||
|
|
@ -703,7 +620,12 @@ test.describe("real PostgreSQL persona and protocol lifecycle", () => {
|
|||
engineConfigSnapshot = readEngineConfigSnapshot();
|
||||
engineConfigSnapshotCaptured = true;
|
||||
engine = await startControlledEngine();
|
||||
installControlledEngineConfig(engine.url);
|
||||
installControlledEngineConfig({
|
||||
engineUrl: engine.url,
|
||||
model: "req005-controlled",
|
||||
reasoningEffort: "medium",
|
||||
updatedBy: "req005-e2e",
|
||||
});
|
||||
api = await startApi(engine.url);
|
||||
|
||||
const bootstrapEmail = `req005-engine-bootstrap-${Date.now()}@twentyoz.kr`;
|
||||
|
|
@ -998,6 +920,10 @@ test.describe("real PostgreSQL persona and protocol lifecycle", () => {
|
|||
const streamResponse = await streamResponsePromise;
|
||||
await expectOk(streamResponse);
|
||||
expect(streamResponse.headers()["content-type"] ?? "").toContain("text/event-stream");
|
||||
// SSE 헤더가 본문 생성기보다 먼저 오는 경쟁이 있어 단발 확인 대신 폴링한다.
|
||||
await expect
|
||||
.poll(() => (engine?.requests() ?? []).some((request) => request.startsWith("POST /v1/stream")))
|
||||
.toBe(true);
|
||||
const engineRequests = engine?.requests() ?? [];
|
||||
const streamDiagnostics = [
|
||||
`engine=${engineRequests.join(" | ") || "<none>"}`,
|
||||
|
|
@ -1007,10 +933,6 @@ test.describe("real PostgreSQL persona and protocol lifecycle", () => {
|
|||
body: streamDiagnostics,
|
||||
contentType: "text/plain; charset=utf-8",
|
||||
});
|
||||
expect(
|
||||
engineRequests.some((request) => request.startsWith("POST /v1/stream")),
|
||||
streamDiagnostics,
|
||||
).toBe(true);
|
||||
await expect(page.locator(".sx-utt").filter({ hasText: learnerText })).toBeVisible();
|
||||
await expect(page.locator(".sx-utt.is-client").last()).toContainText(
|
||||
"조금 더 말해볼 수 있을 것 같아요.",
|
||||
|
|
|
|||
|
|
@ -968,7 +968,7 @@ test.describe("session persistence", () => {
|
|||
await page.goto(`/learn/session/${persona.code}`);
|
||||
await page.getByRole("button", { name: "회기 시작" }).click();
|
||||
await completeAlliancePreCheckpoint(page);
|
||||
await page.getByRole("button", { name: "코칭" }).click();
|
||||
await page.getByRole("button", { name: /^코칭 모드, 남은 기회 \d+개$/ }).click();
|
||||
await expect(page.locator(".sx-page.sx-page--active")).toBeVisible({ timeout: 15_000 });
|
||||
await expect(page).toHaveURL(/\/learn\/session\/[0-9a-f-]+$/i);
|
||||
const sessionId = new URL(page.url()).pathname.split("/").at(-1);
|
||||
|
|
@ -1165,9 +1165,10 @@ test.describe("session persistence", () => {
|
|||
);
|
||||
|
||||
expect(probe.code, JSON.stringify(probe, null, 2)).toBe(1000);
|
||||
expect(probe.events.some((event) => event.type === "error" || event.type === "degraded")).toBe(
|
||||
false,
|
||||
);
|
||||
expect(
|
||||
probe.events.filter((event) => event.type === "error" || event.type === "degraded"),
|
||||
JSON.stringify(probe.events, null, 2),
|
||||
).toEqual([]);
|
||||
expect(probe.events).toEqual(
|
||||
expect.arrayContaining([
|
||||
expect.objectContaining({ type: "eot", ready: true }),
|
||||
|
|
|
|||
|
|
@ -1,5 +1,6 @@
|
|||
import { promises as fs } from "node:fs";
|
||||
import path from "node:path";
|
||||
import { spawnSync } from "node:child_process";
|
||||
import { expect, type Page } from "@playwright/test";
|
||||
|
||||
export interface E2EPersona {
|
||||
|
|
@ -86,6 +87,131 @@ export async function withGlobalEngineConfigLock<T>(
|
|||
}
|
||||
}
|
||||
|
||||
const ENGINE_CONFIG_DB_CONTAINER = process.env.E2E_DB_CONTAINER ?? "vignette-dev-db";
|
||||
|
||||
export interface EngineConfigSnapshot {
|
||||
engine_mode: string;
|
||||
engine_url: string;
|
||||
model: string;
|
||||
reasoning_effort: string | null;
|
||||
updated_by: string | null;
|
||||
updated_at: string | null;
|
||||
}
|
||||
|
||||
function runEngineConfigPsql(sql: string): string {
|
||||
const result = spawnSync(
|
||||
"docker",
|
||||
[
|
||||
"exec",
|
||||
"-i",
|
||||
ENGINE_CONFIG_DB_CONTAINER,
|
||||
"psql",
|
||||
"-X",
|
||||
"-U",
|
||||
"vignette_owner",
|
||||
"-d",
|
||||
"vignette",
|
||||
"-v",
|
||||
"ON_ERROR_STOP=1",
|
||||
"-A",
|
||||
"-t",
|
||||
"-F",
|
||||
"|",
|
||||
],
|
||||
{ input: sql, encoding: "utf8", windowsHide: true },
|
||||
);
|
||||
if (result.status !== 0) {
|
||||
throw new Error(`psql failed (${result.status}): ${String(result.stderr).trim()}`);
|
||||
}
|
||||
return String(result.stdout).trim();
|
||||
}
|
||||
|
||||
function sqlEngineConfigTextValue(value: string | null): string {
|
||||
return value === null ? "NULL" : `'${value.replaceAll("'", "''")}'`;
|
||||
}
|
||||
|
||||
export function readEngineConfigSnapshot(): EngineConfigSnapshot | null {
|
||||
const raw = runEngineConfigPsql(`
|
||||
SELECT COALESCE(
|
||||
(
|
||||
SELECT json_build_object(
|
||||
'engine_mode', engine_mode,
|
||||
'engine_url', engine_url,
|
||||
'model', model,
|
||||
'reasoning_effort', reasoning_effort,
|
||||
'updated_by', updated_by,
|
||||
'updated_at', updated_at
|
||||
)::text
|
||||
FROM app.admin_engine_config
|
||||
WHERE id = TRUE
|
||||
),
|
||||
'null'
|
||||
);
|
||||
`);
|
||||
return raw === "null" ? null : (JSON.parse(raw) as EngineConfigSnapshot);
|
||||
}
|
||||
|
||||
export function installControlledEngineConfig(options: {
|
||||
engineUrl: string;
|
||||
model: string;
|
||||
reasoningEffort: string | null;
|
||||
updatedBy: string;
|
||||
}): void {
|
||||
const { engineUrl, model, reasoningEffort, updatedBy } = options;
|
||||
runEngineConfigPsql(`
|
||||
INSERT INTO app.admin_engine_config (
|
||||
id, engine_mode, engine_url, model, reasoning_effort, updated_by, updated_at
|
||||
)
|
||||
VALUES (
|
||||
TRUE, 'claude_api', ${sqlEngineConfigTextValue(engineUrl)}, ${sqlEngineConfigTextValue(model)},
|
||||
${sqlEngineConfigTextValue(reasoningEffort)}, ${sqlEngineConfigTextValue(updatedBy)}, now()
|
||||
)
|
||||
ON CONFLICT (id) DO UPDATE SET
|
||||
engine_mode = EXCLUDED.engine_mode,
|
||||
engine_url = EXCLUDED.engine_url,
|
||||
model = EXCLUDED.model,
|
||||
reasoning_effort = EXCLUDED.reasoning_effort,
|
||||
updated_by = EXCLUDED.updated_by,
|
||||
updated_at = EXCLUDED.updated_at;
|
||||
`);
|
||||
expect(readEngineConfigSnapshot()).toMatchObject({
|
||||
engine_mode: "claude_api",
|
||||
engine_url: engineUrl,
|
||||
model,
|
||||
reasoning_effort: reasoningEffort,
|
||||
updated_by: updatedBy,
|
||||
});
|
||||
}
|
||||
|
||||
export function restoreEngineConfig(snapshot: EngineConfigSnapshot | null): void {
|
||||
if (snapshot === null) {
|
||||
runEngineConfigPsql("DELETE FROM app.admin_engine_config WHERE id = TRUE;");
|
||||
} else {
|
||||
runEngineConfigPsql(`
|
||||
INSERT INTO app.admin_engine_config (
|
||||
id, engine_mode, engine_url, model, reasoning_effort, updated_by, updated_at
|
||||
)
|
||||
VALUES (
|
||||
TRUE,
|
||||
${sqlEngineConfigTextValue(snapshot.engine_mode)},
|
||||
${sqlEngineConfigTextValue(snapshot.engine_url)},
|
||||
${sqlEngineConfigTextValue(snapshot.model)},
|
||||
${sqlEngineConfigTextValue(snapshot.reasoning_effort)},
|
||||
${sqlEngineConfigTextValue(snapshot.updated_by)},
|
||||
${sqlEngineConfigTextValue(snapshot.updated_at)}::timestamptz
|
||||
)
|
||||
ON CONFLICT (id) DO UPDATE SET
|
||||
engine_mode = EXCLUDED.engine_mode,
|
||||
engine_url = EXCLUDED.engine_url,
|
||||
model = EXCLUDED.model,
|
||||
reasoning_effort = EXCLUDED.reasoning_effort,
|
||||
updated_by = EXCLUDED.updated_by,
|
||||
updated_at = EXCLUDED.updated_at;
|
||||
`);
|
||||
}
|
||||
expect(readEngineConfigSnapshot()).toEqual(snapshot);
|
||||
}
|
||||
|
||||
const E2E_COHORT_ID = "e2e-hanshin";
|
||||
|
||||
export async function signInAsLearner(page: Page) {
|
||||
|
|
|
|||
|
|
@ -4,7 +4,13 @@ import { randomUUID } from "node:crypto";
|
|||
import { existsSync } from "node:fs";
|
||||
import http, { type IncomingMessage, type ServerResponse } from "node:http";
|
||||
import net from "node:net";
|
||||
import { completeAlliancePreCheckpoint } from "./support";
|
||||
import {
|
||||
acquireGlobalEngineConfigLock,
|
||||
completeAlliancePreCheckpoint,
|
||||
installControlledEngineConfig,
|
||||
readEngineConfigSnapshot,
|
||||
restoreEngineConfig,
|
||||
} from "./support";
|
||||
|
||||
interface TestServer {
|
||||
url: string;
|
||||
|
|
@ -203,54 +209,77 @@ async function startApi({
|
|||
process.env.E2E_PYTHON ??
|
||||
process.env.PYTHON311 ??
|
||||
(localPython311 && existsSync(localPython311) ? localPython311 : (process.env.PYTHON ?? "python"));
|
||||
const proc = spawn(
|
||||
python,
|
||||
[
|
||||
"-m",
|
||||
"uvicorn",
|
||||
"app.main:app",
|
||||
"--host",
|
||||
"127.0.0.1",
|
||||
"--port",
|
||||
String(port),
|
||||
"--log-level",
|
||||
"debug",
|
||||
],
|
||||
{
|
||||
cwd: "../api",
|
||||
env: {
|
||||
...process.env,
|
||||
PYTHONUNBUFFERED: "1",
|
||||
ENVIRONMENT: "dev",
|
||||
AUTH_DEV_LOGIN_ENABLED: "true",
|
||||
AUTH_ALLOWED_EMAIL_DOMAINS: '["hs.ac.kr","twentyoz.kr"]',
|
||||
ALLOW_SEED_PERSONA_FALLBACK: "true",
|
||||
DB_POOL_MIN_SIZE: "1",
|
||||
DB_COMMAND_TIMEOUT: "10",
|
||||
ENGINE_URL: engineURL,
|
||||
ENGINE_MODE: "claude_api",
|
||||
ENGINE_TIMEOUT: "10",
|
||||
ENGINE_CONNECT_TIMEOUT: "2",
|
||||
OPENAI_API_KEY: "e2e-fake-key",
|
||||
OPENAI_BASE_URL: `${openAIBaseURL}/v1`,
|
||||
VIGNETTE_VOICE_POC_SAMPLE_TTS: "false",
|
||||
FRONTEND_BASE_URL: frontendBaseURL,
|
||||
CORS_ORIGINS: JSON.stringify([frontendBaseURL]),
|
||||
},
|
||||
windowsHide: true,
|
||||
},
|
||||
);
|
||||
// 공유 개발 DB의 admin_engine_config 행(claude_cli 게이트웨이)이 기동 시 env의
|
||||
// 가짜 엔진 설정을 덮어쓴다. 락을 잡고 가짜 엔진으로 일시 교체한 뒤, 기동된 API가
|
||||
// 그 설정을 읽었는지 /health로 확인하고 즉시 원복한다(controlled providers 전제 보호).
|
||||
const releaseEngineConfigLock = await acquireGlobalEngineConfigLock("voice-success:startApi");
|
||||
const engineConfigSnapshot = readEngineConfigSnapshot();
|
||||
let proc: ChildProcessWithoutNullStreams;
|
||||
let logs = "";
|
||||
proc.stdout.on("data", (chunk) => {
|
||||
logs += String(chunk).slice(-4000);
|
||||
});
|
||||
proc.stderr.on("data", (chunk) => {
|
||||
logs += String(chunk).slice(-4000);
|
||||
});
|
||||
await waitForApi(baseURL, proc).catch((err) => {
|
||||
proc.kill();
|
||||
throw new Error(`${err instanceof Error ? err.message : String(err)}\n${logs}`);
|
||||
});
|
||||
try {
|
||||
installControlledEngineConfig({
|
||||
engineUrl: engineURL,
|
||||
model: "voice-success-controlled",
|
||||
reasoningEffort: "medium",
|
||||
updatedBy: "voice-success-e2e",
|
||||
});
|
||||
proc = spawn(
|
||||
python,
|
||||
[
|
||||
"-m",
|
||||
"uvicorn",
|
||||
"app.main:app",
|
||||
"--host",
|
||||
"127.0.0.1",
|
||||
"--port",
|
||||
String(port),
|
||||
"--log-level",
|
||||
"debug",
|
||||
],
|
||||
{
|
||||
cwd: "../api",
|
||||
env: {
|
||||
...process.env,
|
||||
PYTHONUNBUFFERED: "1",
|
||||
ENVIRONMENT: "dev",
|
||||
AUTH_DEV_LOGIN_ENABLED: "true",
|
||||
AUTH_ALLOWED_EMAIL_DOMAINS: '["hs.ac.kr","twentyoz.kr"]',
|
||||
ALLOW_SEED_PERSONA_FALLBACK: "true",
|
||||
DB_POOL_MIN_SIZE: "1",
|
||||
DB_COMMAND_TIMEOUT: "10",
|
||||
ENGINE_URL: engineURL,
|
||||
ENGINE_MODE: "claude_api",
|
||||
VIGNETTE_LIVE_CLIENT_PROVIDER: "claude_api",
|
||||
VIGNETTE_CLIENT_AFFECT_PROVIDER: "legacy",
|
||||
ENGINE_TIMEOUT: "10",
|
||||
ENGINE_CONNECT_TIMEOUT: "2",
|
||||
OPENAI_API_KEY: "e2e-fake-key",
|
||||
OPENAI_BASE_URL: `${openAIBaseURL}/v1`,
|
||||
VIGNETTE_VOICE_POC_SAMPLE_TTS: "false",
|
||||
FRONTEND_BASE_URL: frontendBaseURL,
|
||||
CORS_ORIGINS: JSON.stringify([frontendBaseURL]),
|
||||
},
|
||||
windowsHide: true,
|
||||
},
|
||||
);
|
||||
proc.stdout.on("data", (chunk) => {
|
||||
logs += String(chunk).slice(-4000);
|
||||
});
|
||||
proc.stderr.on("data", (chunk) => {
|
||||
logs += String(chunk).slice(-4000);
|
||||
});
|
||||
await waitForApi(baseURL, proc).catch((err) => {
|
||||
proc.kill();
|
||||
throw new Error(`${err instanceof Error ? err.message : String(err)}\n${logs}`);
|
||||
});
|
||||
const health = await fetch(`${baseURL}/health`);
|
||||
const healthBody = (await health.json()) as { engine_mode?: string };
|
||||
if (healthBody.engine_mode !== "claude_api") proc.kill();
|
||||
expect(healthBody.engine_mode, logs).toBe("claude_api");
|
||||
} finally {
|
||||
restoreEngineConfig(engineConfigSnapshot);
|
||||
await releaseEngineConfigLock();
|
||||
}
|
||||
return {
|
||||
baseURL,
|
||||
logs: () => logs,
|
||||
|
|
|
|||
|
|
@ -669,7 +669,9 @@ function AppRoutes() {
|
|||
|
||||
export default function App() {
|
||||
return (
|
||||
<BrowserRouter>
|
||||
// v7 기본값은 위치 갱신을 startTransition으로 미뤄, URL 검색 파라미터를 값으로 쓰는
|
||||
// 제어 입력(기록 검색 등)이 타이핑 중 글자를 잃는다. v6와 같은 동기 갱신을 유지한다.
|
||||
<BrowserRouter useTransitions={false}>
|
||||
<AuthProvider>
|
||||
<ScrollToTopOnPathChange />
|
||||
<AppRoutesWithBoundary />
|
||||
|
|
|
|||
|
|
@ -58,7 +58,7 @@
|
|||
| NODE-001 | Node gateway 전환 후보의 계약 범위를 정한다. | live endpoint conformance, `TurnEvaluationPayload` adapter, admin mapper의 작업 패킷과 회귀를 확정한다. |
|
||||
| MIGRATION-001 | idempotent DB migration runner 도입 여부를 결정한다. | init SQL과 runner의 역할 경계, 인프라 영향, 소유자 승인을 확정한다. |
|
||||
| OPS-001 | 운영 티켓 자동 분류·처리 후속을 설계한다. | 관리자 승인 뒤 이슈/PR/작업 스레드를 생성하는 범위와 audit 경계를 확정한다. |
|
||||
| E2E-001 | 전 기능 E2E 실패 원인 확정·수정 | 최신 full fixture는 direct spec 1264건(각 project 632)에서 1254 passed·0 failed·10 skipped·0 flaky(779.880s, exit 0)다. 10 skip 중 desktop/mobile 의도 대칭 6건은 그대로이고, returned-practice DB closed-loop G4/G5 desktop/mobile 4건은 전용 disposable engine/DB/API/Web에서 same-learner 실제 SSE·review·G4/G5 `0→1→1`과 returned desktop/mobile 4 passed·route mock 0으로 별도 수용했다. 기존 dev DB는 재사용하지 않았고 cleanup 잔여도 0이다. 최초 admin KPI·avatar 간헐 원인은 과거 관측으로 남아 있고 이번 전체 통과로 확정하지 않는다. 전체 수집 1334건의 일괄 완료 주장은 하지 않으며, 기본 Jev 설정의 전체 API 재검증·`live_verified`와 외부/운영 gate가 남아 [closeout 표](./ops/backlog-closeout-2026-10-19.md#최종-e2e-통합-수치) 기준 전체 DONE은 아니다. |
|
||||
| E2E-001 | 전 기능 E2E 실패 원인 확정·수정 | 최신 full fixture는 direct spec 1264건(각 project 632)에서 1254 passed·0 failed·10 skipped·0 flaky(779.880s, exit 0)다. 10 skip 중 desktop/mobile 의도 대칭 6건은 그대로이고, returned-practice DB closed-loop G4/G5 desktop/mobile 4건은 전용 disposable engine/DB/API/Web에서 same-learner 실제 SSE·review·G4/G5 `0→1→1`과 returned desktop/mobile 4 passed·route mock 0으로 별도 수용했다. 기존 dev DB는 재사용하지 않았고 cleanup 잔여도 0이다. 최초 admin KPI·avatar 간헐 원인은 과거 관측으로 남아 있고 이번 전체 통과로 확정하지 않는다. 전체 수집 1334건의 일괄 완료 주장은 하지 않으며, 기본 Jev 설정의 전체 API 재검증·`live_verified`와 외부/운영 gate가 남아 [closeout 표](./ops/backlog-closeout-2026-10-19.md#최종-e2e-통합-수치) 기준 전체 DONE은 아니다. 2026-10-21 `d801a161`+라우터 수정본: fixture 1266건 1252 passed·10 skipped·4 failed(교수자 실엔진 4건, 정상 엔진 재기동 뒤 4 passed), 정상 엔진 single-run 70건 61 passed·4 skipped·5 failed였다. 5건 중 `persona-db-lifecycle` 1건과 `voice-success` 2건은 테스트용 API가 공유 DB `admin_engine_config` 행과 `.env`의 Jev를 상속한 격리 결함이라 락·행 교체·원복과 `legacy` 고정으로 고쳐 4 passed(파일 전체)다. `session-persistence` 코칭 이력은 08-18 버튼 추가로 낡은 선택자를 고친 뒤 live coach 근거에 `workbook_0615_case_conceptualization`이 없어 실패한다(선택자 오류에 가려져 있던 단언, 근거 선택 기대 결정 필요). 음성 비언어 메타데이터 1건은 로컬 OpenAI TTS `TTS transport error` 환경 실패이며 단언은 완화하지 않고 이벤트 원문만 남긴다. 기본 Jev 설정의 전체 API 재검증은 1267 passed·1 skipped로 닫았다. |
|
||||
| CUA-128 | 실제 배포 Computer Use 128 시나리오를 역할·승인 경계 안에서 재개한다. | 카탈로그 생성은 완료했으나 실배포 전체 검증은 미완료다. SHA `1306c524`에서 H09와 일반 학습자 로그인·교차 역할 차단·P4 추천·R09 잠금·R14 워크시트 보존을 재확인했지만, T18은 learner 브라우저만 있어 기존 RED를 종결하지 않았다. 순수 teacher·OFF 계정, 교수자 쓰기, 모바일과 독립 관찰자 공개 검증이 남아 있다. [실행 보고](./qa/production-computer-use-report-2026-09-09.md)를 따른다. |
|
||||
|
||||
## 임상 콘텐츠 후속
|
||||
|
|
|
|||
|
|
@ -301,9 +301,10 @@
|
|||
<div class="pulse-main">
|
||||
<span class="eyebrow">project pulse</span>
|
||||
<h1>지금 위치: <em>2026-10-20 승인 릴리스 배포 완료</em> — Forgejo <code>master</code> SHA <code>aeddaa6972</code>, Cloudflare Pages production과 NAS API/web·migration 25를 반영했다. 인증된 운영 내부 UI와 외부·임상 gate는 열린 상태다.</h1>
|
||||
<p class="pulse-state"><b>2026-10-21 로컬 검증(미push·미배포):</b> 미push 커밋 <code>d801a161</code>(보호 경로 딥링크의 쿼리·해시를 로그인 <code>next</code>까지 보존, 감독 drilldown 경로의 앱 내부 경로 강제, <code>react-router-dom</code> 6.30→7.18.4)을 검증했다. 정적 세트는 API 기본 Jev·legacy 설정 각각 1267 passed·1 skipped, gateway 82 passed, API 타입·typecheck·build 통과, <code>npm audit</code> 0건이다. 전체 fixture에서 라우터 7의 기본 <code>startTransition</code> 위치 갱신 때문에 URL 연동 기록 검색이 타이핑 중 글자를 잃는 회귀(desktop/mobile 2건, 재실행 재현)를 찾아 <code><BrowserRouter useTransitions={false}></code>로 v6와 같은 동기 갱신을 복구했다. 수정 뒤 fixture 1266건은 1252 passed·10 skipped·4 failed였고, 4건은 엔진 장애 환경의 교수자 실엔진 테스트로 정상 엔진 재기동 뒤 4 passed다. Claude Code 세션 안에서 띄운 dev 스택은 <code>ANTHROPIC_*</code>·<code>CLAUDE_*</code> 상속으로 <code>claude_cli</code>가 401 재시도에 멈추므로 해당 변수를 뺀 셸에서 기동해야 한다.</p>
|
||||
<p class="pulse-state"><b>2026-10-20 릴리스:</b> Pages production <code>f2039a2e</code>와 NAS API/web 승격을 수용했다. 공개 로그인 화면 desktop/mobile 렌더, page error·import 오류 0건, 무인증 <code>/auth/me</code> 401, JS/CSS hash 일치, health 3회 <code>200·ok·db/engine true</code>, CORS와 Google 로그인 시작 302을 확인했다. DB dump 11,892,253 bytes·uploads 93개/52,973 bytes·118 테이블 전후 행 수 동일을 보존했고 migration 25와 admin-only DELETE policy를 적용했다. retention은 dry-run 삭제 0이며 실제 apply는 별도 승인이다. API 교체 중 일시 reset/empty reply 뒤 회복했으므로 무중단은 주장하지 않는다. <a href="./ops/evidence/release-2026-10-20.json">배포 영수증</a>.</p>
|
||||
<p class="pulse-state"><b>2026-10-19 로컬 closeout:</b> DEVUP-DB-RACE, 관리자 affect 모바일, avatar render-mode, retention과 레이아웃 및 KB source-pack metadata·RLS 교정을 수용했다. <code>VIGNETTE_CLIENT_AFFECT_PROVIDER=legacy</code> 최종 API는 1263 passed·1 skipped·1 warning, gateway는 82 passed·1 warning이다. 최신 full fixture는 1254 passed·0 failed·10 skipped이고, returned-practice 전용 실DB는 same-learner SSE·review·G4/G5 <code>0→1→1</code> 및 desktop/mobile 4 passed를 수용했다. 당시에는 미배포·미push였고 이 범위는 2026-10-20 릴리스로 Forgejo push·Pages·NAS API/web에 반영했다.</p>
|
||||
<p class="pulse-state"><b>남은 경계:</b> 전체 수집 1334건의 일괄 완료 주장, 최초 admin KPI·avatar 간헐의 원인 확정, 기본 Jev 재검증과 <code>live_verified</code>, C-001 외부 임상, avatar 원화·인증 운영 세션 소유자 확인, retention 실제 apply의 소유자 승인이 남는다. source-pack metadata의 <code>external_llm_ok</code> 변경은 저장소·배포 이미지에만 반영했고 운영 KB 데이터 재동기화는 실행하지 않았다. <a href="./ops/backlog-closeout-2026-10-19.md">로컬 증거와 남은 검증</a>을 따른다.</p>
|
||||
<p class="pulse-state"><b>남은 경계:</b> 전체 수집 1336건의 일괄 완료 주장, 최초 admin KPI·avatar 간헐의 원인 확정, Jev <code>live_verified</code>(기본 Jev 설정 API 전체 재검증은 2026-10-21 1267 passed·1 skipped로 닫음), single-run 잔여 2건(live coach 0615 워크북 근거 미포함, 로컬 TTS 환경 실패), C-001 외부 임상, avatar 원화·인증 운영 세션 소유자 확인, retention 실제 apply의 소유자 승인이 남는다. source-pack metadata의 <code>external_llm_ok</code> 변경은 저장소·배포 이미지에만 반영했고 운영 KB 데이터 재동기화는 실행하지 않았다. <a href="./ops/backlog-closeout-2026-10-19.md">로컬 증거와 남은 검증</a>을 따른다.</p>
|
||||
<p class="pulse-state"><b>실배포 CUA 128:</b> 카탈로그는 생성됐지만 전체 검증은 미완료다. H09(기록 검색·필터 복귀)는 SHA `1306c524`에서 PASS로 재확인했고 T18(감독·연구 drilldown)은 수정 배포 뒤에도 learner 브라우저만 있어 RED를 종결하지 않았다. 관리자와 일반 학습자 로그인에서 학습자의 `/admin`·`/teach`→`/learn` 차단, P4 추천·R09 잠금·R14 워크시트 보존을 확인했다. 순수 teacher·OFF 계정, 교수자 쓰기, 모바일과 독립 관찰자 공개 검증은 남아 있다.</p>
|
||||
<p class="pulse-state"><b>2026-09-12 비넷 UX 감사:</b> <b>DONE · 로컬 시각 검수 수용</b>. 역할별 메뉴·모바일 라벨, 학습자 정보 위계와 긴 목록, 상담 시작 버튼 겹침, 교수·관리자 표의 넘침, 설정과 약관 배치를 수정했다. 전체 레이아웃 15 passed, 마지막 관리자 폭 보정 후 2 passed, 회기 8 passed, 접근성 44개(38+6) 통과와 직접 이미지 검수를 수용했다. 상세 판정·반려 기록·실제 API와 fixture 증거 경계는 <a href="./ops/ux-audit-2026-09-12.md">감사 기록</a>에 있다. 이후 SHA <code>e8b770e4d9023238bf210b412de75dcb98bfc08e</code>는 Forgejo master에 push했고, 17:55:31 KST 배포 시작 뒤 Pages 공개 배포와 NAS web 전용 교체를 18:06 KST까지 완료했다. API·engine·DB는 유지했다. 인증 내부 UI는 401 세션 만료로 미검증이므로 전체 운영 내부 화면 GREEN이나 전체 기능 출시 완료를 뜻하지 않으며 <a href="./ops/deployment-pipeline.md">배포 현황</a>을 따른다.</p>
|
||||
<p class="pulse-state"><b>JEV-001 가상 내담자 감정 판단:</b> <b>운영 runtime 수용·품질 승격 검증 중</b>. API legacy baseline 1191 passed·1 skipped·0 failed, gateway 82 passed, web typecheck·build·API types 통과와 NAS 합성·인증 브라우저 3턴 runtime, 새로고침 6발화 복원·실제 6발화 review 요약·deep-loop 완료·DB 9축 감정 영속화를 수용했다. 공개 main JS와 health, <code>/sessions</code> CORS preflight는 200이고 Jev가 configured지만, 독립 한국어 품질 평가·성능 우위·정확도·사용자 체감 지연 개선·DONE 주장은 보류한다. 코드 기본값 <code>legacy</code>를 유지하며 SHA <code>969d9e2c3c94b4f3356defbf02bc863e1c8e30e1</code>와 API image를 적용했다. 배포 중 일시 502가 있어 무중단을 주장하지 않으며, 상세 수용/반려와 다음 게이트는 <a href="./decisions/jev-client-affect.md">Jev 결정문</a>을 따른다. 2026-09-23 <a href="./ops/evidence/jev-runtime-verification-2026-09-23.json">runtime 재검증 영수증</a>은 소스 4개 hash 일치·과거 DB/audit 교집합·독립 공유 adapter의 9축 호출을 수용하되, 한국어 품질·전체 지연·품질 승격을 증명하지 않는다.</p>
|
||||
|
|
@ -1051,6 +1052,7 @@
|
|||
<div class="task-row"><div><span class="task-status s-done">DONE</span></div><div><b>ADMIN-AFFECT-001 관리자 감정 관측 trace·그래프 운영 수용</b><p>수용: 완료 내담자 턴 trace의 공개 payload 비노출, API, 격리 PostgreSQL RLS·cascade, 성공·rollback 원자성, canonical artifact 기술 6/6, migration 23 운영 적용(RLS 2개 정책·grants·기존 행 0), API legacy baseline 1191 passed/1 skipped/0 failed와 gateway 82 passed, API 운영 health와 Pages 공개 index/AdminAffect JS/CSS·기존 사용자 bundle 200, 인증 CUA의 trace 1개·9축·5단계 분포와 새로고침 복원, NAS web build·컨테이너 교체 exit 0 및 API·engine·DB 컨테이너 유지.</p></div><div><b>산출물</b><p><a href="./decisions/jev-client-affect.md">Jev 결정문</a>, <a href="./ops/evidence/admin-affect-runtime-2026-09-23.json">운영 영수증</a>, <code>/admin/emotions</code>, <code>/admin/affect/sessions</code></p></div><div><b>검증 경계</b><p>web generate/check API types, typecheck, build, design SSOT와 focused 16개를 통과했고 dark/mobile/추이/관계 캡처 및 실제 리뷰 평가도 수용했다. 실제 1턴 관계 표시는 데이터 부족이며 fixture의 5개 이상 관계 계산 검증과 구분한다. watchdog은 한 차례 반려 뒤 root marker 보완으로 고정 수용했다. 2026-09-23 당시 전체 layout-visual-gate는 15개 중 1 passed·1 failed·13 not run이었으므로 전체 GREEN을 주장하지 않았다.</p></div></div>
|
||||
<div class="task-row"><div><span class="task-status s-done">DONE</span></div><div><b>ADMIN-AFFECT-V2-MOBILE 판정 표 로컬 closeout</b><p>620px 이하에서 각 판정 행을 판정 항목·판정·근거 확률·판단 확신도 순서로 세로 배치했다. semantic table의 column header와 cell 역할을 유지하고, 확률 라벨·막대·숫자가 320/390px viewport와 행 안에 들도록 확인했다.</p></div><div><b>산출물</b><p><a href="./ops/backlog-closeout-2026-10-19.md">10/19 closeout</a>, <code>outputs/backlog-closeout-2026-10-19/mobile-affect/</code></p></div><div><b>검증 경계</b><p><code>admin-affect.spec.ts</code> desktop/mobile 20 passed(기존 v1 포함), typecheck·build 통과. 320/390/1440 PNG SHA-256이 테스트 원본과 일치한다. 운영 배포·전체 layout gate 완료 주장이 아니다.</p></div></div>
|
||||
<div class="task-row"><div><span class="task-status s-done">DONE</span></div><div><b>RETENTION-001 운영 migration·dry-run 수용</b><p>raw 90일·daily rollup 365일 기본값과 admin-only exact policy·RLS enabled guard를 격리 DB와 2026-10-20 운영 migration 25에서 수용했다. 운영 dry-run은 <code>applied=false</code>·삭제 0이며 실제 apply는 실행하지 않았다.</p></div><div><b>산출물</b><p><a href="./ops/evidence/release-2026-10-20.json">2026-10-20 배포 영수증</a>, migration 25</p></div><div><b>검증 경계</b><p>runtime-final stdout exit 0, retention CLI/release 38 passed, service focused 35 passed/1 warning. 실제 apply·데이터 삭제와 운영 스케줄은 별도 소유자 승인·증거가 필요하다.</p></div></div>
|
||||
<div class="task-row"><div><span class="task-status s-done">DONE</span></div><div><b>ROUTER-V7-001 인증 딥링크 보존·라우터 7 로컬 수용</b><p><code>d801a161</code>의 딥링크 쿼리·해시 보존, 감독 경로 앱 내부 강제, <code>react-router-dom</code> 7.18.4 업그레이드를 수용했다. v7 기본 transition이 URL 연동 제어 입력의 글자를 잃게 하는 회귀를 <code>useTransitions={false}</code>로 복구했다. push·배포는 하지 않았다.</p></div><div><b>산출물</b><p><code>apps/web/src/App.tsx</code>, <code>outputs/verify-2026-10-21/</code></p></div><div><b>검증</b><p>회귀 RED: <code>uc-learner-practice-history</code> "성하늘"→"늘" desktop/mobile 재현. 수정 뒤 해당 파일 32 passed, fixture 1252 passed·10 skipped·4 failed(엔진 장애 4건은 정상 엔진에서 4 passed), API 1267 passed·1 skipped(기본 Jev·legacy), gateway 82 passed, typecheck·build·API 타입 통과, npm audit 0건.</p></div></div>
|
||||
<div class="task-row"><div><span class="task-status s-done">DONE</span></div><div><b>B1-LAYOUT-720-001 layout gate 로컬 수용</b><p>CSS 변경 없이 viewport-fixed/ordinary overflow 오탐을 정리하고 transform/internal clip 반례를 추가했다. prestart clipping은 focused fixed clip 회귀로 확인했다.</p></div><div><b>산출물</b><p><a href="./ops/backlog-closeout-2026-10-19.md">10/19 closeout</a>, <code>layout-final/layout-gate.json</code></p></div><div><b>검증 경계</b><p>2026-10-19 최종 layout gate는 15 passed·0 failed·0 skipped·0 flaky(exit 0, 131.7s), fixed clip 회귀 4건과 session-layout 10건이다. 수정 전 15개 중 1 passed·1 failed·13 not run은 역사 기록으로 보존한다. 운영 배포·전체 E2E 완료 주장이 아니다.</p></div></div>
|
||||
<div class="task-row"><div><span class="task-status s-done">DONE</span></div><div><b>한신대 실사용 피드백 1차 개선팩</b><p>오류분석 자료를 컨텍스트 보존, 내담자 출력 품질, 리뷰 privacy/오류문구 UX, 교수자 설명 가능성으로 분해했고 1차 구현을 완료했다. P1은 role mapping + client-only history injection을 원자 패치로 닫았고, P2/P3/P4는 저장형 fallback 없이 빠른 UX 개선으로 배포 가능한 상태다.</p></div><div><b>산출물</b><p><code>gateway._split_messages(ai_role=client)</code>, <code>guardrail.sanitize_client_reply()</code> 품질 게이트, SSE full-response buffer, 리뷰 표시 자연어화, raw error mapper, 교수자 <code>AI 평가 범위</code> 패널, 계획/레드팀/대레드팀 문서</p></div><div><b>검증</b><p><code>engine_gateway/test_gateway_model.py app/test_orchestrator_masking.py app/test_client_reply_quality.py app/test_session_turn_persistence.py</code> 84 passed, <code>npm run typecheck</code>, <code>npm run check:api-types</code>, <code>session-review.spec.ts</code> focused 8 passed, <code>layout-visual-gate.spec.ts</code> 12 passed, <code>session-layout.spec.ts</code> 8 passed.</p></div></div>
|
||||
</div>
|
||||
|
|
@ -1153,7 +1155,7 @@
|
|||
<tbody>
|
||||
<tr><td>Web typecheck</td><td><code>npm run typecheck</code></td><td>Passed</td></tr>
|
||||
<tr><td>Design SSOT / auth visual</td><td><code>npm run check:design-ssot</code> / <code>npx playwright test e2e/auth-visual.spec.ts --project=chromium-single-run --reporter=line</code> / <code>npx playwright test e2e/layout-visual-gate.spec.ts --project=chromium-single-run --reporter=line</code></td><td>SSOT checker passed; login/onboarding light-dark desktop-mobile 1 passed; 14 core screens × 7 widths visual gate 14 passed.</td></tr>
|
||||
<tr><td>Full Playwright E2E baseline</td><td><code>npm run e2e:parallel</code> / <code>npm run e2e:single-run</code> / <code>npm run e2e:list</code></td><td>2026-09-30 <code>check-dev-dashboard-ssot.py</code>의 실제 수집 기준은 <b>1321 tests / 74 files</b>였고, 2026-10-19 현재 수집은 <b>1334 tests / 74 files</b>다. 이 숫자는 수집량이며 현 작업트리 전체 GREEN과 동일하지 않다. G8 clean-head release gate는 candidate 112/112와 실제 NAS-origin 112/112를 통과했다. 이전 단일 120/120과 2026-07-15의 fixture desktop/mobile 166/166 + DB/engine/provider 직렬 49/49 = 215/215는 범위가 다른 역사 기준선으로 보존한다.</td></tr>
|
||||
<tr><td>Full Playwright E2E baseline</td><td><code>npm run e2e:parallel</code> / <code>npm run e2e:single-run</code> / <code>npm run e2e:list</code></td><td>2026-09-30 <code>check-dev-dashboard-ssot.py</code>의 실제 수집 기준은 <b>1321 tests / 74 files</b>였고, 2026-10-19 수집은 1334 tests였고, 2026-10-21 현재 수집은 <b>1336 tests / 74 files</b>다(<code>uc-auth-onboarding</code> 딥링크 next 보존 desktop/mobile 2건 추가). 이 숫자는 수집량이며 현 작업트리 전체 GREEN과 동일하지 않다. G8 clean-head release gate는 candidate 112/112와 실제 NAS-origin 112/112를 통과했다. 이전 단일 120/120과 2026-07-15의 fixture desktop/mobile 166/166 + DB/engine/provider 직렬 49/49 = 215/215는 범위가 다른 역사 기준선으로 보존한다.</td></tr>
|
||||
<tr><td>Refactor governance P1~P8</td><td><code>ruff check app</code> / <code>pytest -q app</code> / <code>pytest -q engine_gateway</code> / <code>npm run typecheck</code> / <code>npm run check:api-types</code> / <code>npm run check:design-ssot</code> / <code>npm run check:dead-code</code> / <code>npm run check:duplication</code> / <code>npm run build</code> / <code>npm audit --audit-level=high</code> / full Playwright</td><td>Backend 400 passed, gateway 29 passed, web gates/build/audit passed, vulnerabilities 0, production duplication 1 clone/15 lines/0.03%, Playwright 215/215 passed. 상세 근거는 <code>archive/project-cleanup-2026-09-07/refactor-governance-2026-07-15.md</code>.</td></tr>
|
||||
<tr><td>API typegen SSOT</td><td><code>npm run check:api-types</code></td><td>Passed; FastAPI OpenAPI → <code>src/lib/api.gen.ts</code> stale check</td></tr>
|
||||
<tr><td>Outcome & Alliance OS G0</td><td><code>py -3.11 -X utf8 -m pytest -p no:cacheprovider apps/api/app/test_measurement_contract.py apps/api/app/test_runtime_schema_ssot.py -q</code> / <code>scripts/check-measurement-ledger.sql</code> / measurement·API contract checks / web typecheck / DB-backed <code>session-persistence</code> focused E2E 3종</td><td>G0 contract/schema 11 passed, 기존 backend 100 passed, auth 39 passed. Python→JSON Schema→TypeScript→PostgreSQL enum·필수필드 계약이 일치하고 8개 deterministic benchmark가 검증됐다. Live PostgreSQL에서 learner/client/evaluator 가시 행 1/1/2, 교차 누수 0, append-only guard 2를 확인했다. 학습자 턴→교수자 대시보드, 워크시트 검수, 종료 deep 평가→durable 리뷰 E2E는 각각 1 passed. G0/AOS-001~004 완료.</td></tr>
|
||||
|
|
|
|||
|
|
@ -15,12 +15,12 @@ Vignette 저장소의 모든 검증 수단(백엔드 단위 테스트, 웹 타
|
|||
|
||||
| 검증 | 작업 디렉터리 | 명령 | DB | API(8000) | 웹(5173) | 엔진GW(9099) | 브라우저 | 현재 통과 |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 백엔드 단위 테스트 | `apps/api` | `py -3.11 -m pytest app/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-10-19 `kbsync500-rework`: `VIGNETTE_CLIENT_AFFECT_PROVIDER=legacy` 최종 app 1263 passed / 1 skipped / 1 warning (18.72s, exit 0) |
|
||||
| 엔진 게이트웨이 테스트 | `apps/api` | `py -3.11 -m pytest engine_gateway/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-10-19 `final-checks/20261018T232629Z`: 82 passed / 1 warning (exit 0) |
|
||||
| 백엔드 단위 테스트 | `apps/api` | `py -3.11 -m pytest app/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-10-21 `d801a161`: 기본 설정(Jev) app 1267 passed / 1 skipped / 1 warning (17.88s, exit 0), `VIGNETTE_CLIENT_AFFECT_PROVIDER=legacy` 1267 passed / 1 skipped / 1 warning (20.23s, exit 0) |
|
||||
| 엔진 게이트웨이 테스트 | `apps/api` | `py -3.11 -m pytest engine_gateway/ -q` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | 2026-10-21 `d801a161`: 82 passed / 1 warning (1.76s, exit 0) |
|
||||
| API 타입 생성 체크 | `apps/web` | `npm run check:api-types` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | pass |
|
||||
| 웹 타입체크 | `apps/web` | `npm run typecheck` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | pass |
|
||||
| 웹 빌드 | `apps/web` | `npm run build` | 불필요 | 불필요 | 불필요 | 불필요 | 불필요 | pass |
|
||||
| Playwright E2E(전체) | `apps/web` | `npm run e2e` | **필요(+시드)** | **필요** | 자동기동 | 일부만 | **필요** | 2026-10-19 현재 수집 1334 tests / 74 files · 현 작업트리 전체 GREEN 미검증 |
|
||||
| Playwright E2E(전체) | `apps/web` | `npm run e2e` | **필요(+시드)** | **필요** | 자동기동 | 일부만 | **필요** | 2026-10-21 현재 수집 1336 tests / 74 files · 현 작업트리 전체 GREEN 미검증 |
|
||||
|
||||
핵심 원칙: **단위 테스트(pytest)와 타입체크/빌드는 외부 서비스 없이 단독 실행된다.**
|
||||
**E2E만 풀스택(DB+API+웹+브라우저)을 요구한다.** 아래 각 절에서 근거와 절차를 설명한다.
|
||||
|
|
|
|||
|
|
@ -72,7 +72,7 @@ npx playwright test e2e/uc-session-conversation.spec.ts --grep '스트림 도중
|
|||
| NODE-001 | Node gateway 전환 후보 | endpoint conformance, `TurnEvaluationPayload` adapter, admin mapper의 작업 패킷과 회귀 |
|
||||
| MIGRATION-001 | idempotent DB migration runner | init SQL과 runner의 역할 경계·인프라 영향·소유자 승인 |
|
||||
| OPS-001 | 운영 티켓 자동 분류 | 관리자 승인·audit 경계를 갖춘 구현 패킷 |
|
||||
| E2E-001 | 전 기능 E2E 실패 원인 확정·수정 | 최신 full fixture는 direct spec 1264건(각 project 632)에서 1254 passed·0 failed·10 skipped·0 flaky(779.880s, exit 0)다. 10 skip 중 desktop/mobile 의도 대칭 6건은 그대로이고, returned-practice DB closed-loop G4/G5 desktop/mobile 4건은 전용 disposable engine/DB/API/Web에서 same-learner 실제 SSE·review·G4/G5 `0→1→1`과 returned desktop/mobile 4 passed·route mock 0으로 별도 수용했다. 기존 dev DB는 재사용하지 않았고 cleanup 잔여도 0이다. 최초 admin KPI·avatar 간헐 원인은 과거 관측으로 남아 있고 이번 전체 통과로 확정하지 않는다. 전체 수집 1334건의 일괄 완료 주장은 하지 않으며, 기본 Jev 설정의 전체 API 재검증·`live_verified`와 외부/운영 gate가 남아 [closeout 표](./backlog-closeout-2026-10-19.md#최종-e2e-통합-수치) 기준 전체 DONE은 아니다. |
|
||||
| E2E-001 | 전 기능 E2E 실패 원인 확정·수정 | 최신 full fixture는 direct spec 1264건(각 project 632)에서 1254 passed·0 failed·10 skipped·0 flaky(779.880s, exit 0)다. 10 skip 중 desktop/mobile 의도 대칭 6건은 그대로이고, returned-practice DB closed-loop G4/G5 desktop/mobile 4건은 전용 disposable engine/DB/API/Web에서 same-learner 실제 SSE·review·G4/G5 `0→1→1`과 returned desktop/mobile 4 passed·route mock 0으로 별도 수용했다. 기존 dev DB는 재사용하지 않았고 cleanup 잔여도 0이다. 최초 admin KPI·avatar 간헐 원인은 과거 관측으로 남아 있고 이번 전체 통과로 확정하지 않는다. 전체 수집 1334건의 일괄 완료 주장은 하지 않으며, 기본 Jev 설정의 전체 API 재검증·`live_verified`와 외부/운영 gate가 남아 [closeout 표](./backlog-closeout-2026-10-19.md#최종-e2e-통합-수치) 기준 전체 DONE은 아니다. 2026-10-21 `d801a161`+라우터 수정본: fixture 1266건 1252 passed·10 skipped·4 failed(교수자 실엔진 4건, 정상 엔진 재기동 뒤 4 passed), 정상 엔진 single-run 70건 61 passed·4 skipped·5 failed였다. 5건 중 `persona-db-lifecycle` 1건과 `voice-success` 2건은 테스트용 API가 공유 DB `admin_engine_config` 행과 `.env`의 Jev를 상속한 격리 결함이라 락·행 교체·원복과 `legacy` 고정으로 고쳐 4 passed(파일 전체)다. `session-persistence` 코칭 이력은 08-18 버튼 추가로 낡은 선택자를 고친 뒤 live coach 근거에 `workbook_0615_case_conceptualization`이 없어 실패한다(선택자 오류에 가려져 있던 단언, 근거 선택 기대 결정 필요). 음성 비언어 메타데이터 1건은 로컬 OpenAI TTS `TTS transport error` 환경 실패이며 단언은 완화하지 않고 이벤트 원문만 남긴다. 기본 Jev 설정의 전체 API 재검증은 1267 passed·1 skipped로 닫았다. |
|
||||
| CUA-128 | 실제 배포 Computer Use 재검증 | 128 시나리오 카탈로그 생성은 완료했지만 전체 실배포 검증은 미완료다. SHA `1306c524`에서 H09와 일반 학습자 로그인·교차 역할 차단·P4 추천·R09 잠금·R14 워크시트 보존을 재확인했지만, T18은 learner 브라우저만 있어 기존 RED를 종결하지 않았다. 순수 teacher·OFF 계정, 교수자 쓰기, 모바일과 독립 관찰자 공개 검증이 남아 있다. |
|
||||
|
||||
## 완료 기록 경계
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue