Jev 운영 배포 검증과 남은 확인 항목 기록
This commit is contained in:
parent
969d9e2c3c
commit
20dc30c8aa
7 changed files with 291 additions and 15 deletions
|
|
@ -1,6 +1,6 @@
|
|||
# Jev 기반 가상 내담자 감정 상태
|
||||
|
||||
결정일: 2026-09-22. 상태: 감정 경로 구현과 OpenRouter 실제 판단 검증 수용. 운영 적용과 한국어 품질 승격은 미완료.
|
||||
결정일: 2026-09-22. 상태: 감정 경로 구현, OpenRouter 실제 판단 검증, 신규 artifact 보존 갱신·전체 회귀, 운영 API 배포와 합성 3턴 runtime을 수용했다. 한국어 품질 승격과 인증 브라우저 운영 회기 검증은 미완료다.
|
||||
|
||||
## 문제와 목표
|
||||
|
||||
|
|
@ -48,9 +48,9 @@
|
|||
|
||||
실제 대화 연결은 `scripts/probe-jev-dialogue.py --output scratch/jev/dialogue-live.json --turns 2`로 수집했다. 기존 경로와 Jev 경로 각각 2턴이 완료되고 합성 세션이 정리됐다. 기존 경로 첫 토큰 지연은 5972/2684ms, Jev 경로는 6873/3368ms였다. 기존 출력 검증 버퍼 때문에 첫 토큰 시각은 전체 완료와 거의 같다. 순서를 고정한 소수 사례이므로 성능 비교 결론이나 정확도 주장은 하지 않으며, 이번 관측에서 Jev가 전체 응답을 빠르게 만들지는 않았다.
|
||||
|
||||
전체 회귀는 API 1165 passed·1 failed·1 skipped, gateway 82 passed, API 타입 동기화 통과다. 실패 항목 `test_runtime_observation_artifact_matches_current_exact_case_execution`은 이번 미커밋 orchestrator 변경과 과거 고정 증거의 지문 불일치다. 기존 자료나 검증 조건을 완화하지 않았다. 현재 작업트리의 위기 기술 검증은 `scratch/jev/current-crisis-technical-observations.json`에 별도로 수집해 6/6 통과를 확인했다. 임상 외부 판정은 0건이며, 커밋과 공식 증거 갱신 시 고정 지문 게이트 재검증이 필요하다.
|
||||
2026-09-22 신규 artifact 보존 갱신 뒤 전체 회귀는 API 1172 passed·1 skipped·0 failed, gateway 82 passed, web typecheck·build·API 타입 동기화 통과다. 현재 작업트리의 위기 기술 검증은 `scratch/jev/current-crisis-technical-observations.json`에 별도로 수집해 6/6 통과를 확인했고, 임상 외부 판정은 0건이다. 이전 미커밋 작업트리와 고정 증거의 지문 불일치는 역사 기록이며 현재 차단 항목이 아니다.
|
||||
|
||||
운영 승격에는 동일 조건의 기존 경로 대비 충분한 다중 턴 비교, 사례 사실 모순율, 역할 이탈, 감정 변화와 혼합의 전문가 검토, 첫 토큰 및 전체 응답의 p50/p95, 장애율이 필요하다. 로컬 연결 검증과 품질 승격을 구분한다. 로컬 비공개 설정은 Jev/OpenRouter로 활성화했으며 운영 배포는 수행하지 않았다.
|
||||
전체 사용자 흐름 검증과 품질 승격에는 동일 조건의 기존 경로 대비 충분한 다중 턴 비교, 사례 사실 모순율, 역할 이탈, 감정 변화와 혼합의 전문가 검토, 첫 토큰 및 전체 응답의 p50/p95, 장애율이 필요하다. 로컬 연결 검증과 품질 승격을 구분한다. 2026-09-22 운영 API 배포 뒤 공개 main JS `index-BA_Q0J7Y.js` 200, health 200(db·engine true), Jev configured, 비인증 `/auth/me` 401, `/sessions` OPTIONS preflight 200과 정확한 origin의 credential CORS를 확인했고, health의 `live_verified=false`는 의도된 상태 플래그로 실제 Jev 판단은 별도 probe로 확인했다. 인증 Google 브라우저 회기 생성·턴·종료와 DB 감정 영속화는 패스키 확인 대기라 아직 운영에서 검증하지 않았다. 배포 중 일시 502 관측이 있어 무중단을 주장하지 않는다. 배포 영수증은 [운영 증거](../ops/evidence/jev-production-deploy-2026-09-22.json)에 보존한다.
|
||||
|
||||
## 후속 개선 설계 — 2026-09-22
|
||||
|
||||
|
|
@ -77,4 +77,6 @@
|
|||
|
||||
첫 토큰은 전체 출력 검사 때문에 전체 완료 시각과 거의 같다. 전후 수치는 감소했지만 적은 표본·실행 시점·생성문 차이가 있어 코드 변경의 인과 효과나 일반적 속도 우위를 주장하지 않는다. 최종 동시기 비교에서도 Jev 경로는 기존 경로보다 느리다. 원문과 지문은 `scratch/jev/improve-before.json`, `improve-after.json`(중간 결함 포함), `improve-final.json`에 보존했다. 마지막 보고서 12/12 완료와 모든 합성 세션 정리를 확인했으며, 검증용 gateway만 종료했다.
|
||||
|
||||
후속 전체 API 회귀는 1,171 passed·1 failed·1 skipped다. 마지막 사실 지시 보강 후 감정/마스킹/페르소나 48개를 재검증해 통과했다. 측정 러너 3개와 현재 작업트리 위기 기술 사례 6/6도 통과했다. 남은 실패는 앞서 기록한 `matches_head` 미커밋 지문 게이트이며, frozen 자료·테스트 조건을 바꾸지 않았다. 증거는 `scratch/jev/improve-api.stdout.log`, `improve-crisis-technical-observations.json`이다. **판정: 구현과 계약 검증 수용, 일반적 속도 우위·한국어 감정 정확도·운영 승격 주장은 보류.**
|
||||
신규 artifact 보존 갱신 뒤 전체 API 회귀는 1,172 passed·1 skipped·0 failed다. gateway 82 passed와 web typecheck·build·API 타입 동기화도 통과했고, 마지막 사실 지시 보강 후 감정/마스킹/페르소나 48개와 현재 작업트리 위기 기술 사례 6/6을 재검증해 통과했다. 이전 `matches_head` 미커밋 지문 불일치는 역사 기록으로 보존하되 현재 게이트로 두지 않는다. 코드 SHA `969d9e2c3c94b4f3356defbf02bc863e1c8e30e1`와 API 이미지 `sha256:ba4a6ed98262ead78147e81cf54777f1bd655cf9aeb4f645d73624580b38b516`를 NAS에 적용했고, source hash 7개와 Git 후보가 일치하며 DB·업로드 보존 검사를 통과했다. `production-dialogue-final-20260922.json`의 3턴 합성 probe는 모두 done이고 Jev 판단 지연은 612/245/271ms였다. **판정: 구현·계약·운영 API 배포와 합성 runtime 검증 수용, 일반적 속도 우위·한국어 감정 정확도·인증 브라우저 운영 회기를 포함한 전체 사용자 흐름 검증과 품질 승격은 미완료.**
|
||||
|
||||
운영 API 기동 로그에는 기존 G6 background 연구 producer의 `SupervisionResearchConflictError` 1건이 관측됐다. producer는 cohort별 예외를 격리해 계속 실행했고 Jev·세션 경로와 분리되며, 이번 배포 diff에는 해당 producer·store 변경이 없다. 따라서 이번 Jev 배포 회귀로 단정하지 않지만 전체 운영 기능 정상 주장을 하지 않는다. 열린 항목 `G6-PRODUCER-CONFLICT`는 기존 submission id와 content hash를 읽기 전용으로 대조하고, 같은 id 재실행의 idempotency 충돌을 해소한 뒤 해당 테스트와 실제 cycle 성공으로 닫는다.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue