164 lines
13 KiB
JSON
164 lines
13 KiB
JSON
{
|
||
"title": "2026-10-25 운영 점검 결함 수정 반영 영수증",
|
||
"captured_at": "2026-10-25",
|
||
"trigger": "소유자 지시로 운영 서버 전 기능을 점검하고 발견한 오류를 즉시 처리했다. 운영 반영은 소유자 승인 뒤 수행했다.",
|
||
"source": {
|
||
"canonical_branch": "master",
|
||
"forgejo_sha": "7facf961c5c48355e1c4a2e05e2688811f49b8db",
|
||
"forgejo_push_completed": true,
|
||
"included_commits": [
|
||
"cc4a943a 2026-10-24 운영 배포와 보존 검증 결과를 기록",
|
||
"7facf961 운영 점검 결함 수정: 감독 주기 충돌, 로그인 확인 지연, 비용 단가"
|
||
],
|
||
"code_scope": "apps/api 4파일(supervision_research_producer.py, auth_sessions.py, services/llm_pricing.py, routes/voice.py)과 테스트 4파일. web·engine·requirements·Dockerfile·infra·migration 변경 없음."
|
||
},
|
||
"findings": [
|
||
{
|
||
"id": "OPS-20261025-01",
|
||
"symptom": "API가 매시 정각 cohort e2e-hanshin(활성 학습자 803명) 감독·연구 생성 주기에서 SupervisionResearchConflictError로 실패했다. 2026-10-24 반영 이후 로그만 21회이며, 마지막 성공 주의 스냅샷은 2026-08-30이었다.",
|
||
"cause": "2026-09-09 1306c524가 근거 링크를 /teacher/sessions/{id}에서 /teach/session/{id}/review로 바꿨지만 교육과정 공백 제출 번호 지문은 신호 번호만 해시했다. 같은 제출 번호에 링크만 다른 내용이 들어가 충돌했고 코호트 트랜잭션 전체가 롤백됐다. 근거 묶음 제출 번호도 같은 잠복 결함이 있었다.",
|
||
"fix": "공백 지문이 상태·불확실도·영향 학습자 수·근거 포인터 전체를 덮고, 근거 묶음 제출 번호는 이벤트 지문과 근거 포인터를 함께 해시한다. 저장소 충돌 검사와 idempotent replay는 유지했다.",
|
||
"verified": "수정 전 코드에서 운영과 같은 충돌 오류를 재현(3 failed)한 뒤 통과. 반영 직후 2026-10-25T10:45:31Z에 e2e-hanshin 주의 스냅샷(누적 9건)과 새 링크 형식의 교육과정 공백 스냅샷이 저장됐고 Traceback 0건."
|
||
},
|
||
{
|
||
"id": "OPS-20261025-02",
|
||
"symptom": "모바일 /learn/practice 순회에서 '로그인 권한을 다시 확인하고 있습니다' 재연결 화면이 떴다. /auth/me가 공개 주소 1.9~3.8초, NAS 내부 1.1~2.2초였다.",
|
||
"cause": "NAS 볼륨 동기 쓰기가 4KB당 약 0.35초(20회 6.93초)로 느린데, get_session이 로그인 요청마다 last_seen_at UPDATE 2회를 자동 확정했다. DB 읽기 질의는 1~6ms였다.",
|
||
"fix": "last_seen_at 갱신을 60초 간격으로 묶었다. 관리자 권한 승격은 간격과 무관하게 즉시 반영한다. 운영 DB에서 새 UPDATE 두 문장의 준비(실행 없음)와 정수 매개변수 바인딩을 확인했다.",
|
||
"verified": "반영 뒤 /auth/me NAS 내부 0.012~0.034초, 공개 주소 0.58~0.89초(첫 연결 1회 2.15초)."
|
||
},
|
||
{
|
||
"id": "OPS-20261025-03",
|
||
"symptom": "관리자 AI 비용이 2026-09 이후 $0이었다. 9월 이후 provider openai·model gpt-5.6-terra 내담자 턴 335건, 입력 850,917·출력 31,330 토큰이 기록돼 있었다.",
|
||
"cause": "llm_pricing._rate에 openai provider 분기가 없어 참조 단가 계산이 None이었다. 턴의 cost_usd는 0으로 저장된다.",
|
||
"fix": "OpenAI API gpt-5.6-terra 표준 단가 입력 $2/M·캐시 $0.2/M·출력 $12/M(2026-07-30부터)를 추가했다. 오케스트레이터가 https://developers.openai.com/api/docs/models/gpt-5.6-terra 에서 직접 확인했다. 272K 초과 할증은 관리자 집계가 턴 합계를 넘기는 경로가 있어 반영하지 않았다.",
|
||
"verified": "반영 뒤 /admin/usage 최근 7일 cost_usd 0.364116, cost_basis reference_rate."
|
||
},
|
||
{
|
||
"id": "OPS-20261025-04",
|
||
"symptom": "2026-10-24T13:58:53Z·14:02:55Z POST /voice/speech 502 2건이 서버 원인 기록 없이 남았다. 같은 시간대 다른 요청 13건은 200이었다.",
|
||
"fix": "502 분기에서 예외 형식과 메시지를 경고로 기록한다. 응답 코드·detail은 그대로다.",
|
||
"verified": "실사용 점검 회기의 음성 합성 2건 200."
|
||
},
|
||
{
|
||
"id": "OPS-20261025-05",
|
||
"symptom": "vignette-prod-cloudflared-1이 /etc/cloudflared/config.yml 권한 거부로 45,869회, 2026-08 미리보기 묶음 vignette-db-1이 initdb 디렉터리 권한 거부로 45,664회 재시작 중이었다.",
|
||
"fix": "두 컨테이너 모두 재시작 정책을 no로 바꾸고 정지했다. 삭제하지 않았다. 공개 터널은 호스트 상주 cloudflared(PID 25806)가 맡으며 정지 뒤 공개 health 200을 확인했다.",
|
||
"remaining": "NAS 재부팅 시 호스트 터널 자동 시작 등록은 여전히 없다."
|
||
}
|
||
],
|
||
"preflight": {
|
||
"api": "1279 passed, 1 skipped, 1 warning",
|
||
"engine_gateway": "82 passed, 1 warning",
|
||
"web": [
|
||
"check:api-types passed"
|
||
]
|
||
},
|
||
"nas_preflight": {
|
||
"receipt_path": "/volume1/docker/vignette-prod/receipts/release-20261025-20261025T103250Z",
|
||
"db_dump_bytes": 12062700,
|
||
"db_dump_sha256": "956795d047c78eae0b895c7d1749350fb2bf1125a8f9d19bf51a0e03ec1ce914",
|
||
"pg_restore_list_lines": 1809,
|
||
"count_tables": 120,
|
||
"uploads": {
|
||
"file_count": 93,
|
||
"total_bytes": 52973,
|
||
"manifest_sha256": "2e7f31a28d3d7f527f62092b3adfc96bf92f5cd35769a498d242b99cbeae43d2"
|
||
},
|
||
"env_backup": "private/env.nas.before-release-20261025-20261025T103250Z",
|
||
"source_sha_verified": "7facf961c5c48355e1c4a2e05e2688811f49b8db"
|
||
},
|
||
"nas_deployment": {
|
||
"api": {
|
||
"previous_image_sha256": "sha256:2083c85895de5aaf0d3db6c3fbdd02ecc916caaf48bc13ddcf31942766534cc3",
|
||
"image_sha256": "sha256:13d59af7bc77c51d6121c745d13544df94a1e625a9f09ccd244c677a9f71c83d",
|
||
"container_id": "ddfa5a2f50990ecfb4439cf93afee395f91f8651c7afe8c00e2795f1d792e197",
|
||
"recreate_started_utc": "2026-10-25T10:44:11Z",
|
||
"healthy_utc": "2026-10-25T10:45:20Z"
|
||
},
|
||
"unchanged": {
|
||
"web_engine_db_container_identity": true,
|
||
"compose_file_sha256": true,
|
||
"pages_production": "42eef402 유지(web 변경 없음)",
|
||
"migrations_applied": 0
|
||
},
|
||
"preservation": {
|
||
"count_rows_compared": 120,
|
||
"changed_rows": [],
|
||
"uploads_unchanged": true
|
||
}
|
||
},
|
||
"post_deploy": {
|
||
"health_checks": 3,
|
||
"health": "status ok, db true, engine true",
|
||
"auth_me_unauthenticated": "401, access-control-allow-origin https://vignette.chanpaca.net, credentials true",
|
||
"google_login_start_status": 302,
|
||
"api_log_since_recreate": "5xx 0건, Traceback·ERROR 0건"
|
||
},
|
||
"authenticated_ui_check": {
|
||
"account": "소유자 관리자 계정(Google 로그인, 소유자 허락 아래 자동 조작)",
|
||
"live_practice": "P2 새 회기 시작, 회기 전 자기점검 202, 대화 2턴(stream 200, 내담자 응답 13초·7초), 음성 합성 200 2건, 종료 200, 리뷰와 턴별 평가 의견 렌더. 같은 계정의 2026-08-18 시간 만료 0턴 회기 1건을 종료했다.",
|
||
"route_sweep_before_fix": "23개 경로 × desktop/mobile 46화면, page error 0, 오류 문구 0, 가로 넘침 0, 5xx 0. 모바일 /learn/practice 재연결 화면 1건. 쓰기 요청은 차단하고 기록(/client-diagnostics 2건).",
|
||
"route_sweep_after_fix": "같은 46화면에서 재연결 화면 0, page error 0, 오류 문구 0, 가로 넘침 0, 끊긴 API 요청 0, API 오류는 종료 회기 live-coach 409 2건뿐. 화면당 대기 중앙값 3,767ms·최대 9,902ms(수정 전 다수가 12초 상한 도달). 관리자 AI 화면 비용 $0.37 표시."
|
||
},
|
||
"observations": [
|
||
"NAS 공유 호스트 과부하: 부하 평균 13~17, 교체 공간 2047/2047MB 소진, 유휴 CPU 0%. Forgejo(gitea·git pack-objects), 다른 프로젝트 Supabase postgres, 2026-10-16부터 남은 createdb 프로세스가 주 사용자다. Vignette API는 CPU 0.2%였다. 다른 프로젝트 자원은 건드리지 않았다.",
|
||
"무거운 응답: /teacher/dashboard 311KB·/admin/users 528KB가 반영 뒤에도 공개 주소 3.4~3.7초다.",
|
||
"공개 API 응답에는 HSTS·nosniff 등 보안 헤더가 없다. 웹은 nosniff·referrer-policy만 있다.",
|
||
"같은 소유자 계정에 열린 오래된 회기가 여러 건 남아 있다(예: P4)."
|
||
],
|
||
"open_gates": [
|
||
"NAS 공유 호스트 I/O 과부하 원인 프로세스 정리(다른 프로젝트 소유자 결정)",
|
||
"교수자 대시보드·사용자 목록 응답 크기와 지연 개선",
|
||
"dev 전용 의존성 취약점(DEV-DEPS-001)",
|
||
"JEV-002 실제 대사 관측과 JEV 품질 승격",
|
||
"RETENTION-001 실제 apply의 별도 소유자 승인",
|
||
"장식 배경 PNG 경량화(background-light-sidebar 1,168,196 bytes·dark 1,761,725 bytes)",
|
||
"NAS web 이미지를 글꼴 분할본 커밋으로 갱신",
|
||
"Cloudflare LAX 경로 지켜보기(실제 사용자 진단 보고 발생 시 재검토)"
|
||
],
|
||
"followup_owner_decisions": {
|
||
"decided_at": "2026-10-25",
|
||
"decisions": {
|
||
"tunnel": "컨테이너로 전환",
|
||
"font": "지금 진행",
|
||
"nas_stuck_jobs": "둘 다 정리",
|
||
"cloudflare_route": "지켜보기"
|
||
},
|
||
"recheck_before_decisions": {
|
||
"captured_utc": "2026-10-25T13:33Z",
|
||
"server": "반영 뒤 약 3시간 요청 569건 200·5xx 0·Traceback 0, 감독·연구 주기 실패 0(수정 전 매시 1건)",
|
||
"auth_me": "NAS 내부 0.022~0.040초, 브라우저 0.40~0.71초, 공개 curl 0.83~1.71초",
|
||
"route_sweep": "46화면 page error 0·오류 문구 0, API 오류는 종료 회기 409 2건. 화면당 중앙값 8,980ms·최대 20,272ms, 모바일 15화면은 글꼴 로딩 대기로 화면 그림 실패, 앱 진단 보고 시도 15건(차단).",
|
||
"cause": "vignette.chanpaca.net·api-vignette.chanpaca.net은 cdn-cgi/trace colo=LAX, speed.cloudflare.com은 colo=ICN. Pages 자산 초당 60~250KB(같은 시각 ICN 속도 측정 초당 11~28MB). 실제 사용자 진단 보고는 2026-10-24T13:33Z 이후 0건.",
|
||
"nas": "부하 평균 24.43, 동기 쓰기 20×4KB 17.55초"
|
||
},
|
||
"nas_stuck_jobs": {
|
||
"createdb": "haramlog_lifecycle_audit_lab_20261011 컨테이너 안 createdb -U supabase_admin -T postgres meta_ads_gate_20261016(9일째 비밀번호 입력 대기)를 종료. 데이터베이스는 생성되지 않았다.",
|
||
"forgejo_ci": "FORGEJO-ACTIONS-TASK-4475_WORKFLOW-CI_JOB-node-static(2026-10-19T17:05Z 시작, 5일 20시간 대기)을 정지. 자동 삭제 설정이라 정지와 함께 정리됐다."
|
||
},
|
||
"tunnel_container": {
|
||
"root_causes_of_2026_09_failure": [
|
||
"cloudflared/config.yml 권한 640이라 컨테이너 계정 65532가 읽지 못함",
|
||
"비밀 볼륨 vignette-prod-cloudflared-secrets-20260830이 비어 있음"
|
||
],
|
||
"fix": "config.yml을 644로(상위 폴더 750 유지), 인증 파일을 비밀 볼륨에 65532 소유 400으로 복사(원본과 SHA-256 앞 16자리 일치), --profile public-cutover-gate up -d --no-deps --force-recreate cloudflared. 같은 터널 번호·같은 연결 대상(127.0.0.1:18080)·network_mode host.",
|
||
"verified": "연결 4개 등록(icn06/icn07, quic), restart unless-stopped, 계정 65532:65532. 호스트 상주 cloudflared를 끈 뒤 공개 health 10/10 200과 /auth/me 401·CORS. 컨테이너를 멈추고 수정한 scripts/nas-recover-prod.sh 실행 → 컨테이너 재기동·RECOVER_DONE, 다시 단독 health 8/8.",
|
||
"final_state": "공개 터널은 compose 컨테이너 단독. 호스트 상주 프로세스는 정지. 재부팅 실증은 하지 않았다(공유 NAS)."
|
||
},
|
||
"font_subset": {
|
||
"commit": "5c5b66d0",
|
||
"pages_deployment": "d4a089db",
|
||
"change": "PretendardVariable.woff2(2,057,688 bytes) preload 제거, 공식 Pretendard Variable 92분할본(unicode-range) 자체 호스팅. 글꼴 이름·굵기·font-display 불변, 옛 전체 글꼴 파일은 이전 세대 CSS 참조 때문에 유지.",
|
||
"verified": [
|
||
"typecheck·build 통과, dist 분할 woff2 92개·@font-face 92개·글꼴 preload 0개",
|
||
"로컬 미리보기 /login 변경 전후 화면 그림 SHA-256 동일",
|
||
"공개 index-D8zLr3Rf.js·index-oGqCvuGR.css SHA-256이 dist와 일치, 옛 index-V3qu1E6S.js·옛 글꼴 200 보존",
|
||
"공개 /login 첫 접속 desktop·mobile 글꼴 8요청 209,456 bytes, Pretendard 적용, page error 0"
|
||
],
|
||
"route_sweep_after": "46화면 page error 0·오류 문구 0·화면 그림 실패 0(이전 15), API 오류는 종료 회기 409 2건. 화면당 중앙값 9,492ms·최대 18,152ms로 전체 시간은 줄지 않았다: 측정 시각 LAX 경로가 더 느렸고 병목이 1,168,196 bytes 사이드바 배경 PNG로 옮겨 갔다(한 번 192초).",
|
||
"not_run": "layout-visual-gate·session-layout E2E는 web+API+DB 스택이 필요해 실행하지 않았다.",
|
||
"nas_web_image": "NAS web 컨테이너는 2026-10-24 이미지 그대로다. 다음 릴리스 때 함께 갱신한다."
|
||
}
|
||
}
|
||
}
|