d3ro-voice/docs/evidence/2026-11-17-backlog-operations.md
2026-11-21 10:15:49 +09:00

26 KiB
Raw Blame History

2026-11-17 백로그 운영·검증 증거

전체 게이트

  • npm run verify:all GREEN: desktop Vitest 212 files / 2,890 tests, mobile Jest 103 suites / 651 tests, workspace/mobile/site typecheck·lint 및 위생·계약 게이트 통과.
  • dotnet test apps/api-server.Tests 55/55 PASS.
  • Cloudflare Worker Deno 15/15, Site Bridge Deno 5/5 PASS.
  • 모바일 release boundary/config/build-config self-tests, test:hygiene, check:protected-tests, security:secrets, contract:check, check:migrations(74), check:i18n, check:ds-contract, check:design, version:check GREEN.

Wave 7 운영 반영

  • 롤백 태그 시점: NAS 20261117-173718.
  • 원격 Docker 이미지: API 12580b023110…, Admin 2b7a31b0959a…, Web(VAPID 포함) cfaa99bc17f2….
  • scripts/deploy-nas.ps1 -BuildOnly로 SSH 원격 빌드 후 NAS compose로 교체했다. 로컬 패키징은 로컬 JWT_SECRET 부재로 첫 시도에서 중단됐지만 이미지 빌드는 완료됐고, NAS의 기존 .env를 유지해 배포했다.
  • 라이브 확인: /, /app/login, /health, https://d3ro-admin.chanpaca.net/login, Worker /worker-health 및 프록시 /health 모두 HTTP 200.
  • Worker d3ro-voice-api 현재 코드 배포 ID b9e68793-b061-481f-a620-dab73a91a9d8; Site Bridge cca39627-c96e-4164-892e-6ffb3a1b54bf. 기존 사설 IP BACKEND_ORIGIN은 제거됐다.

Push drain 복구

  1. 최초 scheduled 로그는 push_drain_http_401이었다.
  2. push-drain.test.ts에 현대식 서비스 키의 apikey 계약을 먼저 추가해 RED를 확인하고, push-drain.ts가 Bearer + apikey를 모두내도록 수정했다. Deno 15/15 GREEN.
  3. Worker에는 현재 Supabase 프로젝트의 default secret을 주입했다. 값이나 저장 파일 내용은 출력하지 않았다.
  4. 직접 drain HTTP 200 claimed=1 completed=1 pending=0 및 실제 Cloudflare scheduled 로그 claimed=1 completed=1 pending=0을 확인했다.
  5. send-push를 VAPID 설정 후 운영 재배포하고 drain HTTP 200 claimed=0 completed=0 pending=0을 재확인했다.
  6. WEBPUSH_VAPID_PUBLIC_KEY/WEBPUSH_VAPID_PRIVATE_KEY/WEBPUSH_SUBJECT는 Supabase에만 존재 여부를 확인했다. 공개키는 release/webpush-vapid-public.key, 개인키는 저장소에 없다.

운영 audio-purge 실제 스케줄

  • cron.job: purge-orphaned-audio active, */10 * * * *.
  • 초기 Vault에는 project_url/service_role_key가 없어 cron이 no-op이었다. 현재 프로젝트 URL과 default secret으로 Vault를 복구했다.
  • 고립된 임의 UUID의 queue row와 실제 WAV Storage 객체를 만들고 09:00 UTC 스케줄을 관찰했다.
  • 결과: queue 1 → 0, Storage object 1 → 0, net._http_response.status_code=200. 사용자 데이터는 대상이 아니며 임시 객체는 삭제됐다.
  • 운영 Supabase 함수 목록에 Stripe 함수 3종이 없고 STRIPE_* 시크릿 5종도 모두 absent다. Stripe 대시보드의 과거 webhook 비활성화만 외부 확인으로 남는다.
  • 운영 구독은 provider=none,status=active 6건이며 Payple 갱신·만료 대상은 0건이다. payple-renew 직접 호출은 실결제 없이 HTTP 200 {renewed:0,failed:0,expired:0}이었다. Forgejo 스케줄 이력은 기존 API 토큰 401로 미확인이다.
  • node scripts/ci/verify-android-app-links.mjs GREEN: live assetlinks.json이 package com.d3ro.voice, Play app-signing SHA-256 01001921…0DAB와 정확히 일치하고 upload certificate를 포함하지 않는다.

모바일 현재 소스 빌드·E2E

  • 현재 main + 이번 검증 스크립트 수정으로 1.17.1-e2e.20261117.1 / 1170101 APK를 빌드했다. SHA-256 4FAF848A04A5B77CAFB1197E31472FB60F31B379C59CFA7E802935D617F33B4A.
  • verify-android-artifact.mjs는 기본적으로 release/E2E cleartext를 거부하고, 로컬 E2E만 --allow-local-cleartext true를 명시할 때 허용한다. Self-test와 실제 universal APK 검증 GREEN.
  • 다중 기기 환경에서 Maestro가 다른 기기를 선택하는 문제를 재현하고, run-mobile-emulator-gate.sh의 모든 Maestro 호출에 --udid를 적용했다.
  • emulator-5582에서 fresh-install auth, fresh-install signup, invite deep-link가 각각 PASS했다. 작은 화면 840x1490도 스크롤 경합을 보정한 뒤 독립 실행에서 3분 6초 PASS했다.
  • 후속 전체 실행의 small-screen 단계에서는 에뮬레이터의 package/activity/window 서비스가 사라지는 환경 오류가 발생했다. 앱 어설션 실패가 아니며, 동일 small-screen의 독립 PASS와 구분한다.

Cloud STT 경계

  • 운영 stt-proxy를 임시 계정과 4.7초 로컬 TTS WAV로 호출하면 HTTP 502 gateway/http_504이고 direct provider는 시도되지 않았다.
  • NAS Whisper 재시작 후 직접 전사는 정확한 한국어 문장을 반환했지만 콜드 로딩 포함 약 101초였다. 운영 공개 경로의 30초 경계에서는 여전히 실패한다.
  • 유효한 OpenAI/Groq 키 또는 상시 GPU가 없으므로 외부 차단을 유지한다. 임시 STT 계정은 삭제 HTTP 200을 확인했다.

운영 Web Push 실제 브라우저 경계

  • VAPID 공개키를 포함한 Web 이미지를 NAS에 재빌드·배포하고 /app/login HTTP 200을 확인했다.
  • 일반 Chrome persistent profile에서 임시 운영 사용자의 로그인·알림 권한·service worker·Push 구독·outbox 등록이 성공했다.
  • Headless와 visible Chrome의 두 실행 모두 push_deliveries.status='delivered'를 기록했지만 registration.getNotifications()는 0이었다. 따라서 provider acceptance는 GREEN이지만 실제 알림 표시 수신은 계속 미검증이다.
  • 두 실행 모두 임시 사용자 삭제 HTTP 200, 브라우저 임시 profile 삭제를 완료했다.

모바일 취소 조작 보정

  • 녹음 중 record-cancel은 광고 아래에 있어 자동 탐색이 실패했다. 광고·탭 바가 아닌 본문 내부에서 70% → 30%로 스와이프한 뒤 ID를 탭하니 record-start 복귀가 성공했다. 이 동작을 authenticated-parity.yaml에 적용했다.

Authenticated parity 최종 경계

  • 로컬 격리 계정으로 로그인·Home·Free 테스트 광고·녹음 진입·권한 거부/허용·실제 녹음까지는 재현됐다.
  • record-cancel은 짧은 paused-state 회복 플로우에서 한 번 성공했지만, 전체 recording 경로에서는 반복 실행 시 안정적으로 선택되지 않았다. 최종 전체 실행은 record-cancel 미선택으로 RED다. 이를 완료로 기록하지 않는다.
  • 추가 시도에서 More의 Settings 진입까지 도달한 실행도 있었으나 전체 플로우는 완료하지 못했다. Maestro 스크롤·안정화·다중 기기 조합 문제를 추가 조사해야 한다.
  • 로컬 임시 사용자는 삭제 HTTP 200, 로컬 Supabase는 중지하고 Docker Desktop도 기존 상태로 종료했다.

2026-11-18 후속 모바일·보안 작업

모바일 공식 게이트 복구

  • record-cancel은 광고 위의 사용 가능한 본문에서 대상 ID가 보일 때까지 스크롤하도록 바꿨다. 고정 좌표 탭이나 한 번의 스와이프에 의존하지 않는다.
  • Account 로그아웃은 실제로 화면 밖에 있어 스크롤을 추가했다. More는 방문 위치가 유지되므로 Data portability → Dictionary → Commands 경로의 스크롤 방향을 실제 목록 순서에 맞춰 위로 정정했다.
  • 1.17.1-e2e.20261118.1 / 1170102 공식 실행에서 fresh auth, signup, invite, 840x1490 small-screen signup, authenticated parity가 모두 PASS했다. 인증 플로우는 2분 37초였고 fatal/Metro signature 0건, external-gates.json의 authenticatedParity=PASS다. 임시 로컬 계정은 매 실행 HTTP 200으로 삭제했다.
  • build-mobile-local-e2e.ps1은 pinned Supabase CLI 3.2.0을 사용한다. PowerShell 5.1이 CLI의 stderr 경고를 오류로 승격하던 문제는 상태 조회 구간의 종료 코드를 별도 검사하도록 바꿨고, 이 시스템의 PowerShell 7 모듈 우선순위 때문에 Get-FileHash를 찾지 못한 문제는 Desktop edition에서 시스템 Utility 모듈을 명시 로드해 해결했다. 두 수정 후 스크립트 자체가 APK 생성과 SHA-256 대조까지 완료했다.
  • Android applicationId와 iOS PRODUCT_BUNDLE_IDENTIFIER는 com.d3ro.voice, canonical auth/invite scheme은 d3ro-voice다. iOS의 사용하지 않는 d3ro 별칭을 제거하고 verify-mobile-build-config.mjs --self-test가 ID·scheme 변형을 거부함을 확인했다.

기록 파일·원본 오디오 공유

  • HistoryDetailScreen에 기존 텍스트 공유 외에 Markdown 파일 공유와 원본 오디오 공유를 연결했다. history-share.ts는 다듬은 전사/원문·요약을 TXT/Markdown으로 만들고, 원본 오디오는 신선한 signed URL로만 내려받는다.
  • 원본 공유는 사용자의 별도 버튼 탭에서만 시작하고 50 MiB 상한·MIME 확장자·빈 파일·HTTP 오류를 검사한다. Android는 기존 D3ROFileShareModule의 FileProvider 임시 읽기 권한과 수명주기 정리를 사용한다. iOS는 파일 URI의 명시적 Share 시트를 사용한다.
  • history-share.test.ts 5개와 기존 화면 테스트 확장 4개가 통과했다. 특히 준비 중 언마운트 시 늦은 공유 시트가 열리던 경로는 테스트에서 먼저 RED를 재현한 뒤 파일 정리와 미표시를 GREEN으로 확인했다. 전체 모바일 Jest는 104 suites / 658 tests였고, 언마운트 테스트 1개 추가 후 최종 게이트에서 다시 집계한다.
  • 실제 외부 앱의 파일 수신은 external-gates.json에서 계속 NOT_RUN_TARGET_APP_REQUIRED다. 공급자 수신 증거 없이 [x]로 올리지 않는다.
  • R-019의 강제 재처리는 아직 연결하지 않았다. 기존 오디오 경로는 완료된 동일 파일을 중복 제거해 기존 transcript를 반환하므로, 이를 우회하는 버튼을 실제 재처리처럼 표시하지 않았다.

의존성·도구·데스크톱 경계

  • Next.js 16.4.6, Mermaid 12.3.0, Electron 43.8.10, electron-vite 6.0.0, Vite 8.3.8, Vitest 5.1.0으로 갱신했다. Electron 44의 Clipboard 재작성은 채택하지 않고, 43에서 비동기화된 readText/writeText를 실제로 await한다. 새 비동기 원본 복원 회귀 테스트를 포함한다.
  • Web/Admin의 Vite 8 OXC JSX 설정과 Admin·root의 명시적 Vitest 의존성을 정리했다. 기존 테스트의 중복 import 하나는 새 파서가 거부해 중복만 제거했다.
  • Node는 .nvmrc 24.19.0 및 root/mobile engines.node=24.x로 맞췄다. 현재 기본 셸은 Node 23이므로 전역 설치를 바꾸지 않고 격리된 Node 24.19.0 실행 파일로 검증했고, npm run rebuild:test로 better-sqlite3 ABI 137을 맞췄다.
  • npm run build:all GREEN(115.78초). 데스크톱 212 files / 2,891 tests, Web 52, Admin 6 tests가 포함됐다. 루트 audit은 critical 0이며 나머지 high 25 / moderate 12를 0으로 위장하지 않는다. 특히 picomatch는 현재 최신 4.0.7도 공개 권고 대상이라 안전한 상위 수정 버전이 아직 없다.
  • 실행 중인 설치본 프로세스는 있었지만 모든 main window handle이 0이고 orca CLI도 없었다. Electron은 agent subshell에서 새로 실행하지 않았으므로 실제 GUI·제안·클립보드·긴 회의 검증은 여전히 외부 터미널 수동 게이트다.
  • 후속 npm run verify:all은 Node 24.19.0에서 GREEN이다: desktop 212 files / 2,891 tests, mobile 104 suites / 659 tests, typecheck·lint·i18n·테스트 위생·품질·디자인 계약 포함.
  • 최종 E2E APK는 1.17.1-e2e.20261118.3 / 1170104, SHA-256 2AE6BAE279DD507B73D0F1DEE03C11D0649CFC554A4BDFD0FC9BCEFD94912057다. verify-android-artifact.mjs --mode e2e에서 서명·bundle·model·arm64-v8a/x86_64·버전 계약 GREEN.
  • 같은 최종 APK로 공식 전체 게이트를 다시 실행해 6분 15초 만에 fresh auth 34초, signup 42초, invite 15초, small-screen signup 48초, authenticated parity 2분 28초 모두 PASS했다. fatal/Metro signature 0, 임시 계정 삭제 HTTP 200이다.
  • navigation-shell-search-local.yaml은 임시 사용자의 실제 history row와 공식 mobile_create_meeting_workspace_v2 RPC로 만든 meeting을 사용해 1분 17초 PASS했다. 두 검색 결과, 각 상세 이동과 Markdown 파일 버튼을 확인했다. 종료 시 삭제 요청의 로컬 소켓 오류는 Node 24 정리 실행에서 해당 계정 1건을 HTTP 200으로 삭제하고 잔여 0건을 재조회해 해결했다.
  • Electron 버전은 root launcher·desktop·lock·electron-builder.yml·sync-version.mjs를 모두 43.8.10으로 맞췄다. version:check GREEN, release:metadata:test 18 negative cases GREEN, root/mobile npm ci --dry-run --ignore-scripts PASS다. 최종 build:all은 113.61초 만에 GREEN이었다.

NAS 보안 이미지 최종 반영

  • 첫 전체 SSH 빌드는 30분 실행 제한으로 중단됐고, 이어서 -BuildOnly -Services web으로 Web만 재빌드했다. Admin은 이미 완료된 이미지를 재사용했다.
  • 운영 Web 이미지·실행 컨테이너: sha256:f36c466137ff5b34fc320d3194dfae58f361ba91527e82934154e1761c3906d3; Admin: sha256:1a98f25dc9662aef804fa75076bc0c0dbaeae67e8ab335d407a646d77836ca58. 둘 다 Next.js 16.4.6 빌드다.
  • 롤백 태그는 Web/Admin 모두 rollback-20261118-044054다. NAS 기존 .env와 API 컨테이너는 유지했다.
  • 컨테이너 시작 직후 Web localhost의 첫 curl은 connection reset이었지만, 이후 NAS Web/Admin localhost와 공개 /app/login, admin /login, /health가 모두 HTTP 200이다. 롤백 없이 현재 이미지를 유지한다.

2026-11-20 데스크톱 업데이트 미표시·릴리스 복구

  • 설치된 D3RO Voice.exe의 ProductVersion은 1.17.1.0이다. 실행 중인 앱의 자동 업데이트는 활성이며 19:36의 로그는 원격 정책 killSwitch=false, staging=100%, latest version: 1.17.1을 기록했다. 대화상자 구현이나 요청 실패가 이번 미표시의 원인이 아니다.
  • 공개 latest/latest.yml은 무인증 HTTP 200으로 version: 1.17.1을 반환한다. 로컬 소스는 1.18.1(bed83f7)이지만 canonical remote에 해당 태그가 없고 공개 피드에도 게시되지 않았다.
  • 미게시 1.18.1 설치본은 120,821,996 bytes(115.2 MiB), .blockmap과 latest.yml이 생성된 후 build-desktop-installer.mjs의 100 MiB 제한에서 중단됐다. release-artifacts.json 체크포인트가 없으므로 임의로 재빌드·재게시하지 않고 원본 산출물을 보존한다.
  • apps/desktop/electron-builder.yml의 최대 압축, 번들된 renderer 전용 의존성 및 미사용 SQLite 소스 제외를 정식 1.18.2 빌드로 검증한다. 앱을 종료하거나 개인 설정·DB를 바꾸지 않고 공개 피드와 기존 설치본의 제안을 확인한다.
  • 1.18.2도 동일한 패키징에서 120,821,907 bytes라 업로드 전 크기 게이트가 중단했다. release:metadata, version:check, 전 workspace typecheck와 네이티브 DB 열기·질의는 GREEN이었고, 태그만 로컬에 있고 원격 push·upload는 실행되지 않았다.
  • 차분 친화적 archive는 빌더가 compression을 normal로 재설정하므로 compression: maximum만으로는 줄지 않았다. 분리된 differentialPackage=false 시험 설치본은 108,504,875 bytes였고 .blockmap을 만들지 않았다. 이것만으로는 부족해 게시하지 않았다.
  • 1.18.3은 Windows full-only(nsis.differentialPackage=false, fullInstallVersionGap=0)로 전환하고 Windows에서 사용하지 않는 nut-js, 다른 플랫폼의 SQLite 바이너리, 번들된 shared packages의 중복 복사본을 제외한다. macOS 패키지는 변경하지 않는다. 기존 차분 모드의 기본 smoke 검사는 유지하면서 full-only의 .blockmap 부재를 명시적 계약으로 검사한다.
  • 1.18.3의 첫 정식 빌드는 NSIS 압축 중 30분 작업 제한에 걸렸다. 생성된 app.asar는 약 19GB였고, 실제 header에 과거 release/<version>/win-unpacked의 실행 파일과 src/tests까지 포함돼 있었다. 중단된 .nsis.7z를 재시도가 Archive file is up to date로 재사용해 7-Zip Is not archive가 발생했다. 어떤 파일도 업로드하지 않았다.
  • 패키지 입력에 !release/**와 Windows out/**/*를 명시하고, smoke가 ASAR 최상위 release 항목을 거부하는 테스트를 먼저 RED로 확인한 뒤 GREEN으로 고쳤다. 분리된 레이아웃 시험의 ASAR은 54,555,897 bytes이고 최상위 항목은 out, node_modules, package.json뿐이다. release/src/tests, @d3ro, @nut-tree-fork 포함 0건, 외부 SQLite prebuild는 win32-x64.node만 존재한다.
  • 정상화된 트리의 full-only 크기 시험은 109.6초 만에 완료했지만 설치본은 105,962,867 bytes로 한도보다 1,105,267 bytes 컸다. ASAR 안 source map이 15,231,119 bytes 있어 production 패키지에서는 !**/*.map으로 제외한다. 실행 코드·리소스가 아니며 macOS에도 동일하게 적용할 수 있는 패키지 위생 수정이다.
  • source map 제거본의 ASAR은 38,905,787 bytes이며 최상위 out/node_modules/package.json만 있고 source map·release/src/tests·제외한 package는 0건이다. 패키징된 win32-x64 SQLite 열기·질의와 uiohook 검사 GREEN이다.
  • full-only 설치본 시험은 106.6초 만에 104,687,868 bytes를 생성했다. 한도 104,857,600 bytes보다 169,732 bytes 작다. .blockmap 없이 latest.yml이 생성됐고, 실제 설치본·manifest와 레이아웃을 함께 smoke에 넣어 PE/SHA-512/feed/ASAR 계약 GREEN이다. self-test는 3 valid + 10 negative cases다.
  • 정식 1.18.4(f77c86d) 설치본은 104,691,365 bytes로 빌드·native DB·smoke를 통과하고 release-artifacts.json에 full-only 해시가 기록됐다. canonical/mirror main과 annotated v1.18.4가 push됐다.
  • 최초 게시는 .env의 Forgejo token이 실제 /api/v1/user에서도 HTTP 401이라 runtime feed gate에서 중단됐다. 공개 runtime은 무인증 HTTP 200이다. 기존 Git credential의 API 인증은 200이었고, 자격증명은 파일에 쓰거나 출력하지 않고 프로세스 메모리에서만 사용했다. checkpoint의 태그·SHA-256을 재검증하고 재빌드 없이 게시를 재개했다.
  • 버전별 및 latest 설치본·서명 manifest·policy 업로드, 공개 signed-manifest 검증, Forgejo Release 3개 자산 첨부가 모두 성공했다. 공개 latest/latest.yml은 1.18.4, 설치본은 Range GET HTTP 206이다. Windows 차분 파일이 없으므로 policy fullInstallVersionGap=0도 게시됐다.
  • 실행 중인 설치 앱은 여전히 1.17.1이며 새 버전의 업데이트 확인 로그는 아직 없다. 에이전트가 Electron을 실행하거나 종료하지 않았으므로 설정 → 정보 → 업데이트의 수동 확인과 제안/다운로드 화면은 사용자 검증으로 남는다. 다음 릴리스를 위해서는 만료된 .env token의 교체가 필요하다.

2026-11-21 실제 업데이트 완료·OCR 품질 후속

  • 실제 설치 앱 로그가 2026-11-20 22:48:56에 1.18.4 발견, 2026-11-21 07:03:10 전체 설치본 다운로드 시작, 07:03:25 서명 확인 완료·다운로드 완료, 07:03:35 quitAndInstall을 기록했다. 07:03:56에 재시작됐고 기존 _local/d3ro.db를 created=false로 정상 오픈했다. 07:04:17에는 현재 버전 1.18.4가 최신이라고 확인했다.
  • 설치된 C:\Users\encep\AppData\Local\Programs\@d3rodesktop\D3RO Voice.exe의 ProductVersion은 1.18.4.0이다. 사용자가 실제로 화면 OCR을 두 번 실행했고 07:36:04·07:36:55에 오버레이 생성과 각각 959·933개 단어 인식이 로그에 남았다. 제외한 네이티브 모듈을 포함한 실제 GUI 실행 증거이며, OCR 인식 품질 자체는 아래의 별도 결함으로 남긴다.
  • 사용자가 보고한 특수문자·정확도 문제는 음성 전사가 아니라 화면 OCR 경로에서 조사했다(같은 시각의 로그에 음성 전사가 아니라 화면 OCR 호출이 있었다). Windows가 제공하는 인식 언어는 ko 하나뿐이었다.
  • 알려진 한국어·영어·코드·기호 혼합 합성 표본으로 실제 Windows.Media.Ocr을 호출해 0→@, off→0千千, foo→千00, →→“를 재현했다. 2배에서 4배로 키워도 해결되지 않았다. 엔진의 문자 출력을 추측성 규칙으로 치환하지 않는다.
  • selectionText가 모든 단어 사이에 공백을 넣어 URL과 이메일이 "https ://… ?…", …example. co. kr처럼 복사되던 문제는 단어 상자의 픽셀 간격을 이용해 수정했다. 일반 단어의 좁은 띄어쓰기를 유지하는 대조 테스트를 포함한다. 새 테스트는 수정 전에 실패했고 수정 후 core 37개, 전체 core 40 files / 666 tests, desktop OCR 39 tests가 GREEN이다. 이 소스 수정은 아직 설치된 1.18.4에는 포함되지 않았다.
  • 고대비 이진화는 코드 표본에서 off, >=, items[0]를 개선했지만 한국어 표본에서 문장 부호 줄을 놓치고 URL의 큰따옴표를 작은따옴표로 바꿨다. 다크 모드에서도 개선과 퇴행이 섞여 있어 제품에 적용하지 않고 시험 산출물을 삭제했다. 인식 언어·모델 개선과 실제 혼합 화면 평가는 GAP-OCR-02로 남긴다.

2026-11-21 오픈 모델 평가와 GLM 선택 영역 정밀 읽기

모델·표본·측정

  • 현재 PC(RTX 3080 Ti 12GB, Ollama 0.40.5)에서 **GLM-OCR 89d735dd9c07**을 날받았다. Ollama manifest의 모델+프로젝터 합계는 2,655,025,536 bytes다. 공식 가이드의 native /api/generate를 사용했다.
  • PaddleOCR-VL-1.6은 공식 Hugging Face GGUF 두 파일을 받아 해시를 확인했다: 모델 f3ae46ec885050acf4b3d31944431e1fd90d50664fb09126af4a3c050ba14ee8, 프로젝터 204d757d7610d9b3faab10d506d69e5b244e32bf765e2bab2d0167e65e0a058a. 임시 llama-server만 사용하고 평가 후 종료했다.
  • PP-OCRv5는 제품 사이드카와 분리된 Python 3.11 venv에 paddlepaddle 3.3.1/paddleocr 3.7.0을 설치했다. Windows PyPI에는 3.4.0이 없었고, oneDNN 오류는 해당 가속을 끄고 해결했다. 제품 사이드카 의존성은 바꾸지 않았다.
  • 브라우저에서 실제 Consolas + Malgun fallback으로 그린 5개 표본(한·영 혼합 밝은/어두운 화면, 작은 코드, 한국어 UI, 특수문자)을 사용했다. ImageMagick의 한글 누락·원화 표기 표본은 평가에서 제외했다. 전체 화면과 선택 영역 크롭(2배 픽셀)을 구분했다.
  • Levenshtein 문자 오류율을 전체 문자·비공백 문자·기호에 대해 각각 계산했다. 특수문자를 제거해 점수를 좋게 하지 않았고, done_reason=length/finish_reason=length는 성공으로 세지 않았다. 평균이 아닌 중앙값 시간을 아래에 적는다.
Engine Overall CER Symbol CER Median recognition time
Windows.Media.Ocr (ko) 32.29% 43.23% 0.894 s
PP-OCRv5 Korean (CPU, oneDNN off) 14.35% 19.91% 8.390 s
PaddleOCR-VL-1.6, full 4.94% 10.81% 19.485 s
PaddleOCR-VL-1.6, crop 2.99% 4.32% 22.148 s
GLM-OCR, crop 5.08% 5.46% 3.740 s
  • GLM은 첫 혼합 화면에서 546자와 기호 122개가 모두 일치했다. 첫 cold 요청 102.8초의 구성은 모델 로딩 2.6초, 이미지 처리 61.9초, 생성 38.3초였다. 전체 큰 코드 화면은 초기 num_ctx=4096 부족으로 실패해 8192로 늘려 확인했다.
  • GLM은 한국어 UI의 일부 드문 글자를 틀리고 특수기호를 LaTeX 또는 반복 생성으로 출력했다. 따라서 전체 화면 자동 교체는 채택하지 않았다. literal 지시 프롬프트도 코드 펜스와 반복 생성을 없애지 못하고 일부 문자를 바꿔 공식 Text Recognition: 프롬프트를 유지했다.
  • Paddle은 crop에서도 코드의 따옴표·백틱·일부 연산자를 바꿨고 평균 약 20.89초였다. GLM은 코드 본문은 정확하지만 코드 펜스를 추가하는 경향이 있어, 원문·본문에 펜스가 없고 출력 전체가 한 겹의 코드 펜스인 경우에만 포장을 제거한다. 실제 펜스가 있으면 제거하지 않는다.
  • 선택 이유는 GLM이 모든 항목에서 최고라는 뜻이 아니다. 코드 정확성과 crop 속도이며, Paddle의 전체 prose CER이 더 낮은 점도 유지한다. 드문 한글·공백 정확도는 여전히 미해결이다.

제품 구현·실제 검증

  • screen-ocr/ollama-precision-engine.ts는 loopback만 허용하고, 명시적 정밀 읽기 요청 시에만 모델을 다운로드한다. 2분 keep-alive, 120초 생성 제한, 15분 다운로드 제한, 최대 4096 출력 토큰, 빈·잘린 응답 거부와 취소를 적용한다.
  • ScreenOcrService는 선택 영역만 잘라 임시 PNG로 쓰고 완료 후 삭제한다. 원문은 바꾸지 않고 결과를 별도로 반환하며, 중복 요청과 비정상적으로 긴 반복 결과를 거부한다. 파일 생성 중 닫으면 모델을 호출하지 않는다.
  • 새 단위·서비스 테스트 51개가 통과했다. 12개 로케일은 2,547 keys × 12 계약 GREEN, workspace typecheck·desktop lint·desktop production build·renderer 자산 검사(8 pages)·테스트 위생(453 files)도 통과했다.
  • 빌드된 실제 오버레이를 루프백 정적 서버로 열어 단어 선택 → refine-text 요청 → 크롭 좌표 → 결과 표시 → 결과 복사를 통과했다. 연속 클릭은 한 번만 실행됐다. Electron 자체를 에이전트 subshell에서 실행하지는 않았다.
  • 실제 소스 ScreenOcrService + 실제 GLM API를 연결한 라이브 호출은 6.304초, 임시 파일 0개였다. 코드의 비공백 문자 1,215개와 특수문자 403개가 모두 일치하고 핵심 토큰 누락이 없었다. 추가 빈 줄·탭 표현 등 공백 3곳 차이는 남아 있어 문자 그대로의 완전한 일치라고 기록하지 않는다.
  • 새 정밀 읽기 버튼을 실제 설치 앱에서 눌러 보는 GUI 검증과 다음 설치본 반영은 아직 하지 않았다. 이전 selectionText 공백 수정과 이번 정밀 읽기 구현 모두 현재 작업 트리의 소스 변경이다. macOS 엔진과 드문 한글·공백 정확도는 GAP-OCR-02에 남긴다.
  • 평가용 Paddle GGUF·PP-OCR venv·합성 표본·검증 스크립트와 두 PP-OCR 모델 캐시는 삭제했다. GLM-OCR은 실제 정밀 읽기에 사용할 모델로 남겼고, 임시 llama-server와 백그라운드 작업은 모두 종료했다. 이번 소스 변경의 커밋·푸시·설치본 배포는 하지 않았다.