fix(desktop): add precise local OCR reading
This commit is contained in:
parent
59cdddbecb
commit
25fd3ac004
30 changed files with 626 additions and 15 deletions
|
|
@ -125,3 +125,47 @@
|
|||
- 최초 게시는 `.env`의 Forgejo token이 실제 `/api/v1/user`에서도 HTTP 401이라 runtime feed gate에서 중단됐다. 공개 runtime은 무인증 HTTP 200이다. 기존 Git credential의 API 인증은 200이었고, 자격증명은 파일에 쓰거나 출력하지 않고 프로세스 메모리에서만 사용했다. checkpoint의 태그·SHA-256을 재검증하고 재빌드 없이 게시를 재개했다.
|
||||
- 버전별 및 latest 설치본·서명 manifest·policy 업로드, 공개 signed-manifest 검증, Forgejo Release 3개 자산 첨부가 모두 성공했다. 공개 `latest/latest.yml`은 `1.18.4`, 설치본은 Range GET HTTP 206이다. Windows 차분 파일이 없으므로 policy `fullInstallVersionGap=0`도 게시됐다.
|
||||
- 실행 중인 설치 앱은 여전히 1.17.1이며 새 버전의 업데이트 확인 로그는 아직 없다. 에이전트가 Electron을 실행하거나 종료하지 않았으므로 `설정 → 정보 → 업데이트`의 수동 확인과 제안/다운로드 화면은 사용자 검증으로 남는다. 다음 릴리스를 위해서는 만료된 `.env` token의 교체가 필요하다.
|
||||
|
||||
|
||||
## 2026-11-21 실제 업데이트 완료·OCR 품질 후속
|
||||
|
||||
- 실제 설치 앱 로그가 2026-11-20 22:48:56에 `1.18.4` 발견, 2026-11-21 07:03:10 전체 설치본 다운로드 시작, 07:03:25 서명 확인 완료·다운로드 완료, 07:03:35 `quitAndInstall`을 기록했다. 07:03:56에 재시작됐고 기존 `_local/d3ro.db`를 `created=false`로 정상 오픈했다. 07:04:17에는 현재 버전 `1.18.4`가 최신이라고 확인했다.
|
||||
- 설치된 `C:\Users\encep\AppData\Local\Programs\@d3rodesktop\D3RO Voice.exe`의 ProductVersion은 `1.18.4.0`이다. 사용자가 실제로 화면 OCR을 두 번 실행했고 07:36:04·07:36:55에 오버레이 생성과 각각 959·933개 단어 인식이 로그에 남았다. 제외한 네이티브 모듈을 포함한 실제 GUI 실행 증거이며, OCR 인식 품질 자체는 아래의 별도 결함으로 남긴다.
|
||||
- 사용자가 보고한 특수문자·정확도 문제는 음성 전사가 아니라 화면 OCR 경로에서 조사했다(같은 시각의 로그에 음성 전사가 아니라 화면 OCR 호출이 있었다). Windows가 제공하는 인식 언어는 `ko` 하나뿐이었다.
|
||||
- 알려진 한국어·영어·코드·기호 혼합 합성 표본으로 실제 Windows.Media.Ocr을 호출해 `0`→`@`, `off`→`0千千`, `foo`→`千00`, `→`→`“`를 재현했다. 2배에서 4배로 키워도 해결되지 않았다. 엔진의 문자 출력을 추측성 규칙으로 치환하지 않는다.
|
||||
- `selectionText`가 모든 단어 사이에 공백을 넣어 URL과 이메일이 `"https ://… ?…"`, `…example. co. kr`처럼 복사되던 문제는 단어 상자의 픽셀 간격을 이용해 수정했다. 일반 단어의 좁은 띄어쓰기를 유지하는 대조 테스트를 포함한다. 새 테스트는 수정 전에 실패했고 수정 후 core 37개, 전체 core 40 files / 666 tests, desktop OCR 39 tests가 GREEN이다. 이 소스 수정은 아직 설치된 1.18.4에는 포함되지 않았다.
|
||||
- 고대비 이진화는 코드 표본에서 `off`, `>=`, `items[0]`를 개선했지만 한국어 표본에서 문장 부호 줄을 놓치고 URL의 큰따옴표를 작은따옴표로 바꿨다. 다크 모드에서도 개선과 퇴행이 섞여 있어 제품에 적용하지 않고 시험 산출물을 삭제했다. 인식 언어·모델 개선과 실제 혼합 화면 평가는 `GAP-OCR-02`로 남긴다.
|
||||
|
||||
|
||||
## 2026-11-21 오픈 모델 평가와 GLM 선택 영역 정밀 읽기
|
||||
|
||||
### 모델·표본·측정
|
||||
|
||||
- 현재 PC(RTX 3080 Ti 12GB, Ollama 0.40.5)에서 **GLM-OCR `89d735dd9c07`**을 날받았다. Ollama manifest의 모델+프로젝터 합계는 2,655,025,536 bytes다. 공식 가이드의 native `/api/generate`를 사용했다.
|
||||
- PaddleOCR-VL-1.6은 공식 Hugging Face GGUF 두 파일을 받아 해시를 확인했다: 모델 `f3ae46ec885050acf4b3d31944431e1fd90d50664fb09126af4a3c050ba14ee8`, 프로젝터 `204d757d7610d9b3faab10d506d69e5b244e32bf765e2bab2d0167e65e0a058a`. 임시 llama-server만 사용하고 평가 후 종료했다.
|
||||
- PP-OCRv5는 제품 사이드카와 분리된 Python 3.11 venv에 `paddlepaddle 3.3.1`/`paddleocr 3.7.0`을 설치했다. Windows PyPI에는 3.4.0이 없었고, oneDNN 오류는 해당 가속을 끄고 해결했다. 제품 사이드카 의존성은 바꾸지 않았다.
|
||||
- 브라우저에서 실제 Consolas + Malgun fallback으로 그린 5개 표본(한·영 혼합 밝은/어두운 화면, 작은 코드, 한국어 UI, 특수문자)을 사용했다. ImageMagick의 한글 누락·원화 표기 표본은 평가에서 제외했다. 전체 화면과 선택 영역 크롭(2배 픽셀)을 구분했다.
|
||||
- Levenshtein 문자 오류율을 전체 문자·비공백 문자·기호에 대해 각각 계산했다. 특수문자를 제거해 점수를 좋게 하지 않았고, `done_reason=length`/`finish_reason=length`는 성공으로 세지 않았다. 평균이 아닌 중앙값 시간을 아래에 적는다.
|
||||
|
||||
| Engine | Overall CER | Symbol CER | Median recognition time |
|
||||
|---|---:|---:|---:|
|
||||
| Windows.Media.Ocr (`ko`) | 32.29% | 43.23% | 0.894 s |
|
||||
| PP-OCRv5 Korean (CPU, oneDNN off) | 14.35% | 19.91% | 8.390 s |
|
||||
| PaddleOCR-VL-1.6, full | 4.94% | 10.81% | 19.485 s |
|
||||
| PaddleOCR-VL-1.6, crop | 2.99% | 4.32% | 22.148 s |
|
||||
| GLM-OCR, crop | 5.08% | 5.46% | 3.740 s |
|
||||
|
||||
- GLM은 첫 혼합 화면에서 546자와 기호 122개가 모두 일치했다. 첫 cold 요청 102.8초의 구성은 모델 로딩 2.6초, 이미지 처리 61.9초, 생성 38.3초였다. 전체 큰 코드 화면은 초기 `num_ctx=4096` 부족으로 실패해 8192로 늘려 확인했다.
|
||||
- GLM은 한국어 UI의 일부 드문 글자를 틀리고 특수기호를 LaTeX 또는 반복 생성으로 출력했다. **따라서 전체 화면 자동 교체는 채택하지 않았다.** `literal` 지시 프롬프트도 코드 펜스와 반복 생성을 없애지 못하고 일부 문자를 바꿔 공식 `Text Recognition:` 프롬프트를 유지했다.
|
||||
- Paddle은 crop에서도 코드의 따옴표·백틱·일부 연산자를 바꿨고 평균 약 20.89초였다. GLM은 코드 본문은 정확하지만 코드 펜스를 추가하는 경향이 있어, **원문·본문에 펜스가 없고 출력 전체가 한 겹의 코드 펜스인 경우에만 포장을 제거**한다. 실제 펜스가 있으면 제거하지 않는다.
|
||||
- 선택 이유는 GLM이 모든 항목에서 최고라는 뜻이 아니다. **코드 정확성과 crop 속도**이며, Paddle의 전체 prose CER이 더 낮은 점도 유지한다. 드문 한글·공백 정확도는 여전히 미해결이다.
|
||||
|
||||
### 제품 구현·실제 검증
|
||||
|
||||
- `screen-ocr/ollama-precision-engine.ts`는 loopback만 허용하고, 명시적 정밀 읽기 요청 시에만 모델을 다운로드한다. 2분 keep-alive, 120초 생성 제한, 15분 다운로드 제한, 최대 4096 출력 토큰, 빈·잘린 응답 거부와 취소를 적용한다.
|
||||
- `ScreenOcrService`는 선택 영역만 잘라 임시 PNG로 쓰고 완료 후 삭제한다. 원문은 바꾸지 않고 결과를 별도로 반환하며, 중복 요청과 비정상적으로 긴 반복 결과를 거부한다. 파일 생성 중 닫으면 모델을 호출하지 않는다.
|
||||
- 새 단위·서비스 테스트 **51개**가 통과했다. 12개 로케일은 **2,547 keys × 12** 계약 GREEN, workspace typecheck·desktop lint·desktop production build·renderer 자산 검사(8 pages)·테스트 위생(453 files)도 통과했다.
|
||||
- 빌드된 실제 오버레이를 루프백 정적 서버로 열어 단어 선택 → `refine-text` 요청 → 크롭 좌표 → 결과 표시 → 결과 복사를 통과했다. 연속 클릭은 한 번만 실행됐다. Electron 자체를 에이전트 subshell에서 실행하지는 않았다.
|
||||
- 실제 소스 `ScreenOcrService` + 실제 GLM API를 연결한 라이브 호출은 **6.304초**, 임시 파일 0개였다. 코드의 **비공백 문자 1,215개와 특수문자 403개가 모두 일치**하고 핵심 토큰 누락이 없었다. 추가 빈 줄·탭 표현 등 **공백 3곳 차이**는 남아 있어 문자 그대로의 완전한 일치라고 기록하지 않는다.
|
||||
- 새 정밀 읽기 버튼을 **실제 설치 앱에서 눌러 보는 GUI 검증과 다음 설치본 반영은 아직 하지 않았다.** 이전 `selectionText` 공백 수정과 이번 정밀 읽기 구현 모두 현재 작업 트리의 소스 변경이다. macOS 엔진과 드문 한글·공백 정확도는 `GAP-OCR-02`에 남긴다.
|
||||
- 평가용 Paddle GGUF·PP-OCR venv·합성 표본·검증 스크립트와 두 PP-OCR 모델 캐시는 삭제했다. GLM-OCR은 실제 정밀 읽기에 사용할 모델로 남겼고, 임시 llama-server와 백그라운드 작업은 모두 종료했다. 이번 소스 변경의 커밋·푸시·설치본 배포는 하지 않았다.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue