feat(desktop): built-in Han/Eng layout auto-switching, terminal/Vim support, and Unicode input
This commit is contained in:
parent
1da04b9e46
commit
a3ac44da2b
109 changed files with 8234 additions and 242 deletions
|
|
@ -2,14 +2,16 @@
|
|||
|
||||
> Status: ACTIVE
|
||||
> Last full audit: 2026-09-13
|
||||
> Last update: 2026-09-27 — **v1.7.0·v1.8.0·v1.9.0 릴리스 + 기기 간 동기화 재작성 + 운영 DB 정렬.** 데스크톱↔모바일·웹 동기화를 outbox·서버시각 커서·삭제 기록(`sync_tombstones`)·실시간(`ws`) 엔진으로 다시 만들고, 이력·사전·회의·메모 태그·명령·템플릿·지식베이스·녹음·공통 설정·기기 등록까지 넓혔다(MEM-13, ACC-08/09, MEM-05). 운영 Supabase가 `0028`에 멈춰 있던 것을 발견해 `0029`–`0035`를 적용하고 함수 23개를 재배포했다(GAP-OPS-01 — 사용자가 자기 tier를 올릴 수 있던 권한 구멍 포함). 모바일 기기 목록·데이터 내보내기 결함도 고쳤다(GAP-SYNC-03/04). 무서명 로컬 게시 예외(GAP-REL-06) 유지.
|
||||
> Last update: 2026-10-27 — **v1.11.0 릴리스 + Araso 방식 한영 자동 변환·터미널/Vim/xterm.js 지원 완성 (`INPUT-19`, `GAP-INPUT-08`).** `nyttastudio/araso`를 분석해 `@d3ro/core/araso-layout` 및 `@d3ro/core/typo-correction`을 대폭 업그레이드하고 터미널·Vim·xterm.js(`Agent Switchboard`)까지 확장했다: 영어·약어·CamelCase+한국어 조사/단어 혼합어 분리(`githubdp`→`github에`, `PDFvkdlf`/`ㅖㅇㄹ파일`→`PDF파일`, `Reactzjavhsjsxm`→`React컴포넌트`, `dhsmfdmsgoogledptj`→`오늘은google에서`, `1:1ansdml`→`1:1문의`, 2글자 약어 받침 호응 `TMdms`→`TM은` vs `TMsms`→`쓰는`), 쌍자음 잔여 Shift 정규화(`djEJs`→`어떤`, `qkRNjTdj`→`바꿨어`), 한글 자판 상태 영어/혼합어 역변환(`ㅗ디ㅣㅐ 재깅`→`hello world`, `내ㅡㄷ샤ㅡㄷ`→`sometime`, `ㅎ샤ㅗㅕㅠ에`→`github에`, `ㅠㅕㅎ가`→`bug가`, 알파벳+조사 `ㄴ가`→`s가`, `ㄴ은`→`s은`), 문장 문맥 한영 전환(`Stay hungry, stay foolishsms wkqtmdml akfdlek.`), URL·경로·이메일 보호(`isUrlOrPathRun`), 터미널·Vim 명령(`:ㅈㅂ`→`:wq`, `:ㅂ!`→`:q!`, `퍄ㅡ `→`vim `, Vim 노멀 모드 교정 억제), `SendInput(KEYEVENTF_UNICODE)` 직접 유니코드 타이핑(클립보드 무접촉), 단어 경계(`25ms`)와 어절 내부(`650ms`) 유휴 분리 및 완성형 음절(`[가-힣]`) 한정 `commitComposition`으로 고속 타이핑 시 글자 삼킴·유령 공백·앞글자 중복을 완전히 해소했다. 통계 수집 동의(`inputTelemetryEnabled`)가 꺼져 있어도 기본 기능(`typoAutoCorrectEnabled: true`)으로 즉시 동작한다.
|
||||
>
|
||||
> Previous update: 2026-09-27 — **v1.7.0·v1.8.0·v1.9.0 릴리스 + 기기 간 동기화 재작성 + 운영 DB 정렬.** 데스크톱↔모바일·웹 동기화를 outbox·서버시각 커서·삭제 기록(`sync_tombstones`)·실시간(`ws`) 엔진으로 다시 만들고, 이력·사전·회의·메모 태그·명령·템플릿·지식베이스·녹음·공통 설정·기기 등록까지 넓혔다(MEM-13, ACC-08/09, MEM-05). 운영 Supabase가 `0028`에 멈춰 있던 것을 발견해 `0029`–`0035`를 적용하고 함수 23개를 재배포했다(GAP-OPS-01 — 사용자가 자기 tier를 올릴 수 있던 권한 구멍 포함). 모바일 기기 목록·데이터 내보내기 결함도 고쳤다(GAP-SYNC-03/04). 무서명 로컬 게시 예외(GAP-REL-06) 유지.
|
||||
>
|
||||
> Previous update: 2026-09-24 — **v1.6.0 릴리스.** 버전 SSOT를 1.6.0(android/iOS 1060000)으로 올렸다. 다음 문장 제안을 1개씩 순차 생성해 최대 12개·3개씩 페이지로 보여 주고(Ctrl+Alt+↑↓ 이동, ←→ 페이지, Enter 수락, Esc 닫기; 기존 기본 단축키는 revision 5에서 이관), 오버레이를 재설계했다(`INPUT-06`/`INPUT-07`). 개인 문구 코퍼스는 터미널·에디터·코딩 에이전트와 비문장·플레이스홀더를 학습하지 않고 기존 데이터도 같은 규칙으로 정리한다(`INPUT-04`/`INPUT-05`). 제안 단축키가 받아쓰기를 켜던 버그, 구버전 사이드카가 `/uia/focus` 없이 남던 버그(런타임 최소 버전 1.5.0), Ollama 러너 콘솔 창, 사이드카 이중 기동을 고쳤다. 실시간 자막 창은 끌어서 옮길 수 있고 첫 자막 전까지 준비 안내를 보인다. 무서명 로컬 게시 예외(GAP-REL-06)를 유지한다.
|
||||
>
|
||||
> Previous update: 2026-09-22 — **Gemma/Ollama 폭주 방어 계약을 기록했다.** 19:14:12 부팅 워밍업이 `keep_alive: 30m`으로 `gemma4:e4b`를 19:44:12까지 VRAM 3,226,342,521 bytes / context 4096으로 강제 상주시킨 것이 관측됐으며, 같은 시점 Windows GPU Engine PID 표본에는 Ollama의 활성 compute가 없었다. 즉 당시 상태는 무한 추론이 아니라 강제 residency였다. 19:11:17~19:11:58의 자동 제안 연속 생성은 기존 900 ms·12/min·5 candidates·128 tokens·한 글자 재생성 정책이 허용한 burst였다. 현재 구현 계약은 부팅 warmup 제거, `keep_alive: 2m`, 제안 600 ms / 최소 5 s 간격 / 기본 6회·hard max 12회 per min / 3 candidates / 64 tokens / 12-char growth / 8 s timeout, 그리고 요청별 취소·상한·종료 정리다. 독립 표적 검증은 6 test files / 69 tests passed / 0 failed, 변경 코드·테스트 ESLint와 `git diff --check`도 exit 0이다. Raw Ollama에서는 cold bounded 요청이 client hard timeout 15.044 s에 취소된 뒤 `/api/ps`가 비었고 `/api/version`은 80 ms에 회복했다. 명시 warmup은 HTTP 200 / 16.639 s, 후속 warm 요청은 body `options.num_predict=1`, `keep_alive='2m'`로 553 ms HTTP 200 / `done:true` / `eval_count:1` / `done_reason:length`였고 `/api/ps` expiry는 약 119.9 s였다. **19:48:59 +09:00에는 새 generate/unload/kill/retry 없이 충분히 지난 뒤 한 번의 `/api/ps`가 HTTP 200 / 45.8 ms / `{models:[]}`였고 `/api/version`은 HTTP 200 / 7.3 ms / `0.32.13`이었다.** 이는 raw API 수준의 expiry 뒤 unload 확인일 뿐 앱 재시작·GUI·실제 타이핑 증거는 아니므로 상태는 `[~]`로 유지한다 (`11` GAP-LLM-04, GAP-INPUT-06).
|
||||
>
|
||||
> Previous update: 2026-09-21 — **Input intelligence (입력 레메트리 + 다음 문장 제안) 신규**. 데스크톱에 입력 수집기(`InputTelemetryService`), UIA 컨텍스트 브리지(사이드카 `GET /uia/focus`), 제안 서비스(`SuggestionService`), 어렛 커 오버레이, 설정 > 입력 탭(동의·정책·주간 인사이트·개인 문구)을 추가했다. 카탈로그에 `INPUT-01`~`INPUT-08`(전부 데스크톱 `[~]` — 유닛 48건은 GREEN 이지만 **실앱 타이핑 검증 전**), 백로그에 GAP-INPUT-01~05 + GAP-LLM-03, §7 에 CONSTRAINT-INPUT-01(키 내용 미저장 — ActivityWatch 정책 채택)을 기록. 설계 근거는 조사 기반이다: 어렛은 `GetGUIThreadInfo` 가 아니라 UIA `TextPattern.GetSelection`(Chromium 은 `TextPattern2` 미구현), 타이핑 스트는 키코드 복원이 아니라 UIA 스냅샷 diff(한/일 IME 대응), 디바운스/토큰 한도는 인라인 컴플리션 실측값(Continue 350 / Tabby 250 / twinny 300 ms, 출력 64~256 토큰). 의존성: `koffi` 3.3.1(포그라운드 창 FFI), 사이드카 `uiautomation` 2.0.29 + `comtypes`. 데스크톱 유닛 총계 1409(+49), Electron ABI 실행에서 신규 실패 0건. 당시의 24.7초/4.9초 지연 설명과 `keep_alive: 30m`·부팅 워밍업 처방은 **현재 상태가 아닌 과거 가설/완화 이력**이며, 최신 운영 결론은 위 2026-09-22 항목과 `11` GAP-LLM-04를 따른다. 직전: LLM instruction-prompt fix (`9c2b4d4`): the custom-instruction path inserted the instruction's own wording instead of the processed result and had **never worked in any shipped release** (`v0.1.0-alpha`..`v1.4.0`, introduced `fea923d` 2026-04-05, not a regression). `llm-prompts.ts` is now the SSOT for prompt resolution and placeholder substitution, shared by `VoiceModeService` / `ChainService` / `LLM.PROCESS`. AI-04/05/06/07 are demoted to `[~]` on desktop — fixed with unit tests, but **not verified in a running app** and the four related `tests/red/*.usecase.test.ts` could not execute (`better-sqlite3` ABI). New: GAP-LLM-01 (no target-language setting), GAP-LLM-02 (this fix unverified); GAP-INFRA-06 amended (the ABI masks verification, not just dev-env switching cost); GAP-I18N-01 amended (`popup.error.default` missing in 10 locales). Earlier the same day: CAP-16 (desktop key bindings rebuilt on one `@d3ro/core/keybinding` SSOT — multiple bindings per action, mouse buttons, `HOTKEY` → `KEYBINDING` IPC group), verified on Windows by a manual run, so CAP-16 and CAP-02 are `[x]` and GAP-KEY-01 is closed. Still open: GAP-KEY-02/03, GAP-QA-02, GAP-I18N-01/02, GAP-INFRA-06, GAP-LLM-01/02, GAP-INPUT-01~05; `11` §7 holds accepted design constraints (things deliberately kept, not gaps)
|
||||
> Scope: entire monorepo `D:/workspace/D3ROVoice` at product version `1.9.0` (`release/product-version.json`, released 2026-09-27)
|
||||
> Scope: entire monorepo `D:/workspace/D3ROVoice` at product version `1.11.0` (`release/product-version.json`, released 2026-10-27)
|
||||
> Purpose: let any agent (or human) answer two questions in under a minute:
|
||||
> 1. **What infrastructure exists?** (build, CI, services, APIs, data, packages, deploy)
|
||||
> 2. **How far is each feature developed?** (per surface, with file anchors and status)
|
||||
|
|
|
|||
|
|
@ -18,6 +18,7 @@ The canonical place for types and cross-surface logic. Both desktop and web/mobi
|
|||
| IPC channels | `./ipc-channels` | `IPC_CHANNELS` object + `IPCChannel` union. **SSOT** for every desktop IPC channel (VOICE, AUDIO, STT, TTS, LLM, KEYBINDING, CONFIG, HISTORY, UNIFIED_SEARCH, DICTIONARY, WINDOW, SYSTEM, STATS, MEMO, VOICE_COMMAND, CONTEXT, CHAIN, CAPTION, FILE_TRANSCRIPTION, MEETING_SUMMARY, DICTATION_TEMPLATE, VOICE_CONVERSATION, RAG, VOICE_ACTION, MEETING_MODE, MEETING_DOC_TEMPLATE, MEETING_CHAT, LICENSE, CLOUD_SYNC, INSTRUCTION, SYSTEM_AUDIO, POPUP_RESULT, POPUP_HISTORY, POPUP_COMMAND, POPUP_CAPTION, VOICE_PARTIAL, CLIPBOARD, APP, ONLINE_AUTH, ADS, SUPPORT, INPUT_TELEMETRY, SUGGESTION, POPUP_SUGGESTION) |
|
||||
| Key bindings | `./keybinding` | **SSOT** for every global shortcut in the app: `KeyBinding` (`device`/`code`/`ctrl`/`alt`/`shift`/`meta`), `KEY_CATALOG` (10 selectable groups incl. mouse), `KEYBINDING_ACTIONS` (9 rebindable actions incl. the three suggestion actions), `bindingKey`/`normalizeBinding`/`validateBinding`/`detectBindingConflicts`/`formatBindingSegments`/`searchKeyCatalog`/`parseBindingMap`. Persisted as `AppConfig.keyBindings`. i18n keys are exposed as plain `string` so core stays independent of `@d3ro/i18n`; consumers narrow at the boundary (`asTranslationKey`) and a contract test guards the keys — accepted constraint, `11` §7 CONSTRAINT-I18N-01. Tests: `__tests__/keybinding*.test.ts` via `vitest.config.ts` (`npm run test --workspace=@d3ro/core`), 117 cases as of 2026-09-21 |
|
||||
| Input intelligence | `./input-intelligence` | **SSOT** for the input-telemetry and next-sentence-suggestion domain (added 2026-09-21): key classification (`classifyKeyStroke`), text metrics (`countWords`/`countSentences`/`endsSentence`/`textBeforeCaret`), `computeTypedDelta` (UIA snapshot diff — the IME-safe way to count typed text), `decideSuggestion` + `isAppExcluded` (when to request / skip / clear), `parseSuggestionCandidates`/`sanitizeSuggestionLine` (prompt-leak and prefix-echo defence), `anchorFloatingPanel` (caret-anchored overlay placement), `mergeActivityBucket`/`summarizeActivity`/`pixelsToMeters`, `extractPhrases`/`selectPhraseHints`, `INPUT_TELEMETRY_DEFAULTS`/`SUGGESTION_DEFAULTS` |
|
||||
| Typo correction & Araso layout | `./typo-correction`, `./araso-layout` | **SSOT** for built-in automatic Han/Eng conversion and typo auto-correction (upgraded 2026-10-26): 2-set Korean/English layout conversion (`engToHangul`/`hangulToEng`), lingering Shift normalization (`normalizeLingeringShift`/`lingersAfterKoreanShift`), mixed-word splitting with Korean particle batchim agreement (`splitMixedWord`/`particleAgrees`), reverse Hangul-to-English/mixed restoration, URL/path/email run protection (`isUrlOrPathRun`), deterministic spelling & jamo-noise rules (`detectTypos`/`detectJamoNoise`), and LLM typo validation (`validateModelCorrections`). |
|
||||
| Constants | `./constants` | Shared constants |
|
||||
| Crypto license | `./utils/crypto-license` | Ed25519 license sign/verify (used by admin issuer + desktop verifier) |
|
||||
| PII | `pii-redactor`, `secure-memory` | Redaction + secure memory helpers |
|
||||
|
|
|
|||
|
|
@ -83,12 +83,13 @@ Singleton + `EventEmitter` pattern (`getXService()` accessors).
|
|||
### Input intelligence (2026-09-21; Local Flow Intelligence extension 2026-09-22)
|
||||
| Service / file | Purpose |
|
||||
|---|---|
|
||||
| `InputTelemetryService` | Global input telemetry: keystroke/click/scroll counters, mouse travel (Manhattan sum of per-axis deltas), active time, per-hour-per-app buckets flushed every 5 s; typed-text learning via UIA snapshot diffs. It extends the existing telemetry store with Flow Radar (hourly activity density + chars + edit stability; a potential-focus score, **not** a real session), Edit Friction (chars/backspaces; edits per 100 chars), App Quality (per-app suggestion total/accepted/accept rate/average latency), Privacy Receipt (actual row counts and retention), and Smart Exclusion evidence. Raw key events, key codes and content streams are never retained; separately, opt-in learned text may be retained in `typing_samples` and `personal_phrases` under the stated receipt policy. Consent is opt-in (`inputTelemetryEnabled`, `inputLearnTypedText`). |
|
||||
| `InputTelemetryService` | Global input telemetry and context observer: keystroke/click/scroll counters, mouse travel (Manhattan sum of per-axis deltas), active time, per-hour-per-app buckets flushed every 5 s; typed-text learning via UIA snapshot diffs. **Since 2026-10-26**, the UIA context observer runs by default whenever `typoAutoCorrectEnabled !== false` (or `suggestionEnabled === true`), while SQLite `input_activity` persistence only runs when `inputTelemetryEnabled === true` (opt-in). **Since 2026-10-27**, includes `TerminalKeystrokeTracker` (`@d3ro/core/input-intelligence`) + `isForegroundKoreanIme` (`utils/win32-foreground.ts`) to reconstruct the active terminal/Vim line (`reconcileWithScreen` for UIA screen buffers like Windows Terminal/pwsh/cmd, `reconcileWithXtermValue` for `xterm.js` `<textarea class="xterm-helper-textarea">` controls in Agent Switchboard/VS Code/Cursor where `.value` stays populated until Enter/Ctrl+C, and `getSnapshot` for canvas/remote terminals with `len=0` like Kitedesk/WezTerm/Alacritty), preserving trailing spaces stripped by grid terminals and tracking Vim modes (`insert`, `normal`, `command`). Programmatic keys (`_programmaticKeys`) no longer advance `_lastKeyAt`, and `Enter`-triggered chat submissions that clear or shrink the input field rebase focus text immediately so cleared/toolbar text does not trigger post-send suggestions. It extends the telemetry store with Flow Radar (hourly activity density + chars + edit stability; a potential-focus score, **not** a real session), Edit Friction (chars/backspaces; edits per 100 chars), App Quality (per-app suggestion total/accepted/accept rate/average latency), Privacy Receipt (actual row counts and retention), and Smart Exclusion evidence. Raw key events, key codes and content streams are never retained; separately, opt-in learned text may be retained in `typing_samples` and `personal_phrases` under the stated receipt policy. |
|
||||
| `TypoCorrectionService` | Built-in automatic Han/Eng layout conversion and typo auto-correction (`INPUT-19`). Runs on each `typed-context`: Araso-style layout conversions (`source: 'layout'`) fire after 25 ms on word boundaries (Space/punctuation, 40 ms quick snapshot) or 135 ms at token tail (150 ms quick snapshot, even when Chromium/Discord keeps `isComposing=true`, committing IME composition first only when the trailing character is Hangul/jamo), replacing 2-set Han/Eng layout errors, mixed English+Korean words (`githubdp`→`github에`, `PDFvkdlf`→`PDF파일`, `ㅖㅇㄹ파일`→`PDF파일`), lingering Shift on double consonants (`djEJs`→`어떤`), reverse Hangul-to-English (`ㅎ샤ㅗㅕㅠ에`→`github에`, `ㅑㄹ ㅑ 쇼ㅔㄷ ㅗ디ㅣㅐ 소두 ㅑㅅ 초뭏ㄷㄴ ㅑㅜ 10 ㄴㄷ채ㅜㅇㄴ`→`if I type hello then it changes in 10 seconds`), and partially-converted tokens (`안녕gktpdy`→`안녕하세요`). **In terminals and Vim (`terminalMode: true`)**, layout-only conversion stays active while spelling/model checks are suppressed: converts CLI commands (`퍄ㅡ `→`vim `, `ㅜ퍄ㅡ `→`nvim `, `ㅎ샤 `→`git `, `ㅣㄴ `→`ls `, `채ㅜㄴㅅ `→`const `), Vim Insert-mode typing (stripping leading `i/a/o/I/A/O/s/S` mode-entry keys when present in raw keystroke buffers), and Vim Command-line ex-commands (`:ㅈㅂ`→`:wq`, `:ㅈㅂ!`→`:wq!`, `:ㅈ`→`:w`, `:ㅂ`→`:q`, `:ㅂ!`→`:q!`, `:ㅌ`→`:x`, `:ㅍ네`→`:vsp`, `:네`→`:sp`, `:ㅜㅐㅗ`→`:noh`, preserving `:`), while blocking all conversions in Vim Normal mode (`vimMode === 'normal'`). On Windows, `replaceBeforeCaret` uses `SendInput(KEYEVENTF_UNICODE)` (`utils/win32-unicode-input.ts`) instead of `Ctrl+V` so it never touches the user's clipboard or collides with `ClipboardSvcGroup` `OpenClipboard` locks. Deterministic/model spelling fixes run after a 600 ms pause. When `SuggestionService` is enabled, `handleTypingContext(context, { layoutOnly: true })` still auto-converts layout mistypes immediately in-place while `propose()` surfaces spelling/model fixes inside the suggestion popup (`INPUT-22`). |
|
||||
| `UiaContextService` | Client for the sidecar UIA bridge (`GET /uia/focus`): focused text, caret rect/offset, `IsPassword`, IME composition state and `hasSelection`. The sidecar derives `hasSelection` only by comparing the TextPattern selection range Start/End endpoints: it does not call `GetText` on that range or add a separate selected-text payload (the existing focused-field text can still include a selection). Fail-closed on password/unavailable; transient failures back off for 1.5/3/6/12/30 s and permanent failures for 5 min. |
|
||||
| `SuggestionService` | Next-sentence ghost text: 600 ms debounce, then `buildSuggestionPrompt` → `LocalLLMService.streamGenerate` with a caller-owned `AbortSignal` → candidate ranking and accept (via `TextInsertService`). Presentation-active includes candidates plus `generating`, `warmingUp` and `partialText`; clear/dismiss aborts the active request, invalidates its generation token, clears TTL state, then emits `cleared`/hide so a spinner-only popup closes. A successful final candidate payload resets `generating=false` and `partialText=null`. App DNA extends phrase ranking with `appName` context and a 1.75× same-app bonus; Memory Decay uses a 30-day half-life plus frequency. Why This Suggestion exposes only `local-model`/`local-memory` provenance and continuation/related/phrase/appPhrase **counts** to the overlay, never raw evidence text. Instant Recall uses local-memory provenance without another model-budget spend only when the model is unavailable, raises a non-cancellation error, truly times out, or returns empty; it never publishes after dismiss, new typing, token/context mismatch or staleness. Its runaway limits are a 5 s minimum interval, 6 requests/min default (hard-config maximum 12), 3 candidates, 64 output tokens, 12-character regeneration growth and an 8 s timeout; app startup does not warm the model and suggestion requests use `keep_alive: 2m`. |
|
||||
| `global-input-hook.ts` | Ref-counted owner of the single process-wide `uiohook` hook so `KeyBindingService` and telemetry can both attach without one stopping the other. |
|
||||
| `utils/win32-foreground.ts` | Foreground window title/pid/exe/bounds via `koffi` FFI into user32/kernel32 (chosen over `get-windows`, which needs an install script this repo does not run). |
|
||||
| `sidecar/uia_bridge.py` | Windows UIA snapshot (`uiautomation` 2.0.29, comtypes) on a dedicated COM-initialised thread with a 1.5 s budget; never walks the UIA tree (Chrome/VS Code tree walks take 10-30 s). Warm calls measure 0-15 ms. |
|
||||
| `utils/win32-foreground.ts` | Foreground window title/pid/exe/bounds and active thread Korean IME state (`isForegroundKoreanIme` via `GetGUIThreadInfo` + `ImmGetDefaultIMEWnd` + `SendMessageTimeoutW(WM_IME_CONTROL)`) via `koffi` FFI into user32/kernel32/imm32 (chosen over `get-windows`, which needs an install script this repo does not run). |
|
||||
| `sidecar/uia_bridge.py` | Windows UIA snapshot (`uiautomation` 2.0.29, comtypes) on a dedicated COM-initialised thread with a 1.5 s budget; never walks the UIA tree (Chrome/VS Code tree walks take 10-30 s). Uses `GetVisibleRanges()` / tail slicing `[-MAX_TEXT_CHARS:]` for large terminal scrollback buffers and `ExpandToEnclosingUnit(..., waitTime=0)` to avoid `uiautomation.py`'s default 500 ms sleep on Windows Terminal. Warm calls measure 0-15 ms. |
|
||||
|
||||
The existing `input-telemetry-handlers` and `suggestion-handlers` IPC extensions expose the receipt and the flow/suggestion summaries. Receipt reads or deletes report an IPC error when storage access fails; they do not return invented counts or claim a purge succeeded. The receipt is local-only: `input_activity`, `typing_samples`, and `suggestions` retain 30 days; `personal_phrases` has no age-based automatic expiry and is removed by individual deletion, delete-all, or consent withdrawal. Smart Exclusion never records password evidence and recommends only the current app after at least four observations, zero readable results, and a problematic ratio of at least 75%; its one-click action adds an exclusion and never auto-excludes. Shortcut Safety Audit is core `auditKeyBindingMap` applied by the Settings UI; it surfaces invalid/conflict issues while preserving the existing hold/double-press exceptions.
|
||||
|
||||
|
|
|
|||
File diff suppressed because one or more lines are too long
|
|
@ -50,6 +50,8 @@ Legend: `[ ]` open · `[~]` in progress · `[!]` blocked externally · `[x]` res
|
|||
| GAP-REL-12 | Release | Forgejo generic registry는 파일 단위 덮어쓰기를 거부(HTTP 409)하는데, portable 게시 스크립트의 "동일 파일 건너뛰기"가 1MiB 초과 파일을 **크기만** 비교했다. 그래서 새 runtime의 sidecar 볼륨 `.001`이 이전 볼륨과 정확히 같은 94,371,840 bytes였고, 내용이 다른데도 "동일"로 오판해 `runtime-latest`가 낡은 `.001` + 새 `.002`로 갈라졌다(다운로드 시 손상). | `scripts/ci/publish-portable-release.mjs` | `[x]` 2026-09-23: 파일 목록 API(`GET /api/v1/packages/{owner}/generic/{name}/{version}/files`)의 sha256으로 정확히 비교하고, 내용이 다른 파일이 하나라도 있으면 해당 별칭 버전 전체를 삭제 후 재업로드하도록 수정했다. 이미 발생한 `runtime-latest`는 버전을 지우고 재게시해 4개 파일 모두 로컬 해시와 일치함을 확인했다. |
|
||||
| GAP-REL-02 | Release | Windows stable publication needs an external public-trust Authenticode PFX, its password, the exact signer subject, and a Forgejo token, none of which live in the repository. | `.forgejo/workflows/release.yml`, `.gitlab-ci.yml`, `scripts/ci/set-forgejo-secrets.mjs`, `scripts/ci/verify-windows-release-artifact.ps1` | `[!]` 2026-09-18 measured: the Forgejo repo had **zero** Actions secrets; `FORGEJO_TOKEN` is registered now (2026-09-18) but `WIN_CSC_*` still have no values, so `v1.2.0` (run 49) and `v1.3.0` (run 51) both failed at the signing guard and **no updater-feed release has been published since `1.1.0`**. Inject the four secrets (`WIN_CSC_LINK`, `WIN_CSC_KEY_PASSWORD`, `WIN_CSC_EXPECTED_SIGNER_SUBJECT`, `FORGEJO_TOKEN`) with `npm run release:secrets` (check: `npm run release:secrets:check`), then re-run `release.yml` for the `v1.3.0` tag via `workflow_dispatch` (tags are immutable). **2026-09-19 정정**: CI 서명 게이트는 여전히 막혀 있지만, updater feed에는 `1.3.2`~`1.3.7`이 로컬 `release:updater` 경로로 게시되어 있다(GAP-REL-06). **2026-09-23 정정**: `1.4.0`은 게시되지 않았고(GAP-REL-06), `1.5.0`도 로컬 무서명 경로로 게시했다. CI 서명 게이트는 여전히 `WIN_CSC_*` 부재로 막혀 있다(GAP-REL-10의 Python 선행 문제와 별개). **2026-10-17 `[~]`**: Authenticode 는 더 이상 게시 차단 조건이 아니다 — 무서명 설치본은 Ed25519 서명 `latest.yml` 로 보호하고(GAP-REL-13), `release.yml` 은 `WIN_CSC_*` 가 있으면 서명만 추가한다. 남은 것은 SmartScreen 평판용 인증서(한국 개인은 Azure Artifact Signing 불가, 사업자 필요). |
|
||||
| GAP-REL-13 | Release | **9-27 v1.9.0 이후 3주간 업데이트 0건(커밋 83개 미배포).** 앱 업데이터는 정상(4시간마다 확인, 피드 200)이었지만 게시가 손으로 5~6단계라 아무도 돌리지 않으면 안 나갔고, CI 경로는 서명 가드로 늘 실패했다. 게시 스크립트도 4벌(forgejo·updater·portable·gitlab)로 겹쳐 있었다. | `scripts/ci/release-desktop.mjs`, `scripts/ci/build-desktop-installer.mjs`, `scripts/ci/publish-forgejo-release.mjs`, `scripts/ci/lib/update-manifest-signature.mjs`, `apps/desktop/src/main/update-signature.ts`, `apps/desktop/src/main/services/update-adapters.ts`, `.forgejo/workflows/release.yml` | `[~]` 2026-10-17: `npm run release -- patch|minor` 한 줄(점검→버전→게이트→커밋·태그→빌드→서명·게시→공개 URL 재검증→푸시, `--resume`). latest.yml Ed25519 서명 + 앱이 NsisUpdater `verifySignature` 단계에서 불변 `<version>/latest.yml`+`.sig` 로 설치본 sha512 검증(fail-closed). electron-updater 6.8.9→6.8.10(차분 다운로드 수정). `publish-updater-release.mjs`·`publish-gitlab-release.mjs`·`LEGACY_UPDATE_FEED_URL` 삭제. CI 는 같은 스크립트를 쓰는 예비 경로(피드에 있으면 건너뜀). 검증: 업데이트 테스트 95/95, release:metadata 음성 16, typecheck 0, 게시 --check 자산 4개, 서명 왕복. **남은 것**: 첫 실제 릴리스(1.10.0) 게시 + 1.9.0 설치본→1.10.0 자동 업데이트 E2E, Forgejo 시크릿 `D3RO_UPDATE_SIGNING_KEY` 동기화(`npm run release:secrets`). |
|
||||
| GAP-REL-14 | Release | **Forgejo 소스 태그가 릴리스 커밋이 아닌 push 전 원격 main 을 가리킨다.** `publish-forgejo-release.mjs` 가 `target_commitish: "main"` 으로 Release 를 먼저 만들고, `release-desktop.mjs` 는 그 뒤에 `git push chanpaca main <tag>` 를 한다. 그래서 Forgejo 가 당시 원격 main(이전 커밋)에 태그를 새로 만들고, 로컬 annotated 태그 push 는 `already exists` 로 거부된다. v1.10.0(d63854d ≠ f3018f3)과 v1.10.1(11e023d ≠ 1da04b9) 모두 해당. 설치 파일·latest.yml·서명은 로컬 릴리스 커밋에서 빌드돼 정상이고, 틀린 것은 Forgejo 의 소스 태그뿐이다(GitLab origin 태그는 정상). 태그는 불변 규칙이라 옮기지 않는다. 해결 방향: 게시 전에 main+태그를 먼저 push 하되, 태그 push 로 도는 CI 백업 경로와 경합하지 않게 한다. | `scripts/ci/release-desktop.mjs:132-142`, `scripts/ci/publish-forgejo-release.mjs:446-447` | `[ ]` 2026-10-24 발견 |
|
||||
| GAP-REL-15 | Release | **The desktop `typecheck` gate checks nothing.** `apps/desktop/tsconfig.json` is `files: []` + project references, and `npm run typecheck` runs plain `tsc --noEmit` (not `-b`), so the release gate passes without type-checking a single file. Running `-p tsconfig.node.json` directly finds 11 real errors that have been shipping: `ipc/support-handlers.ts` (8: removed STTManager methods, stale SupportTicket and RefundEligibilityResult fields), `KeyBindingService.ts` (2: powerMonitor overloads) and `text-insert/nut-keyboard-port.ts` (1). The renderer project (`tsconfig.web.json`) is clean. Fix: make the script check both projects (filtering or fixing the TS6059/TS6307 rootDir noise from packages/*), then fix the 11 errors. | `apps/desktop/package.json` typecheck, `apps/desktop/tsconfig*.json` | `[ ]` found 2026-10-24 |
|
||||
| GAP-REL-06 | Release | 서명 인증서가 없어 stable(`latest`) 채널에 **무서명** 설치본을 게시했다. electron-updater는 `app-update.yml`에 `publisherName`이 없으면 서명 검증을 건너뛰므로 설치는 동작하지만, SmartScreen 평판은 버전마다 0부터 시작한다. | `scripts/ci/publish-forgejo-release.mjs`, `release/update-policy.json`, `.forgejo/workflows/release.yml` | `[~]` 2026-10-17: 무서명 게시가 정식 경로가 됐다 — `--ack-unsigned` 예외 대신 latest.yml Ed25519 서명 + 앱 검증(GAP-REL-13). SmartScreen 평판 문제만 남음. 이력: 2026-09-18: `1.3.2`를 `--ack-unsigned`(명시적 승인 플래그)로 게시. **2026-09-19: `1.3.7`도 같은 경로로 게시**(`npm run release:updater -- --ack-unsigned`, 설치본 90.6MiB, `latest.yml`=1.3.7, 설치본 sha512가 피드 메타데이터와 일치). 인증서 확보 시 더 높은 버전으로 서명 게시하여 대체하고, 이 예외를 제거한다. **2026-09-23: `1.5.0`도 같은 경로로 게시**(`npm run release:updater -- --build --ack-unsigned`, 설치본 91.2MiB, `latest.yml`=1.5.0, sha512 검증). |
|
||||
| GAP-REL-07 | Release | 패키징된 `better-sqlite3`가 호스트 Node ABI여서 `1.3.2` 설치본이 시작 즉시 죽었다(NODE_MODULE_VERSION 131 vs 130). 원인: 로컬 `npm install`이 네이티브 모듈을 Node용으로 재빌드했고 패키징이 재빌드를 건너었다. | `scripts/ci/verify-native-abi.mjs`, `scripts/ci/fix-native-abi.mjs`, `.gitlab-ci.yml`/`.forgejo`/`.github` 패키징 단계 | `[x]` 2026-09-18: 패키징 후 Electron ABI를 검증하고, 검증된 트리에서만 설치본을 생성(`--prepackaged`)한다. `1.3.3`은 설치본에서 추출한 바이너리로 재검증 GREEN. |
|
||||
| GAP-ADS-01 | Ads | 9 of 10 desktop ad adapters still extend `UnavailableAdAdapter` (`provider_not_integrated`). | `apps/desktop/src/main/services/ads/*` | `[~]` 2026-09-13: `DirectHouseSponsorAdapter` is now a real configurable REST adapter (bid/impression/click/reward via `endpointUrl`; fail-closed when unconfigured; 22 unit tests GREEN). Remaining 9 need official SDKs/authenticated endpoints. |
|
||||
|
|
@ -103,7 +105,7 @@ Legend: `[ ]` open · `[~]` in progress · `[!]` blocked externally · `[x]` res
|
|||
| GAP-PERF-01 | Memory | `[~]` **2026-10-11 PC 전체 멈춤 = 누수가 아니라 모델 상주 정책.** HEAD 로컬 빌드 실측: 앱 기동 20초 만에 커밋 34.2→52.3 GB, 여유 RAM 7.9 GB→32 MB. 내역은 llama-server(gemma4:e4b) 11.4 GB(`CUDA_Host` pinned 5.9 GB + mmproj 1.1 GB, Ollama 가 Windows CUDA 에서 mmap 을 끈다), Whisper 사이드카(large-v3) 5.8 GB, Electron 8프로세스 약 400 MB(6분간 평탄). 실시간 자막의 보조 모델(large-v3-turbo)은 VRAM 11.8/12 GB 상태에서 로딩에 100.5 s 가 걸려 첫 전사가 타임아웃됐다. 부팅 워밍업·30m 상주는 9/22 에 한 번 제거됐다가 콜드 로딩 UX 때문에 되돌아온 이력이 있다(GAP-LLM-04, GAP-INPUT-06). | `services/llm/model-residency.ts`, `LocalLLMService.ts`, `SuggestionService.ts`, `bootstrap.ts`, `sidecar/main.py`(`/unload`), `LocalSTTService.releaseAuxModel`, `CaptionService.stop`, `VoiceModeService`(`tailAudio`), `VoiceConversationService`(5분 상한), `ipc/audio-handlers.ts`(세대 가드), `CloudSyncService.startRealtime`(단일 실행 + `removeChannel`), `MeetingModeService._saveWav` | 수정 완료(데스크톱 vitest 2545 passed): keep_alive 10m 단일화·부팅 워밍업 제거·종료 시 언로드·자막 종료 시 보조 STT 모델 언로드·부분 전사 끝부분만 복사·음성 대화 듣기 버퍼 5분 상한·마이크 테스트 재진입 고아 방지·Realtime 바인딩 중복 방지·회의 WAV 저장 concat 제거. **남은 일:** (1) 사이드카 재빌드 전까지 설치본 `sidecar.exe` 엔 `/unload` 가 없어 언로드가 HTTP 404 로 조용히 실패한다, (2) 기본 모델을 텍스트 전용 소형 모델로 바꾸거나 제안 전용으로 분리할지 결정(가장 큰 절감, 품질 확인 필요), (3) primary Whisper idle 언로드, (4) 회의 PCM 을 메모리 대신 디스크로 스트리밍(시간당 115 MB 상주), (5) 받아쓰기 녹음 길이 상한(UX 결정 필요), (6) 수정 후 앱 재시작·자막·타이핑 실측. |
|
||||
| GAP-LLM-04 | LLM | `[~]` **Gemma/Ollama residency·burst·unbounded chat root cause (2026-09-22).** 19:14:12 boot warmup의 `keep_alive: 30m`가 `gemma4:e4b`를 expiry 19:44:12까지 VRAM 3,226,342,521 bytes / context 4096으로 상주시켰다. Windows GPU Engine PID 표본에는 활성 Ollama compute가 없어 무한 추론이 아니라 강제 residency였다. 19:11:17–19:11:58 자동 제안 반복은 기존 900 ms / 12 per min / 5 candidates / 128 tokens / 1-char growth가 허용한 burst였다. 위험 경로는 chat의 무제한 `num_predict`(Ollama 기본 `-1`), timeout·외부 abort 부재, 공유 취소, `done` 없는 EOF 성공, voice cancel 미전파, watchdog의 비취소였다. | `apps/desktop/src/main/services/{LocalLLMService,SuggestionService,VoiceConversationService}.ts`, Ollama `/api/ps` and Windows GPU Engine observations | 구현 계약: boot warmup 제거, suggestion `keep_alive: 2m`; 600 ms debounce / 5 s interval / 6 per min (hard max 12) / 3 candidates / 64 tokens / 12-char growth / 8 s timeout; 요청별 cancellation, bounded requests, done/cleanup, voice single-flight, spawn/poll dedupe와 dispose. Raw Ollama 증거: cold bounded 요청은 client hard timeout 15.044 s에 취소된 뒤 `/api/ps` empty와 `/api/version` 80 ms 회복을 보였고, explicit warmup HTTP 200은 16.639 s, 후속 `num_predict=1` / `keep_alive='2m'` 요청은 553 ms HTTP 200 / `done:true` / `eval_count:1` / `response=OK` / `done_reason:length`였으며 `/api/ps` expiry는 약 119.9 s였다. 이어 19:48:59 +09:00에는 새 generate/unload/kill/retry 없이 충분히 지난 뒤 단일 `/api/ps`가 HTTP 200 / 45.8 ms / `{models:[]}`였고 `/api/version`은 HTTP 200 / 7.3 ms / `0.32.13`이었다. 이는 raw API 수준의 expiry 뒤 unload 확인이다. **남은 조건:** 앱 재시작·GUI·실제 자동제안 타이핑 증거는 아니므로 그 경로에서 rate limit, timeout/cancel, 2분 residency를 확인한다. |
|
||||
| GAP-INPUT-06 | Input intelligence | `[~]` **제안 폭주 상한 및 runtime 확인.** 이전 24.7 s / 4.9 s, boot warmup, `keep_alive: 30m`, 48/96/128 tokens 및 2/5 candidates 기록은 역사적 가설/완화 이력이며 현재 정책이 아니다. 현 정책은 600 ms debounce, 5 s minimum interval, 6 requests/min default (hard max 12), 3 candidates, 64 output tokens, 12-character growth, 8 s timeout, `keep_alive: 2m` 및 boot warmup 제거다. | `apps/desktop/src/main/services/SuggestionService.ts`, `packages/core/src/input-intelligence.ts`, `LocalLLMService.ts` | 표적 자동 검증은 6 files / 69 passed / 0 failed이며 raw Ollama의 15.044 s cold timeout cleanup, 약 119.9 s residency expiry, 그리고 19:48:59 +09:00에 새 generate/unload/kill/retry 없이 확인한 `/api/ps` HTTP 200 / 45.8 ms / `{models:[]}` (`/api/version` HTTP 200 / 7.3 ms / `0.32.13`)도 확인됐다. 전체 strict typecheck는 green이 아니며, 이 raw API unload 증거는 앱 재시작·GUI·실제 자동제안 타이핑 검증이 아니다. 그 경로에서 rate limit, 8 s abort, 3-candidate/64-token 상한을 확인한다. |
|
||||
| GAP-INPUT-08 | Input intelligence | `[~]` **오타 자동 교정(INPUT-19)·문맥 제안(INPUT-20) 실앱 확인 (2026-10-03).** 자동 테스트와 실제 `gemma4:e4b` 프롬프트 프로브는 통과했지만, 외부 앱에서 "백스페이스 N + 붙여넣기" 교체가 정확히 동작하는지는 GUI 로 확인하지 않았다. | `apps/desktop/src/main/services/{TypoCorrectionService,SuggestionService,PersonalGraphService,TextInsertService}.ts`, `packages/core/src/{typo-correction,writing-context,personal-graph}.ts` | `run-desktop.bat` 재시작 후 메모장·카톡·크롬 입력창에서: (1) `됬어요 ` 치고 멈추면 `됐어요 ` 로 바뀌는지, (2) 한글 문장 중 `dkssudgktpdy` 가 `안녕하세요` 로 바뀌는지, (3) 교체 도중 계속 치면 교체가 취소되고 글이 섞이지 않는지, (4) 고친 단어를 원래대로 되돌리면 다시 고치지 않는지, (5) 앱마다 백스페이스 한 번이 한 글자를 지우는지(리치 에디터·웹 에디터), (6) 교정 뒤 제안이 고친 문장 기준으로 뜨는지. 문제가 있는 앱은 제외 목록 또는 앱별 차단 규칙으로 다룬다. |
|
||||
| GAP-INPUT-08 | Input intelligence | `[x]` **오타 자동 교정(INPUT-19) 일반 앱(8/8) + 터미널·Vim(6/6) 실앱 E2E 검증 및 xterm.js(`Agent Switchboard`) 재교정 루프 수정 완료 (2026-10-27); 문맥 제안(INPUT-20)은 GAP-INPUT-09 에서 추적.** 2026-10-26 에 `packages/core/src/araso-layout.ts` 및 `typo-correction.ts` 로 한영 혼합어(`githubdp`→`github에`, `PDFvkdlf`→`PDF파일`, `ㅖㅇㄹ파일`→`PDF파일`, `Reactzjavhsjsxm`→`React컴포넌트`), 쌍자음 잔여 Shift(`djEJs`→`어떤`, `qkRNjTdj`→`바꿨어`), 한→영 역변환(`ㅎ샤ㅗㅕㅠ에`→`github에`, `ㅑㄹ ㅑ 쇼ㅔㄷ ㅗ디ㅣㅐ 소두 ㅑㅅ 초뭏ㄷㄴ ㅑㅜ 10 ㄴㄷ채ㅜㅇㄴ`→`if I type hello then it changes in 10 seconds`), 문장 문맥 한영 전환(`Stay hungry, stay foolishsms wkqtmdml akfdlek.`), URL/경로 보호를 추가하고, 통계 수집 동의(`inputTelemetryEnabled`) 없이도 기본 기능으로 동작하도록 배선했다. 이어서 실제 Windows 인터랙티브 데스크톱(`WinSta0\Default`)에서 WinForms 테스트 창(`E2ETestBox.exe`)과 실행 중인 `D3RO Voice` 로 실제 `SendInput` 키 입력 E2E 를 수행해 4가지 실환경 결함을 잡고 검증했다: (1) `.bat` 래퍼(`cmd.exe` CUI)로 띄울 때 `uiohook` 이 인터랙티브 키 이벤트를 받지 못하던 문제를 `electron.exe` GUI 직접 실행으로 해결, (2) `_watchRevert` 가 새 문장에서 같은 오타(`ㅗ디ㅣㅐ`)를 다시 쳤을 때 되돌림으로 오인해 `typoIgnoredWords` 에 영구 등록하던 결함을 `prefixBefore`/`windowHandle`/낱자 차단으로 해결, (3) 한글 IME 상태에서 `ㅖㅇㄹ파일`(Shift+PDF + 파일) 입력 시 `PDF파일` 변환 추가, (4) `Ctrl+V` 클립보드 붙여넣기가 Windows `ClipboardSvcGroup`(`WM_CLIPBOARDUPDATE`)의 `OpenClipboard` 잠금과 충돌해 간헐적으로 누락되던 결함을 `SendInput(KEYEVENTF_UNICODE)` 직접 유니코드 타이핑(`apps/desktop/src/main/utils/win32-unicode-input.ts`)으로 해결. **2026-10-27 터미널·Vim·xterm.js 지원 확장 및 라이브 E2E 검증:** (5) Windows Terminal 등 모든 터미널·개발 표면에서 일반 철자/모델 교정만 막고 한영 자판 전환(`layoutOnly: true`)은 허용, (6) `uia_bridge.py` 가 터미널 스크롤백 상단 대신 `GetVisibleRanges()` 하단 뷰포트를 읽고 `ExpandToEnclosingUnit(waitTime=0)` 으로 500ms 지연을 제거, (7) `TerminalKeystrokeTracker` + `extractTerminalActiveContext` + `isForegroundKoreanIme` 로 다중 줄 Vim 버퍼(`-- INSERT --` 상단 줄 편집)·캔버스 터미널(`len=0`)·Vim 노멀 모드 교정 차단·명령줄 모드(`:ㅈㅂ`→`:wq`, `:ㅂ!`→`:q!`)·입력 모드 진입 키(`i/a/o/s`) 분리를 구현, (8) `Agent Switchboard` 등의 xterm.js `<textarea class="xterm-helper-textarea">` 가 Enter/Ctrl+C 전까지 `.value` 를 비우지 않아 `ㅗ디ㅣㅐ재깅 `→`hello재깅 ` 교정 시 400ms 마다 `'h'` 가 누적되던 문제를 `isXtermHelperControl` + `reconcileWithXtermValue` + `재깅`→`world` + 교정 성공 후 `_lastCheckedRegion` 보존 + 프로그램 키 `_lastKeyAt` 미갱신으로 해결, (9) 채팅창 Enter 전송 직후 툴바 문구(`"탭 추가 @ 기호"`)에 제안이 뜨고 `gemma4:e4b` 가 프롬프트 지시문(`"검색어입니다."`, `"키워드 몇 개로만 짧게 이어 쓰세요."`)을 되풀이하던 문제를 `clearedByEnter` 기준선 재설정 + `INSTRUCTION_ECHO_PATTERN` 확장으로 해결. | `apps/desktop/src/main/services/{TypoCorrectionService,TextInsertService,InputTelemetryService}.ts`, `apps/desktop/src/main/utils/{win32-unicode-input,win32-foreground}.ts`, `apps/desktop/sidecar/uia_bridge.py`, `packages/core/src/{araso-layout,typo-correction,terminal-prompt,suggestion-text}.ts` | `[x]` 2026-10-26 일반 앱 GUI E2E(`E2ETestBox.exe`, 8/8 시나리오 전수 통과, 91~509ms) + **2026-10-27 터미널·Vim GUI E2E(`neovide.exe` PID + `D3RO Voice` PID 90844, 6/6 시나리오 전수 통과):** Vim INSERT 모드 `dkssudgktpdy `→`안녕하세요 `(197ms), Vim 명령줄 `:ㅈㅂ`→`:wq`(215ms, `:` 보존), Vim 명령줄 `:ㅂ!`→`:q!`(90ms), 셸 프롬프트 `PS D:\workspace> 퍄ㅡ `→`vim `(106ms), 셸 프롬프트 `PS D:\workspace> ㅎ샤 채ㅜㄴㅅ `→`git const `(170ms), 캔버스 터미널(`UIA len=0`) `<Esc>idkssudgktpdy `→`안녕하세요 `(108ms). 단위 테스트: `packages/core` 3개 파일 82/82 통과(`typo-correction.test.ts` 44/44, `terminal-prompt.test.ts` 12/12, `suggestion-continuation.test.ts` 26/26), 데스크톱 `TypoCorrectionService.test.ts` 22/22 통과. |
|
||||
| GAP-INPUT-09 | Input intelligence | `[~]` **prefill 이어 쓰기·문서/대화 문맥(INPUT-21) 실앱 확인 (2026-10-03).** 실제 `gemma4:e4b` 프로브 15개 시나리오와 단위 테스트는 통과했지만, (a) 외부 앱 UIA 가 커서 앞 문서 전체를 주는지(케어렛 미상 앱은 tail 폴백), (b) 채팅 앱이 보내기 뒤 입력칸을 실제로 비우는 스냅샷을 내는지(카톡은 UIA 텍스트 길이 0 인 경우가 있었다 — GAP-INPUT-01), (c) 단어 중간 수락(`attach`)이 실제 삽입에서 공백 없이 붙는지는 GUI 로 확인하지 않았다. 후보 다양성: 마저 쓰기 모드는 prefill 분포가 뾰족해 채우기 후보가 1~2개에서 멈출 때가 많다. | `apps/desktop/src/main/services/{SuggestionService,InputTelemetryService,LocalLLMService,llm-prompts}.ts`, `packages/core/src/{chat-template,recent-writes,suggestion-text,writing-context}.ts`, `apps/desktop/tests/integration/suggestion-quality.ollama.test.ts` | `run-desktop.bat` 재시작 후: (1) 긴 메모장 문서 끝에서 앞부분의 날짜·이름을 이어 받는지, (2) 슬랙/디스코드 같은 Chromium 채팅에서 메시지를 보낸 뒤 다음 메시지 제안이 앞 메시지를 이어 받는지(로그 `제안 판단 입력` + 프롬프트 길이), (3) `내일 3시에 회의실` 같은 단어 중간에서 수락하면 `회의실에서…` 로 붙는지, (4) 지어낸 사실로 후보를 버린 로그(`제안 후보 버림 (unsupported-facts…)`)가 과하게 잦지 않은지. 모델 교체 시 `D3RO_SUGGESTION_PROBE=1 D3RO_SUGGESTION_PROBE_MODEL=<태그>` 로 같은 프로브를 다시 돌린다. **2026-10-03 19:00 "제안 창이 잘 안 뜸" 로그 분석**: 보류 1위 WindowsTerminal(Claude Code) `caret-unknown` 721회 — 입력 상자 아래 상태줄 때문에 화면 전체 기준으로 매번 "문서 중간 편집" 판정 → `SuggestionService._terminalContext` 가 입력 줄 연속성(늘거나 줄면 커서=끝)으로 판단. 2위 Chrome `not-typing` 122회 — 타이핑 중 UIA 포커스가 입력칸↔legacy 요소를 오가며 기준선을 다시 잡음 → 같은 창·클릭 없이 치는 중의 깜빡임이면 편집한 칸 유지(`input-telemetry-focus-flicker.test.ts`). 모든 앱에서 caret 오프셋을 못 얻는 것(caret=-1)과 Kitedesk/Candy/Paca 의 legacy(읽기 불가)는 별도 과제. 19:10 재시작 뒤 6분간 첫 후보 10회 생성(터미널 caret-unknown 721→4). **수락 키 전달 문제**: uiohook 은 키를 엿듣기만 해서 Ctrl+Alt+Enter 가 Claude Code 에도 전달돼 개행이 들어갔다 → 제안 창이 떠 있는 동안만 제안 단축키를 globalShortcut(noop)으로 잡아 OS 가 삼키게 하고 창이 사라지면 해제(`KeyBindingService.setSuggestionCaptureActive`, `suggestionCaptureAccelerators`). 실앱에서 수락 시 개행이 더는 안 들어가는지, 창이 없을 때 다른 앱의 Ctrl+Alt+Enter/↑↓ 가 정상인지 확인 필요. |
|
||||
| GAP-INPUT-10 | Input intelligence | `[~]` **제안 창 오타 교정·반응성(INPUT-22) 실앱 확인 (2026-10-17).** 단위 테스트·실모델 프로브·팝업 렌더 스크린샷은 통과, HEAD 로컬 빌드를 띄워 둠(설치본 v1.9.0 종료). 실제 앱에서 교정 수락(백스페이스 N + 붙여넣기)과 조합 중 Space 확정이 정확히 동작하는지는 미확인. 사용자 입력에 섞여 들어간 홀로 남은 `ㅇ`(이력 DB 접두에 반복)의 출처 — 사용자가 친 것인지, 조합이 깨진 흔적인지 — 미확정. | `apps/desktop/src/main/services/{SuggestionService,TypoCorrectionService,TextInsertService,InputTelemetryService}.ts`, `apps/desktop/src/renderer/popups/suggestion-overlay/*`, `packages/core/src/typo-correction.ts` | 에이전트 창·카톡·크롬에서: (1) `안ㄴ뇽하세여.?` 치고 멈추면 `오타 고침` 줄과 함께 후보가 뜨는지, 수락하면 오타가 지워지고 `안녕하세요.? …` 로 바뀌는지, (2) 마지막 글자가 조합 중일 때 수락해도 글자가 남거나 더 지워지지 않는지, (3) 수락 → Space → 멈춤에서 다음 제안이 바로 뜨는지(`rate-limited` 로그 없어야 함), (4) 후보 12개가 다 차도 창이 저절로 닫히지 않는지(45초 TTL 전), (5) 낱자 없는 오타는 첫 후보 뒤 교정 줄이 늦게 붙는지. **2026-10-20 정적 분석**: (2)는 사이드카가 TextEditPattern 을 지원하는 창에서만 조합 여부를 알아내(`sidecar/uia_bridge.py` GetActiveComposition) Chrome·Electron 계열은 늘 composing=false — 마지막 글자가 조합 중이면 Space 확정 없이 백스페이스 N 이 나가고 MS IME 가 낱자 단위로 지워 `안ㄴ안녕…` 처럼 원문이 남을 수 있다. 크롬에서 우선 재현. 교정 뒤 공백만 바뀌면 교정이 버려지던 문제는 32cf826 에서 수정. |
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue