feat(desktop): built-in Han/Eng layout auto-switching, terminal/Vim support, and Unicode input
This commit is contained in:
parent
1da04b9e46
commit
a3ac44da2b
109 changed files with 8234 additions and 242 deletions
135
docs/evidence/2026-10-24-suggestion-accuracy-research.md
Normal file
135
docs/evidence/2026-10-24-suggestion-accuracy-research.md
Normal file
|
|
@ -0,0 +1,135 @@
|
|||
# 문장 예측 정확도·속도 개선 — 실측 + 리서치 (2026-10-24)
|
||||
|
||||
## 1. 실측 (개발 PC `_local` DB, 10일치)
|
||||
|
||||
- 제안 1,806건, 수락 31건(1.7%). 첫 후보 지연 중앙값 572 ms, p90 968 ms. 제안 길이 중앙값 22자.
|
||||
- 재생 비교: 제안 시점 접두 뒤에 실제로 친 글을 찾을 수 있던 67건 기준(표본 작음, 샘플이 조각나 있어 잡음 큼)
|
||||
- 첫 어절 일치 9% (6/67), 앞 2글자 이상 일치 10%, 평균 공통 접두 1.2자.
|
||||
- 실패 유형
|
||||
1. **주소·경로 입력 중에도 문장을 제안** — `haramlog.app/ja/beta` 에 고객센터식 문장 12개, 실제는 `?utm_source=…`.
|
||||
2. **사용자 대신 상대방처럼 답함** — 반말 채팅("그럼 이")에 존댓말 안내문·상대 답장 같은 문장.
|
||||
3. **너무 김** — "문장을 자연스럽게 끝맺으세요" 지시로 완성 문장을 내지만, 실제 글은 첫 어절부터 갈라진다.
|
||||
4. **4B 모델에 프롬프트가 무거움** — 앱·첫머리·사실·최근 글 4개·앞 문맥 900자·힌트 최대 11줄·이미 제안한 문장 최대 12개.
|
||||
5. **계산 낭비** — 화면에는 대부분 1~2개만 보이는데 후보를 최대 12개까지 순차 생성.
|
||||
- Ollama 0.40.5 (번들) 는 `/api/generate` 에서 `logprobs`·`top_logprobs` 와 `prompt_eval_cached_count` 를 돌려준다(직접 호출로 확인).
|
||||
|
||||
## 2. 리서치 요약 (근거·날짜는 아래 출처)
|
||||
|
||||
| 기법 | 근거 | 기대 효과 | 비용 |
|
||||
|---|---|---|---|
|
||||
| 신뢰도 게이팅 — 길이 정규화 logprob 이 임계값 미만이면 안 보임, 1순위 1개만 | Gmail Smart Compose (KDD 2019), Intuit 2023 | 노출 대비 수락률 큰 폭 상승 | 낮음 |
|
||||
| 확률 급락 지점에서 자르기(짧은 구 단위) + 어절 단위 부분 수락 | Smart Compose 종료 규칙, Cotypist(1~2 단어, Tab 단어 수락) | 맞는 글자 비율 상승 | 낮음 |
|
||||
| 어절 경계에서만 호출(조합 중·글자마다 호출 금지) | ChaI-TeA 2024: 글자마다 제안 시 수락률 약 -60%, 절약 +3% 뿐 | 수락률↑·호출↓ | 낮음 |
|
||||
| 학습형 표시 필터(앱·입력 속도·최근 수락/무시·첫 토큰 확률) | JetBrains 2025-26: 수락률 +33~48%, Cursor Tab RL: 제안 -21%·수락률 +28% | 큼 | 중간 (로그 먼저) |
|
||||
| 사용자 n-gram/구문 그래프 점수로 재순위 (`LM logprob + λ·log P_user`) | Smart Compose 개인 n-gram 보간 α=0.4: CTR +6%, ExactMatch +10% | 개인화가 보이게 됨 | 중간 |
|
||||
| 힌트를 접두와 가장 비슷한 2~3개로 축소 | 소형 모델 문맥 활용 한계(arXiv 2603.11513), ChaI-TeA 짧은 이력 | 정확도·지연 | 낮음 |
|
||||
| 프롬프트 앞부분 고정 → KV 캐시 재사용 | Ollama `prompt_eval_cached_count` 로 실측 가능, Gemma 4 SWA 캐시 이슈(llama.cpp #21468) 주의 | 지연 | 낮음 |
|
||||
| 투기적 디코딩(MTP 드래프터) | llama.cpp 에서 E4B 1.5~1.7x, Ollama 는 MLX 위주·Windows 미확인 | 지연(상한 낮음: 출력 8~12 토큰) | 중간 |
|
||||
| 소형 한국어 모델 비교(HyperCLOVAX-SEED 1.5B, Gemma 4 E2B, Qwen3-1.7B) | 지식형 벤치마크만 있음 — 자체 평가 필요. EXAONE 은 NC 라이선스 | 지연·메모리 | 중간 |
|
||||
| LoRA 개인화 | 데이터 수천 문장, 근거 약함 | 불확실 | 높음 → 보류 |
|
||||
|
||||
평가: 재생 하네스(어절 경계마다 접두 → 실제 이어 쓴 글과 비교), 지표는 saved@k(수락 길이 − 수락 횟수)/(전체 길이 − 1), 첫 어절 일치, **coverage(노출률)를 맞춘 상태에서** 비교. 수락률만 보면 사소한 제안으로 쏠린다.
|
||||
|
||||
## 3. 출처
|
||||
|
||||
- Smart Compose, KDD 2019: https://ar5iv.labs.arxiv.org/html/1906.00080
|
||||
- Intuit 예측 작문, 2023-08: https://arxiv.org/html/2308.13576
|
||||
- Sequential Decision-Making for Inline Autocomplete, 2024-03: https://arxiv.org/html/2403.15502v1
|
||||
- ChaI-TeA, 2024-12: https://arxiv.org/html/2412.18377v3
|
||||
- JetBrains "less is more", 2025-03: https://blog.jetbrains.com/ai/2025/03/ai-code-completion-less-is-more/
|
||||
- JetBrains Control Models, 2026-01: https://arxiv.org/html/2601.20223v1
|
||||
- Cursor Tab RL, 2025-09: https://cursor.com/blog/tab-rl
|
||||
- 사전 필터링, 2025-11: https://arxiv.org/html/2511.18849v1
|
||||
- 소형 모델 문맥 활용, 2026-03: https://arxiv.org/pdf/2603.11513
|
||||
- Gboard 합성·연합 학습, 2025-07: https://research.google/blog/synthetic-and-federated-privacy-preserving-domain-adaptation-with-llms-for-mobile-applications/
|
||||
- Ollama generate API(logprobs): https://docs.ollama.com/api/generate
|
||||
- llama.cpp speculative: https://github.com/ggml-org/llama.cpp/blob/master/docs/speculative.md
|
||||
- Gemma 4 드래프터 실측: https://dev.to/gde/do-drafters-work-on-small-models-gemma-4-e2b-and-e4b-on-two-small-gpus-1b4g
|
||||
- llama.cpp Gemma 4 캐시 이슈: https://github.com/ggml-org/llama.cpp/issues/21468
|
||||
- VS Code Copilot 인라인 모델, 2026-09: https://code.visualstudio.com/blogs/2026/09/16/building-the-github-copilot-inline-suggestions-model-part-one
|
||||
- Cotypist press: https://cotypist.app/press
|
||||
- HyperCLOVAX-SEED 1.5B: https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B
|
||||
|
||||
검색 요약에만 의존한 수치가 섞여 있다. 한국어 구어체 이어쓰기에 대한 직접 근거는 찾지 못했으므로 재생 하네스 실측으로 확인한다.
|
||||
|
||||
## 4. 재생 평가 결과 (2026-10-24, `tests/eval/suggestion-replay.eval.test.ts`)
|
||||
|
||||
입력: 개발 PC `_local` DB 의 직접 친 문장 352개 중 120개를 어절 경계에서 잘라 재생(결정적, temperature 0, gemma4:e4b, 개인 힌트 없음).
|
||||
정답 문장 일부가 학습 버퍼링 이전의 조각이라 절대값은 낮게 나온다 — 변형 간 비교용이다.
|
||||
|
||||
| 방식 | 노출 | 첫 어절 정확(노출 중) | 단어 앞부분까지 맞음(노출 중) | 지연 p50 |
|
||||
|---|---|---|---|---|
|
||||
| 앱 프롬프트 그대로 (`app`) | 76% | 3.3% | 3.3% | 212 ms |
|
||||
| + 같은 앱 15분 내 앞 글 (`recent`) | 79% | 5.3% | 5.3% | 215 ms |
|
||||
| 지시·템플릿 없는 순수 이어쓰기 (`plain`) | 61% | 5.5% | 5.5% | 142 ms |
|
||||
| **개인 n-gram (트라이→바이그램, 정답 문장 제외)** | 58% | **14.3%** | **24.3%** | ~0 ms |
|
||||
| n-gram 우선, 없으면 LLM | 83~92% | 9~11% | 16~18% | — |
|
||||
|
||||
- logprob 게이팅만으로는 정밀도가 오르지만(최대 25%) 노출이 6% 로 줄고 제안이 1~2자뿐이라 아낀 글자가 거의 0이다.
|
||||
- LLM 첫 어절과 n-gram 이 일치하면 거의 다 맞지만 120건 중 2~4건뿐 — LLM 이 사용자 말투와 거의 겹치지 않는다.
|
||||
- 표본: n-gram 유효 적중 17/70 — 오차 ±10%p 수준. 그래도 24% 대 4% 는 우연으로 보기 어렵다.
|
||||
- 분석 스크립트: `apps/desktop/tests/eval/analysis/*.py` (simulate_gating · ngram_eval · hybrid_eval — `cases.json` 을 입력으로 받는다).
|
||||
|
||||
## 5. 적용 결과 (같은 120건, 앱 기준값 그대로)
|
||||
|
||||
적용: ① 개인 n-gram 우선(`core/personal-ngram.ts`, `PERSONAL_NGRAM_SETTINGS`) ② 주소·경로 입력 중 제안 끔(`isAddressInput`, 사유 `address-input`)
|
||||
③ 모델 후보는 첫 어절 로그 확률 합 −0.5 미만이면 숨기고, 토큰 확률 −1.0 미만에서 자름(`core/suggestion-confidence.ts`) ④ 생성 중 글자 흘려보내기 끔(대부분 버려져 깜빡임만 남음).
|
||||
|
||||
| 상황 | 지표 | 이전 (앱 LLM) | 적용 후 |
|
||||
|---|---|---|---|
|
||||
| 단어 끝에서 멈춤 | 노출 | 76% | 17% |
|
||||
| | 첫 어절 적중(노출 중) | 3.3% | **25%** |
|
||||
| | 통째로 맞음(전체 중) | 0% | 4.2% |
|
||||
| | 아낀 글자 비율 | 0.2% | 0.7% |
|
||||
| 단어 중간에서 멈춤 | 노출 | 90% | 58% |
|
||||
| | 첫 어절 적중(노출 중) | 6.5% | **35%** |
|
||||
| | 통째로 맞음(전체 중) | 0% | **9.2%** |
|
||||
| | 아낀 글자 비율 | 0.1% | 2.0% |
|
||||
| | 지연 p50 | 208 ms | 1 ms |
|
||||
|
||||
틀린 제안이 크게 줄었다(단어 끝 기준 노출 중 오답 97% → 75%). 노출은 줄었지만 보이는 제안의 품질이 7~10배 올랐다.
|
||||
남은 한계: 단어 끝의 다음 어절 예측은 여전히 약하다(노출 17%). 실사용 확인 전이다.
|
||||
재현: `D3RO_EVAL_VARIANT=hybrid D3RO_EVAL_CUT=word|mid D3RO_EVAL_GATE=1 …` (파일 머리말 참고).
|
||||
|
||||
## 6. 실사용 피드백 반영 (2026-10-25)
|
||||
|
||||
- 1차 "생성 중만 뜨고 꺼짐": n-gram 경로가 IME 조합 중이면 막혀 한 번도 안 돌았다(평가가 조합 상태를 흉내 내지 않아 못 잡음). 조합 중 허용, "생성 중" 자리 제거.
|
||||
- 2차·3차 "상관없는 아무말, 문맥 무시": LLM 이 화면의 앞 대화를 그대로 베꼈고(베낀 글은 확률이 높아 확신 검사를 통과), 느슨하게 푼 n-gram(지지 1)은 근거 약한 어절을 냈다.
|
||||
→ 사용자 결정 A→B→C. A: 타이핑 중 LLM 제안 끔(`suggestionInlineModel` 기본 false), n-gram 단어 끝은 지지 2·비율 0.5, LLM 경로에 앞 글 베끼기 차단(`copiesContext`).
|
||||
A 실측(n-gram 만): 단어 끝 노출 12.5%·적중 33%, 단어 중간 노출 62.5%·적중 35%·통째로 맞음 23%.
|
||||
|
||||
## 7. B — 모델을 키우면 나아지는가 (2026-10-25)
|
||||
|
||||
같은 120건, 템플릿 없는 이어쓰기(`plain`, 같은 앱 15분 내 앞 글 포함), 거르기 없음, 베끼기 차단 적용. RTX 3080 Ti 12GB.
|
||||
|
||||
| 모델 | 단어 끝 적중(노출 중) | 단어 중간 적중(노출 중) | 지연 p50 (단어 끝) |
|
||||
|---|---|---|---|
|
||||
| gemma4:e4b (현재) | 3.5% | 9.1% | 223 ms |
|
||||
| gemma3:12b | 4.9% | 11.9% | 235 ms |
|
||||
| qwen3:8b | 5.1% | 11.8% | 2363 ms |
|
||||
| exaone3.5:7.8b | 2.6% | 4.3% | 114 ms |
|
||||
| (참고) 개인 n-gram | **33%** | **35%** | ~0 ms |
|
||||
|
||||
결론: 모델을 3배 키워도 적중은 1~3%p 오를 뿐이다. 병목은 모델 크기가 아니라 "이 사람이 다음에 칠 말"이 일반 언어 지식으로는 예측되지 않는다는 점이다. 타이핑 중 자동 LLM 제안은 크기를 키워도 쓸 만해지지 않는다.
|
||||
|
||||
## 8. C — 정체성 결정과 두 단계 제안 (2026-10-25)
|
||||
|
||||
사용자 결정: 입력 제안은 **"알아서 오는 앱"** 이다(단축키 호출형은 정체성에 맞지 않음). 기다릴 시간은 사용자가 정한다.
|
||||
|
||||
- 짧은 멈춤(`suggestionTriggerDelayMs`, 기본 600 ms) → 개인 n-gram (확실할 때만, 지연 0).
|
||||
- n-gram 이 비었고 **생각하는 시간**(`suggestionModelDelayMs`, 기본 2500 ms, 1~10초)만큼 멈췄을 때만 → LLM 문장 후보(+오타 교정, 확신 검사, 앞 글 베끼기 차단).
|
||||
- `suggestionInlineModel`(기본 켜짐)을 끄면 n-gram 만 쓰고 모델을 올리지 않는다(RAM ~11GB 절약). 설정 → 입력 패널에 스위치·숫자 칸.
|
||||
- 생각하는 시간을 0 으로 두면 예전 동작(n-gram 이 비면 바로 LLM). 모델 준비 여부는 두 단계 모드에서 n-gram 단계를 막지 않는다.
|
||||
- LLM 단계의 적중률 자체는 오르지 않는다(§7). "오래 멈췄을 때만" 이 노이즈를 줄이는 핵심이며, 체감 효과는 실사용으로 확인해야 한다.
|
||||
|
||||
## 9. 결론 — 되돌림과 교훈 (2026-10-25)
|
||||
|
||||
실사용 평가: "이전보다 몇십배 안 좋은 앱". 제안 동작을 v1.10.1 로 되돌렸다(§5~§8 의 n-gram 우선·확신 게이팅·짧게 자르기·두 단계 설정 모두 철회. 백업: `scratch/experiment-2026-10-25/`, 저장소 밖).
|
||||
|
||||
교훈
|
||||
1. **지표가 가치를 대신하지 못했다.** 첫 어절 적중(정밀도)은 올랐지만 노출이 76%→12% 로 줄었다. 사용자에게 가치는 자주·문장 단위·여러 후보 중 고르기였다(이전 방식에서도 31회 수락).
|
||||
2. **한 번에 여러 가지를 바꿨다.** 무엇이 체감을 망쳤는지 가를 수 없었다. 다음부터 변경 하나 → 실사용 확인 → 다음.
|
||||
3. **재생 평가의 사각지대:** IME 조합 상태 없음(조합 중이면 막히는 버그를 못 잡음), 조각난 정답 문장, 실제 화면 문맥 없음(LLM 의 앞 글 베끼기를 못 봄).
|
||||
4. **모델 크기는 다음 말 적중의 병목이 아니다**(§7). 개인 n-gram 은 정밀하지만 재료(학습 표본 ~1,500개, 주 입력 앱 Agent Switchboard 가 학습 제외)가 빈약하다.
|
||||
|
||||
유지한 것: `copiesContext`(앞 글 베끼기 차단), `isAddressInput`(주소·경로 입력 중 제안 끔), 학습 표본 문장 단위 저장·오염 정리, 문구 삭제 시 그 문구가 든 표본도 삭제, 재생 평가 도구(보조 지표로만).
|
||||
Loading…
Add table
Add a link
Reference in a new issue