d3ro-voice/docs/evidence/2026-10-24-suggestion-accuracy-research.md

12 KiB
Raw Blame History

문장 예측 정확도·속도 개선 — 실측 + 리서치 (2026-10-24)

1. 실측 (개발 PC _local DB, 10일치)

  • 제안 1,806건, 수락 31건(1.7%). 첫 후보 지연 중앙값 572 ms, p90 968 ms. 제안 길이 중앙값 22자.
  • 재생 비교: 제안 시점 접두 뒤에 실제로 친 글을 찾을 수 있던 67건 기준(표본 작음, 샘플이 조각나 있어 잡음 큼)
    • 첫 어절 일치 9% (6/67), 앞 2글자 이상 일치 10%, 평균 공통 접두 1.2자.
  • 실패 유형
    1. 주소·경로 입력 중에도 문장을 제안 — haramlog.app/ja/beta 에 고객센터식 문장 12개, 실제는 ?utm_source=….
    2. 사용자 대신 상대방처럼 답함 — 반말 채팅("그럼 이")에 존댓말 안내문·상대 답장 같은 문장.
    3. 너무 김 — "문장을 자연스럽게 끝맺으세요" 지시로 완성 문장을 내지만, 실제 글은 첫 어절부터 갈라진다.
    4. 4B 모델에 프롬프트가 무거움 — 앱·첫머리·사실·최근 글 4개·앞 문맥 900자·힌트 최대 11줄·이미 제안한 문장 최대 12개.
    5. 계산 낭비 — 화면에는 대부분 1~2개만 보이는데 후보를 최대 12개까지 순차 생성.
  • Ollama 0.40.5 (번들) 는 /api/generate 에서 logprobs·top_logprobs 와 prompt_eval_cached_count 를 돌려준다(직접 호출로 확인).

2. 리서치 요약 (근거·날짜는 아래 출처)

기법 근거 기대 효과 비용
신뢰도 게이팅 — 길이 정규화 logprob 이 임계값 미만이면 안 보임, 1순위 1개만 Gmail Smart Compose (KDD 2019), Intuit 2023 노출 대비 수락률 큰 폭 상승 낮음
확률 급락 지점에서 자르기(짧은 구 단위) + 어절 단위 부분 수락 Smart Compose 종료 규칙, Cotypist(1~2 단어, Tab 단어 수락) 맞는 글자 비율 상승 낮음
어절 경계에서만 호출(조합 중·글자마다 호출 금지) ChaI-TeA 2024: 글자마다 제안 시 수락률 약 -60%, 절약 +3% 뿐 수락률↑·호출↓ 낮음
학습형 표시 필터(앱·입력 속도·최근 수락/무시·첫 토큰 확률) JetBrains 2025-26: 수락률 +33~48%, Cursor Tab RL: 제안 -21%·수락률 +28% 큼 중간 (로그 먼저)
사용자 n-gram/구문 그래프 점수로 재순위 (LM logprob + λ·log P_user) Smart Compose 개인 n-gram 보간 α=0.4: CTR +6%, ExactMatch +10% 개인화가 보이게 됨 중간
힌트를 접두와 가장 비슷한 2~3개로 축소 소형 모델 문맥 활용 한계(arXiv 2603.11513), ChaI-TeA 짧은 이력 정확도·지연 낮음
프롬프트 앞부분 고정 → KV 캐시 재사용 Ollama prompt_eval_cached_count 로 실측 가능, Gemma 4 SWA 캐시 이슈(llama.cpp #21468) 주의 지연 낮음
투기적 디코딩(MTP 드래프터) llama.cpp 에서 E4B 1.5~1.7x, Ollama 는 MLX 위주·Windows 미확인 지연(상한 낮음: 출력 8~12 토큰) 중간
소형 한국어 모델 비교(HyperCLOVAX-SEED 1.5B, Gemma 4 E2B, Qwen3-1.7B) 지식형 벤치마크만 있음 — 자체 평가 필요. EXAONE 은 NC 라이선스 지연·메모리 중간
LoRA 개인화 데이터 수천 문장, 근거 약함 불확실 높음 → 보류

평가: 재생 하네스(어절 경계마다 접두 → 실제 이어 쓴 글과 비교), 지표는 saved@k(수락 길이 − 수락 횟수)/(전체 길이 − 1), 첫 어절 일치, coverage(노출률)를 맞춘 상태에서 비교. 수락률만 보면 사소한 제안으로 쏠린다.

3. 출처

검색 요약에만 의존한 수치가 섞여 있다. 한국어 구어체 이어쓰기에 대한 직접 근거는 찾지 못했으므로 재생 하네스 실측으로 확인한다.

4. 재생 평가 결과 (2026-10-24, tests/eval/suggestion-replay.eval.test.ts)

입력: 개발 PC _local DB 의 직접 친 문장 352개 중 120개를 어절 경계에서 잘라 재생(결정적, temperature 0, gemma4:e4b, 개인 힌트 없음). 정답 문장 일부가 학습 버퍼링 이전의 조각이라 절대값은 낮게 나온다 — 변형 간 비교용이다.

방식 노출 첫 어절 정확(노출 중) 단어 앞부분까지 맞음(노출 중) 지연 p50
앱 프롬프트 그대로 (app) 76% 3.3% 3.3% 212 ms
+ 같은 앱 15분 내 앞 글 (recent) 79% 5.3% 5.3% 215 ms
지시·템플릿 없는 순수 이어쓰기 (plain) 61% 5.5% 5.5% 142 ms
개인 n-gram (트라이→바이그램, 정답 문장 제외) 58% 14.3% 24.3% ~0 ms
n-gram 우선, 없으면 LLM 83~92% 9~11% 16~18% —
  • logprob 게이팅만으로는 정밀도가 오르지만(최대 25%) 노출이 6% 로 줄고 제안이 1~2자뿐이라 아낀 글자가 거의 0이다.
  • LLM 첫 어절과 n-gram 이 일치하면 거의 다 맞지만 120건 중 2~4건뿐 — LLM 이 사용자 말투와 거의 겹치지 않는다.
  • 표본: n-gram 유효 적중 17/70 — 오차 ±10%p 수준. 그래도 24% 대 4% 는 우연으로 보기 어렵다.
  • 분석 스크립트: apps/desktop/tests/eval/analysis/*.py (simulate_gating · ngram_eval · hybrid_eval — cases.json 을 입력으로 받는다).

5. 적용 결과 (같은 120건, 앱 기준값 그대로)

적용: ① 개인 n-gram 우선(core/personal-ngram.ts, PERSONAL_NGRAM_SETTINGS) ② 주소·경로 입력 중 제안 끔(isAddressInput, 사유 address-input) ③ 모델 후보는 첫 어절 로그 확률 합 −0.5 미만이면 숨기고, 토큰 확률 −1.0 미만에서 자름(core/suggestion-confidence.ts) ④ 생성 중 글자 흘려보내기 끔(대부분 버려져 깜빡임만 남음).

상황 지표 이전 (앱 LLM) 적용 후
단어 끝에서 멈춤 노출 76% 17%
첫 어절 적중(노출 중) 3.3% 25%
통째로 맞음(전체 중) 0% 4.2%
아낀 글자 비율 0.2% 0.7%
단어 중간에서 멈춤 노출 90% 58%
첫 어절 적중(노출 중) 6.5% 35%
통째로 맞음(전체 중) 0% 9.2%
아낀 글자 비율 0.1% 2.0%
지연 p50 208 ms 1 ms

틀린 제안이 크게 줄었다(단어 끝 기준 노출 중 오답 97% → 75%). 노출은 줄었지만 보이는 제안의 품질이 7~10배 올랐다. 남은 한계: 단어 끝의 다음 어절 예측은 여전히 약하다(노출 17%). 실사용 확인 전이다. 재현: D3RO_EVAL_VARIANT=hybrid D3RO_EVAL_CUT=word|mid D3RO_EVAL_GATE=1 … (파일 머리말 참고).

6. 실사용 피드백 반영 (2026-10-25)

  • 1차 "생성 중만 뜨고 꺼짐": n-gram 경로가 IME 조합 중이면 막혀 한 번도 안 돌았다(평가가 조합 상태를 흉내 내지 않아 못 잡음). 조합 중 허용, "생성 중" 자리 제거.
  • 2차·3차 "상관없는 아무말, 문맥 무시": LLM 이 화면의 앞 대화를 그대로 베꼈고(베낀 글은 확률이 높아 확신 검사를 통과), 느슨하게 푼 n-gram(지지 1)은 근거 약한 어절을 냈다. → 사용자 결정 A→B→C. A: 타이핑 중 LLM 제안 끔(suggestionInlineModel 기본 false), n-gram 단어 끝은 지지 2·비율 0.5, LLM 경로에 앞 글 베끼기 차단(copiesContext). A 실측(n-gram 만): 단어 끝 노출 12.5%·적중 33%, 단어 중간 노출 62.5%·적중 35%·통째로 맞음 23%.

7. B — 모델을 키우면 나아지는가 (2026-10-25)

같은 120건, 템플릿 없는 이어쓰기(plain, 같은 앱 15분 내 앞 글 포함), 거르기 없음, 베끼기 차단 적용. RTX 3080 Ti 12GB.

모델 단어 끝 적중(노출 중) 단어 중간 적중(노출 중) 지연 p50 (단어 끝)
gemma4:e4b (현재) 3.5% 9.1% 223 ms
gemma3:12b 4.9% 11.9% 235 ms
qwen3:8b 5.1% 11.8% 2363 ms
exaone3.5:7.8b 2.6% 4.3% 114 ms
(참고) 개인 n-gram 33% 35% ~0 ms

결론: 모델을 3배 키워도 적중은 1~3%p 오를 뿐이다. 병목은 모델 크기가 아니라 "이 사람이 다음에 칠 말"이 일반 언어 지식으로는 예측되지 않는다는 점이다. 타이핑 중 자동 LLM 제안은 크기를 키워도 쓸 만해지지 않는다.

8. C — 정체성 결정과 두 단계 제안 (2026-10-25)

사용자 결정: 입력 제안은 "알아서 오는 앱" 이다(단축키 호출형은 정체성에 맞지 않음). 기다릴 시간은 사용자가 정한다.

  • 짧은 멈춤(suggestionTriggerDelayMs, 기본 600 ms) → 개인 n-gram (확실할 때만, 지연 0).
  • n-gram 이 비었고 생각하는 시간(suggestionModelDelayMs, 기본 2500 ms, 1~10초)만큼 멈췄을 때만 → LLM 문장 후보(+오타 교정, 확신 검사, 앞 글 베끼기 차단).
  • suggestionInlineModel(기본 켜짐)을 끄면 n-gram 만 쓰고 모델을 올리지 않는다(RAM ~11GB 절약). 설정 → 입력 패널에 스위치·숫자 칸.
  • 생각하는 시간을 0 으로 두면 예전 동작(n-gram 이 비면 바로 LLM). 모델 준비 여부는 두 단계 모드에서 n-gram 단계를 막지 않는다.
  • LLM 단계의 적중률 자체는 오르지 않는다(§7). "오래 멈췄을 때만" 이 노이즈를 줄이는 핵심이며, 체감 효과는 실사용으로 확인해야 한다.

9. 결론 — 되돌림과 교훈 (2026-10-25)

실사용 평가: "이전보다 몇십배 안 좋은 앱". 제안 동작을 v1.10.1 로 되돌렸다(§5~§8 의 n-gram 우선·확신 게이팅·짧게 자르기·두 단계 설정 모두 철회. 백업: scratch/experiment-2026-10-25/, 저장소 밖).

교훈

  1. 지표가 가치를 대신하지 못했다. 첫 어절 적중(정밀도)은 올랐지만 노출이 76%→12% 로 줄었다. 사용자에게 가치는 자주·문장 단위·여러 후보 중 고르기였다(이전 방식에서도 31회 수락).
  2. 한 번에 여러 가지를 바꿨다. 무엇이 체감을 망쳤는지 가를 수 없었다. 다음부터 변경 하나 → 실사용 확인 → 다음.
  3. 재생 평가의 사각지대: IME 조합 상태 없음(조합 중이면 막히는 버그를 못 잡음), 조각난 정답 문장, 실제 화면 문맥 없음(LLM 의 앞 글 베끼기를 못 봄).
  4. 모델 크기는 다음 말 적중의 병목이 아니다(§7). 개인 n-gram 은 정밀하지만 재료(학습 표본 ~1,500개, 주 입력 앱 Agent Switchboard 가 학습 제외)가 빈약하다.

유지한 것: copiesContext(앞 글 베끼기 차단), isAddressInput(주소·경로 입력 중 제안 끔), 학습 표본 문장 단위 저장·오염 정리, 문구 삭제 시 그 문구가 든 표본도 삭제, 재생 평가 도구(보조 지표로만).