feat(desktop): typo auto-correct and context-aware sentence prediction
Some checks failed
ci / 정본·보안·린트·타입·테스트 (push) Has been cancelled
deploy-site / deploy (push) Has been cancelled
ci / 워크스페이스 빌드 검증 (push) Has been cancelled
ci / 모바일 린트·타입·Jest (push) Has been cancelled
ci / Supabase Edge Functions + Cloudflare Worker (push) Has been cancelled
ci / .NET API 서버 테스트 (push) Has been cancelled
Some checks failed
ci / 정본·보안·린트·타입·테스트 (push) Has been cancelled
deploy-site / deploy (push) Has been cancelled
ci / 워크스페이스 빌드 검증 (push) Has been cancelled
ci / 모바일 린트·타입·Jest (push) Has been cancelled
ci / Supabase Edge Functions + Cloudflare Worker (push) Has been cancelled
ci / .NET API 서버 테스트 (push) Has been cancelled
Typo auto-correct (INPUT-19) - TypoCorrectionService + core typo-correction: 2-set Korean layout mistypes both ways, always-wrong spellings, near-misses of the user's frequent words, optional model check re-validated in core; applied by backspace N + paste and cancelled on new keys or window change. Prediction quality (INPUT-20/21) - gemma models are sent raw with the user's unfinished sentence pre-filled into the model turn, so the model truly continues the text (mid-word joins and spacing exact). Other models keep the instruction prompt. - Context: text before the caret (opening lines and a fact list of names, dates, amounts outside the 400-char window), messages just sent in the same chat window (memory only, 30 min), personal-graph follow-ups and IDF-ranked related sentences with Korean stemming. - Guards: first sentence only, restated-prefix stripping (also fixes the instruction path), repeat drop, no invented dates/names/numbers (one retry), plain -다 register, no emoji unless the user uses them, search-box keywords. Fill loop mixes instruction prompts for variety. - Opt-in real-model probe: tests/integration/suggestion-quality.ollama.test.ts Suggestions now actually show up - Terminal (Claude Code): caret trust from the input line, not the whole screen (status line below the box blocked every keystroke); Korean composition counts as typing at the end; a grey placeholder filling the empty box at once is not user text. - Chrome: UIA focus flicker while typing no longer resets "edited". - KakaoTalk/RichEdit: trailing paragraph mark ignored for edit position and stripped so accepted text keeps its separating space. - While the overlay is visible the suggestion shortcuts are captured so Ctrl+Alt+Enter no longer also types a newline; released when hidden. - nut-js preloaded after boot (first accept waited 4.8 s).
This commit is contained in:
parent
5ca3709b32
commit
3cac14f668
56 changed files with 4700 additions and 258 deletions
370
apps/desktop/tests/integration/suggestion-quality.ollama.test.ts
Normal file
370
apps/desktop/tests/integration/suggestion-quality.ollama.test.ts
Normal file
|
|
@ -0,0 +1,370 @@
|
|||
// tests/integration/suggestion-quality.ollama.test.ts
|
||||
//
|
||||
// 다음 문장 제안 품질 프로브 — 실제 Ollama 모델로 시나리오별 제안을 뽑아 비교한다.
|
||||
// 자동 판정은 최소한(비어 있음·되풀이·사실 위반)만 하고, 결과 표를 사람이 읽는다.
|
||||
//
|
||||
// 실행 (Ollama 에 모델이 떠 있어야 한다):
|
||||
// D3RO_SUGGESTION_PROBE=1 [D3RO_SUGGESTION_PROBE_MODEL=gemma4:e4b] [D3RO_SUGGESTION_PROBE_OUT=결과.md] \
|
||||
// npx vitest run --config vitest.config.ts tests/integration/suggestion-quality.ollama.test.ts
|
||||
|
||||
import { describe, it, expect, vi } from 'vitest'
|
||||
import { writeFileSync } from 'fs'
|
||||
|
||||
vi.mock('../../src/main/services/LoggerService', () => ({
|
||||
getLogger: () => ({ info: vi.fn(), warn: vi.fn(), error: vi.fn(), debug: vi.fn() })
|
||||
}))
|
||||
|
||||
import { buildSuggestionPrompt, type RecentWriteHint } from '../../src/main/services/llm-prompts'
|
||||
import { renderRawChatPrompt, rawChatStopSequences } from '@d3ro/core/chat-template'
|
||||
import { extractContinuation, joinSuggestion, parseSuggestionCandidates } from '@d3ro/core/input-intelligence'
|
||||
import { splitSentences } from '@d3ro/core/personal-graph'
|
||||
import { findUnsupportedFacts } from '@d3ro/core/writing-context'
|
||||
|
||||
const ENABLED = process.env.D3RO_SUGGESTION_PROBE === '1'
|
||||
const MODEL = process.env.D3RO_SUGGESTION_PROBE_MODEL ?? 'gemma4:e4b'
|
||||
const OLLAMA = process.env.D3RO_SUGGESTION_PROBE_URL ?? 'http://127.0.0.1:11434'
|
||||
const SESSION_WINDOW = 400
|
||||
|
||||
interface Scenario {
|
||||
name: string
|
||||
text: string
|
||||
app?: string
|
||||
title?: string
|
||||
recent?: RecentWriteHint[]
|
||||
followUps?: string[]
|
||||
related?: string[]
|
||||
/** 제안에 들어 있으면 안 되는 표현 (사실 위반 등) */
|
||||
forbid?: RegExp
|
||||
/** 제안에 들어 있어야 하는 표현 (사실 회상) */
|
||||
expect?: RegExp
|
||||
}
|
||||
|
||||
const LONG_PLAN = `D3RO 보이스 2.0 출시 계획 공유드립니다.
|
||||
출시일은 11월 15일(토)로 확정되었고, 가격은 Pro 월 2,900원, Pro+ 월 8,900원으로 유지합니다. 마케팅은 김민수 대리님이 맡고, 서버 이전은 박준호 책임님이 10월 31일까지 마무리하기로 했습니다.
|
||||
이번 버전의 핵심은 세 가지입니다. 첫째, 받아쓰기 정확도를 높이기 위해 음성 인식 모델을 large-v3-turbo로 바꿉니다. 둘째, 다음 문장 제안을 정식 기능으로 공개합니다. 셋째, 모바일 앱과 기록을 실시간으로 동기화합니다.
|
||||
베타 테스트는 다음 주 월요일부터 2주간 진행하며, 참여자는 120명 정도로 예상합니다. 피드백은 매주 금요일 오후 4시에 모아서 정리하겠습니다.
|
||||
위험 요소로는 GPU 메모리가 부족한 PC에서 모델 로딩이 느린 문제가 있습니다. 이 부분은 경량 모델 옵션을 두는 방향으로 검토 중입니다.
|
||||
`
|
||||
|
||||
const SCENARIOS: Scenario[] = [
|
||||
{
|
||||
name: '긴 문서 사실 회상 (출시일)',
|
||||
text: `${LONG_PLAN}정리하면, 출시는 `,
|
||||
app: 'Notion',
|
||||
title: '2.0 출시 계획',
|
||||
expect: /11월 ?15일/u
|
||||
},
|
||||
{
|
||||
name: '긴 문서 사실 회상 (담당자)',
|
||||
text: `${LONG_PLAN}마케팅 일정은 `,
|
||||
app: 'Notion',
|
||||
title: '2.0 출시 계획',
|
||||
forbid: /박준호/u
|
||||
},
|
||||
{
|
||||
name: '격식 메일 마저 쓰기',
|
||||
text: '팀장님 안녕하세요. 어제 말씀하신 분기 보고서 초안을 정리했습니다. 첨부 파일 검토해 보시고',
|
||||
app: 'Outlook',
|
||||
title: '분기 보고서 초안 - 메시지'
|
||||
},
|
||||
{
|
||||
name: '격식 메일 마저 쓰기 (끝 공백)',
|
||||
text: '팀장님 안녕하세요. 어제 말씀하신 분기 보고서 초안을 정리했습니다. 첨부 파일 검토해 보시고 ',
|
||||
app: 'Outlook',
|
||||
title: '분기 보고서 초안 - 메시지'
|
||||
},
|
||||
{
|
||||
name: '단어 중간 (회의실)',
|
||||
text: '내일 오후 3시에 회의실',
|
||||
app: 'Slack',
|
||||
title: '#product'
|
||||
},
|
||||
{
|
||||
name: '카톡 반말 + 앞 메시지',
|
||||
text: 'ㅇㅋ 그럼 나도 ',
|
||||
app: 'KakaoTalk',
|
||||
title: '민수',
|
||||
recent: [
|
||||
{ text: '야 내일 몇 시에 보기로 했지?', ageMs: 240_000 },
|
||||
{ text: '나 3시쯤 강남역 도착할 듯ㅋㅋ', ageMs: 120_000 }
|
||||
],
|
||||
forbid: /(습니다|세요)/u
|
||||
},
|
||||
{
|
||||
// 카카오톡 입력칸(RichEdit)은 값 끝에 \r 을 붙여 준다 (2026-10-03 실측: 후보 10회 모두 정제 후 빈 값)
|
||||
name: '카톡 RichEdit 끝 \\r — 마저 쓰기',
|
||||
text: '오늘 저녁에 시간 되면\r',
|
||||
app: 'KakaoTalk.exe',
|
||||
title: '민수'
|
||||
},
|
||||
{
|
||||
name: '카톡 RichEdit 끝 \\r — 띄어 쓴 뒤',
|
||||
text: 'ㅇㅋ 그럼 나도 \r',
|
||||
app: 'KakaoTalk.exe',
|
||||
title: '민수',
|
||||
recent: [{ text: '야 내일 몇 시에 보기로 했지?', ageMs: 60_000 }]
|
||||
},
|
||||
{
|
||||
name: '카톡 짧은 채팅 (\\r 없음)',
|
||||
text: '오늘 저녁에 시간 되면',
|
||||
app: 'KakaoTalk.exe',
|
||||
title: '민수'
|
||||
},
|
||||
{
|
||||
name: '슬랙 개발 마저 쓰기',
|
||||
text: 'PR 올렸습니다. 리뷰 부탁드려요. 테스트는 로컬에서 다 통과했고 CI는 ',
|
||||
app: 'Slack',
|
||||
title: '#dev-desktop'
|
||||
},
|
||||
{
|
||||
name: '회의록 목록 다음 줄',
|
||||
text: '회의록 - 10월 3일\n참석: 김민수, 이지은, 박준호\n- 배포 일정: 10월 7일 (화)\n- 담당: ',
|
||||
app: 'Notepad',
|
||||
title: '회의록.txt'
|
||||
},
|
||||
{
|
||||
name: '영어 단어 중간',
|
||||
text: 'Hi Sarah, thanks for the quick re',
|
||||
app: 'Gmail',
|
||||
title: 'Re: Q3 report'
|
||||
},
|
||||
{
|
||||
name: '영어 다음 문장',
|
||||
text: 'Hi Sarah,\n\nThanks for sending over the Q3 report. I had a chance to review it this morning.',
|
||||
app: 'Gmail',
|
||||
title: 'Re: Q3 report'
|
||||
},
|
||||
{
|
||||
name: '고객 응대 해요체 다음 문장',
|
||||
text: '안녕하세요 고객님, 문의 주셔서 감사해요. 말씀하신 결제 오류는 확인해 보니 카드사 승인 지연 때문이었어요. ',
|
||||
app: 'Channel Talk',
|
||||
title: '상담 #4821',
|
||||
forbid: /(습니다|했다)\.?$/u
|
||||
},
|
||||
{
|
||||
name: '검색창',
|
||||
text: '서울 강남 파스타 ',
|
||||
app: 'Chrome',
|
||||
title: 'Google'
|
||||
},
|
||||
{
|
||||
name: '그래프 follow-up 힌트',
|
||||
text: '오늘 회의 자료 공유드립니다.',
|
||||
app: 'Slack',
|
||||
title: '#team',
|
||||
followUps: ['확인 후 의견 주시면 다음 버전에 반영하겠습니다.']
|
||||
},
|
||||
{
|
||||
name: '나열 (첫째/둘째 → 셋째)',
|
||||
text: '이번 개편의 목표는 세 가지입니다. 첫째, 첫 화면을 단순하게 만든다. 둘째, 기록을 빠르게 찾게 한다.',
|
||||
app: 'Notion',
|
||||
title: '디자인 개편'
|
||||
},
|
||||
{
|
||||
name: '일기 반말 마저 쓰기',
|
||||
text: '오늘은 진짜 피곤했다. 아침부터 회의가 세 개나 있었고 점심도 ',
|
||||
app: 'Obsidian',
|
||||
title: '2026-10-03',
|
||||
forbid: /(습니다|세요|어요)/u
|
||||
}
|
||||
]
|
||||
|
||||
interface ProbeResult {
|
||||
scenario: string
|
||||
mode: 'legacy' | 'prefill'
|
||||
inserted: string[]
|
||||
latencyMs: number
|
||||
flags: string[]
|
||||
}
|
||||
|
||||
async function generate(body: Record<string, unknown>): Promise<{ response: string; ms: number }> {
|
||||
const started = Date.now()
|
||||
const response = await fetch(`${OLLAMA}/api/generate`, {
|
||||
method: 'POST',
|
||||
headers: { 'Content-Type': 'application/json' },
|
||||
body: JSON.stringify({ model: MODEL, stream: false, keep_alive: '30m', think: false, ...body })
|
||||
})
|
||||
const json = (await response.json()) as { response?: string }
|
||||
return { response: json.response ?? '', ms: Date.now() - started }
|
||||
}
|
||||
|
||||
/** 문서 원문 → 세션 접두 (서비스와 같은 400자 창) */
|
||||
function sessionPrefix(text: string): string {
|
||||
return text.replace(/\s+$/u, '').slice(-SESSION_WINDOW)
|
||||
}
|
||||
|
||||
async function runLegacy(scenario: Scenario): Promise<ProbeResult> {
|
||||
// 예전 경로: 400자 창만, 지시형 프롬프트, 이어 붙일 때 이음새 정보 없음(separate).
|
||||
const prefix = sessionPrefix(scenario.text)
|
||||
const prompt = buildSuggestionPrompt({
|
||||
prefix,
|
||||
appName: scenario.app,
|
||||
windowTitle: scenario.title,
|
||||
followUpHints: scenario.followUps,
|
||||
phraseHints: scenario.related,
|
||||
candidates: 1,
|
||||
maxChars: 160
|
||||
})
|
||||
const { response, ms } = await generate({
|
||||
prompt: prompt.text,
|
||||
system: prompt.systemPrompt,
|
||||
options: { temperature: 0.3, num_predict: 64 }
|
||||
})
|
||||
const parsed = parseSuggestionCandidates(response, prefix, 1, 160)
|
||||
return {
|
||||
scenario: scenario.name,
|
||||
mode: 'legacy',
|
||||
inserted: parsed.map((text) => joinSuggestion(scenario.text, text, 'separate')),
|
||||
latencyMs: ms,
|
||||
flags: []
|
||||
}
|
||||
}
|
||||
|
||||
/** 서비스와 같은 규칙: 첫 후보 온도 0.3(지어낸 사실이면 1.0 으로 1회 재시도), 채우기 온도 1.0. */
|
||||
async function runPrefill(scenario: Scenario, samples: number): Promise<ProbeResult> {
|
||||
const prefix = sessionPrefix(scenario.text)
|
||||
const inserted: string[] = []
|
||||
const accepted: string[] = []
|
||||
let latency = 0
|
||||
|
||||
const sample = async (temperature: number): Promise<{ text: string | null; note: string; ms: number }> => {
|
||||
const prompt = buildSuggestionPrompt({
|
||||
prefix,
|
||||
documentText: scenario.text,
|
||||
appName: scenario.app,
|
||||
windowTitle: scenario.title,
|
||||
recentWrites: scenario.recent,
|
||||
followUpHints: scenario.followUps,
|
||||
phraseHints: scenario.related,
|
||||
avoidCandidates: accepted.length > 0 ? accepted : undefined,
|
||||
maxChars: 160,
|
||||
prefill: true
|
||||
})
|
||||
const raw = renderRawChatPrompt(MODEL, {
|
||||
system: prompt.systemPrompt,
|
||||
user: prompt.text,
|
||||
assistantPrefix: prompt.assistantPrefix ?? ''
|
||||
})
|
||||
if (!raw) throw new Error(`원형 템플릿을 모르는 모델: ${MODEL}`)
|
||||
const { response, ms } = await generate({
|
||||
prompt: raw,
|
||||
raw: true,
|
||||
options: { temperature, num_predict: 64, stop: rawChatStopSequences(MODEL) }
|
||||
})
|
||||
const continuation = extractContinuation(response, {
|
||||
mode: prompt.writing.mode,
|
||||
prefill: prompt.assistantPrefix ?? '',
|
||||
writtenSentences: splitSentences(scenario.text),
|
||||
wordFinished: prompt.wordFinished,
|
||||
allowEmoji: prompt.allowEmoji,
|
||||
maxChars: 160
|
||||
})
|
||||
if (!continuation) return { text: null, note: `∅ (raw=${JSON.stringify(response.slice(0, 60))})`, ms }
|
||||
const unsupported = findUnsupportedFacts(continuation.text, prompt.factSource)
|
||||
if (unsupported.length > 0) return { text: null, note: `✗사실 ${unsupported.join('/')} :: ${continuation.text}`, ms }
|
||||
return { text: joinSuggestion(scenario.text, continuation.text, continuation.joint), note: '', ms }
|
||||
}
|
||||
|
||||
/** 지시형 프롬프트 + 이미 제안한 문장 목록 — 다양성 비교용 */
|
||||
const sampleLegacy = async (): Promise<{ text: string | null; note: string; ms: number }> => {
|
||||
const prompt = buildSuggestionPrompt({
|
||||
prefix,
|
||||
documentText: scenario.text,
|
||||
appName: scenario.app,
|
||||
windowTitle: scenario.title,
|
||||
recentWrites: scenario.recent,
|
||||
followUpHints: scenario.followUps,
|
||||
phraseHints: scenario.related,
|
||||
avoidCandidates: accepted,
|
||||
candidates: 1,
|
||||
maxChars: 160
|
||||
})
|
||||
const { response, ms } = await generate({
|
||||
prompt: prompt.text,
|
||||
system: prompt.systemPrompt,
|
||||
options: { temperature: 0.9, num_predict: 64 }
|
||||
})
|
||||
const text = parseSuggestionCandidates(response, prefix, 1, 160)[0]
|
||||
if (!text) return { text: null, note: '∅ legacy', ms }
|
||||
const unsupported = findUnsupportedFacts(text, prompt.factSource)
|
||||
if (unsupported.length > 0) return { text: null, note: `✗사실 ${unsupported.join('/')} :: ${text}`, ms }
|
||||
return { text: `[L] ${joinSuggestion(scenario.text, text, 'separate')}`, note: '', ms }
|
||||
}
|
||||
|
||||
for (let attempt = 0; attempt < 2; attempt += 1) {
|
||||
const result = await sample(attempt === 0 ? 0.3 : 1.0)
|
||||
latency += result.ms
|
||||
if (result.text) {
|
||||
inserted.push(result.text)
|
||||
accepted.push(result.text.trim())
|
||||
break
|
||||
}
|
||||
inserted.push(result.note)
|
||||
if (!result.note.startsWith('✗')) break
|
||||
}
|
||||
for (let index = 1; index < samples; index += 1) {
|
||||
// service(기본): 서비스와 같다 — 다음 문장 모드에서만 지시형을 번갈아 섞는다.
|
||||
const strategy = process.env.D3RO_SUGGESTION_PROBE_FILL ?? 'service'
|
||||
const mode = buildSuggestionPrompt({ prefix, documentText: scenario.text, prefill: true }).writing.mode
|
||||
const useLegacy =
|
||||
strategy === 'legacy' ||
|
||||
(strategy === 'mixed' && index % 2 === 1) ||
|
||||
(strategy === 'service' && mode === 'next-sentence' && accepted.length % 2 === 1)
|
||||
const result = useLegacy ? await sampleLegacy() : await sample(1.0)
|
||||
if (result.text && !accepted.includes(result.text.trim())) {
|
||||
inserted.push(`+ ${result.text}`)
|
||||
accepted.push(result.text.trim())
|
||||
} else inserted.push(`(채우기 버림) ${result.text ?? result.note}`)
|
||||
}
|
||||
return { scenario: scenario.name, mode: 'prefill', inserted, latencyMs: latency, flags: [] }
|
||||
}
|
||||
|
||||
function judge(scenario: Scenario, result: ProbeResult): void {
|
||||
// 첫 표시 후보 = 지어낸 사실로 버린 시도 다음의 첫 성공
|
||||
const first = result.inserted.find((text) => !text.startsWith('✗')) ?? ''
|
||||
if (!first || first.startsWith('∅')) result.flags.push('빈 제안')
|
||||
if (scenario.expect && !scenario.expect.test(first)) result.flags.push(`기대 누락 ${scenario.expect}`)
|
||||
if (scenario.forbid && scenario.forbid.test(first)) result.flags.push(`금지 표현 ${scenario.forbid}`)
|
||||
if (/도와드릴|궁금한 점이 있으신가요|무엇을 도와/u.test(first)) result.flags.push('비서 말투')
|
||||
}
|
||||
|
||||
function visible(text: string): string {
|
||||
return text.replace(/\n/gu, '⏎').replace(/^ /u, '␠')
|
||||
}
|
||||
|
||||
describe.runIf(ENABLED)('제안 품질 프로브 (실모델)', () => {
|
||||
it(
|
||||
'기존 지시형 vs prefill 이어 쓰기',
|
||||
async () => {
|
||||
const results: ProbeResult[] = []
|
||||
for (const scenario of SCENARIOS) {
|
||||
const legacy = await runLegacy(scenario)
|
||||
const prefill = await runPrefill(scenario, 4)
|
||||
judge(scenario, legacy)
|
||||
judge(scenario, prefill)
|
||||
results.push(legacy, prefill)
|
||||
}
|
||||
|
||||
const lines = [`# 제안 품질 프로브 — ${MODEL}`, '']
|
||||
for (const scenario of SCENARIOS) {
|
||||
lines.push(`## ${scenario.name}`, '', '```', `…${visible(scenario.text.slice(-90))}`, '```')
|
||||
for (const result of results.filter((item) => item.scenario === scenario.name)) {
|
||||
lines.push(`- **${result.mode}** (${result.latencyMs}ms)${result.flags.length ? ` ⚠ ${result.flags.join(', ')}` : ''}`)
|
||||
for (const text of result.inserted) lines.push(` - \`${visible(text)}\``)
|
||||
}
|
||||
lines.push('')
|
||||
}
|
||||
const summary = (mode: ProbeResult['mode']): string => {
|
||||
const rows = results.filter((item) => item.mode === mode)
|
||||
const flagged = rows.filter((item) => item.flags.length > 0).length
|
||||
const avg = Math.round(rows.reduce((sum, item) => sum + item.latencyMs, 0) / rows.length)
|
||||
return `${mode}: 경고 ${flagged}/${rows.length}, 첫 후보 평균 ${avg}ms`
|
||||
}
|
||||
lines.push('## 요약', '', `- ${summary('legacy')}`, `- ${summary('prefill')}`)
|
||||
const report = lines.join('\n')
|
||||
if (process.env.D3RO_SUGGESTION_PROBE_OUT) writeFileSync(process.env.D3RO_SUGGESTION_PROBE_OUT, report, 'utf8')
|
||||
expect(results.length).toBe(SCENARIOS.length * 2)
|
||||
},
|
||||
600_000
|
||||
)
|
||||
})
|
||||
Loading…
Add table
Add a link
Reference in a new issue