fix(suggestion): insert accepted suggestions reliably and learn typing as whole sentences

Acceptance waited for modifiers using only the uiohook-tracked set; a missed keyup
made it time out after 1.5 s and paste while Ctrl/Alt counted as held, so nothing
was inserted. Trust GetAsyncKeyState instead, and suppress new suggestions while an
accept is in flight.

Typed deltas were saved per snapshot (every 0.4-0.8 s), storing mid-word fragments.
Buffer them per field and save one diff on idle, sentence end, send or focus change;
drop short pieces, URLs, trailing jamo and truncated emoji.
This commit is contained in:
Yun Chan 2026-10-24 13:15:29 +09:00
parent 006909065f
commit cdeeff4c11
7 changed files with 341 additions and 23 deletions

View file

@ -138,6 +138,14 @@ const MAX_SAMPLE_CHARS = 500
* settle·UIA 조회(최대 1.5초)를 거쳐 온다 — 그 합을 넉넉히 덮는다.
*/
const PROGRAMMATIC_INSERT_TTL_MS = 10_000
/**
* 타이핑 학습은 스냅샷 diff(0.4~0.8초마다)를 바로 저장하지 않고 필드별로 모았다가 문장 단위로 저장한다.
* 바로 저장하면 "찬받고 초콜릿을 받은 아이. 아빠" / "도 잘했으니까…" 처럼 단어 중간에서 잘린
* 조각이 표본·문구로 쌓여 제안 힌트를 오염시켰다(실측 2026-10-24 DB).
*/
const LEARN_IDLE_FLUSH_MS = 2000
/** diff 붙여넣기 판정(200자)에 걸리기 전에 끊어 저장한다. */
const LEARN_MAX_PENDING_CHARS = 150
const RETENTION_PRUNE_INTERVAL_MS = 6 * 60 * 60 * 1000
const MAX_READABILITY_APPS = 64
@ -233,6 +241,14 @@ class InputTelemetryService extends EventEmitter {
private _appReadability = new Map<string, AppReadabilityEvidence>()
/** 곧(또는 방금) 프로그램이 삽입한 텍스트 — 다음 diff 에서 "타이핑" 으로 학습하지 않는다. */
private _expectedInserts: Array<{ id: number; text: string; expiresAt: number }> = []
/** 아직 저장하지 않은 타이핑 구간 — 같은 필드에서 baseline → latest 로 바뀐 부분을 한 번에 학습한다. */
private _pendingLearn: {
baseline: string
latest: string
appName: string | null
windowTitle: string | null
} | null = null
private _learnFlushTimer: ReturnType<typeof setTimeout> | null = null
private _expectedInsertSeq = 0
/** 통계에서 뺄 프로그램 키 남은 수와 유효 시각 */
private _programmaticKeys = 0
@ -383,6 +399,7 @@ class InputTelemetryService extends EventEmitter {
this._settleTimer = null
}
this.setSuggestionPresentationActive(false)
this.flushPendingLearning()
this._flush()
this._lastSnapshot = null
this._lastSnapshotKey = ''
@ -833,28 +850,103 @@ class InputTelemetryService extends EventEmitter {
this._lastSnapshot = snapshot
this._lastSnapshotKey = key
// 필드가 바뀌면 이전 텍스트와 diff 할 수 없다 — 기준선만 저장하고 통계는 건너뛴다.
if (focusChanged || !previous) return
// 필드가 바뀌면 이전 텍스트와 diff 할 수 없다 — 모아 둔 학습을 저장하고 기준선만 잡는다.
if (focusChanged || !previous) {
this.flushPendingLearning()
return
}
const delta = computeTypedDelta(previous.text, snapshot.text, {
keepText: configGet('inputLearnTypedText') === true
})
if (delta.replaced) return
if (delta.insertedChars === 0 && delta.insertedWords === 0) return
const keepText = configGet('inputLearnTypedText') === true
const delta = computeTypedDelta(previous.text, snapshot.text, { keepText })
if (delta.replaced) {
// 붙여넣기 — 직접 친 글이 아니다. 그 앞까지 친 것만 저장하고 새로 모은다.
this._flushPendingLearningAt(previous.text)
return
}
if (delta.insertedChars === 0 && delta.insertedWords === 0) {
// 지우기만 했다. 칸이 비었거나 기준선보다 짧아졌으면(메시지 전송 등) 비우기 직전까지가 친 글이다.
const pending = this._pendingLearn
if (pending && (snapshot.text.length === 0 || snapshot.text.length < pending.baseline.length)) {
this._flushPendingLearningAt(previous.text)
} else if (pending) {
pending.latest = snapshot.text
}
return
}
const bucket = this._bucket()
bucket.chars += delta.insertedChars
bucket.words += delta.insertedWords
bucket.sentences += delta.insertedSentences
const typedText = delta.insertedText ? this._withoutExpectedInsert(delta.insertedText) : ''
if (typedText) {
this._learnText(typedText, {
appName: this._foreground.appName,
windowTitle: snapshot.windowTitle ?? this._foreground.windowTitle,
source: 'typed'
})
if (!delta.insertedText) return
const typedText = this._withoutExpectedInsert(delta.insertedText)
if (typedText !== delta.insertedText) {
// 프로그램 삽입(제안 수락 등)이 섞였다 — 그 앞까지 모은 것을 저장하고, 이번에 직접 친
// 나머지만 바로 학습한다. 다음 diff 부터는 삽입 뒤 텍스트를 기준선으로 다시 모은다.
this._flushPendingLearningAt(previous.text)
if (typedText) {
this._learnText(typedText, {
appName: this._foreground.appName,
windowTitle: snapshot.windowTitle ?? this._foreground.windowTitle,
source: 'typed'
})
}
return
}
if (!this._pendingLearn) {
this._pendingLearn = {
baseline: previous.text,
latest: snapshot.text,
appName: this._foreground.appName,
windowTitle: snapshot.windowTitle ?? this._foreground.windowTitle
}
} else {
this._pendingLearn.latest = snapshot.text
}
const grown = snapshot.text.length - this._pendingLearn.baseline.length
if (/[.!?…。?!\n]\s*$/u.test(snapshot.text) || grown >= LEARN_MAX_PENDING_CHARS) {
this.flushPendingLearning()
return
}
this._scheduleLearnFlush()
}
private _scheduleLearnFlush(): void {
if (this._learnFlushTimer) clearTimeout(this._learnFlushTimer)
this._learnFlushTimer = setTimeout(() => {
this._learnFlushTimer = null
this.flushPendingLearning()
}, LEARN_IDLE_FLUSH_MS)
}
/** 모아 둔 타이핑 구간을 지금 학습한다 (멈춤·문장 끝·포커스 이동·종료 시). */
flushPendingLearning(): void {
this._flushPendingLearningAt(null)
}
private _flushPendingLearningAt(latestOverride: string | null): void {
const pending = this._pendingLearn
this._discardPendingLearning()
if (!pending || configGet('inputLearnTypedText') !== true) return
// baseline → latest 를 한 번에 diff 한다 — 친 뒤 지운 오타·IME 가 바꾼 글자는 최종 결과만 남는다.
const delta = computeTypedDelta(pending.baseline, latestOverride ?? pending.latest, { keepText: true })
if (delta.replaced || !delta.insertedText) return
this._learnText(delta.insertedText, {
appName: pending.appName,
windowTitle: pending.windowTitle,
source: 'typed'
})
}
private _discardPendingLearning(): void {
if (this._learnFlushTimer) {
clearTimeout(this._learnFlushTimer)
this._learnFlushTimer = null
}
this._pendingLearn = null
}
/**
@ -944,10 +1036,13 @@ class InputTelemetryService extends EventEmitter {
const text = sanitizeSample(
raw
.split(/\r?\n/u)
.filter((line) => isLearnablePhrase(line))
.map(stripTrailingJamo)
.filter((line) => isLearnablePhrase(line) && !isUrlLike(line))
.join('\n')
)
if (!text) return
// 직접 친 글이 너무 짧으면 문체 표본이 아니다("처음", "pow") — 음성·수락 문장은 이미 문장 단위다.
if (meta.source === 'typed' && text.replace(/\s/gu, '').length < MIN_TYPED_SAMPLE_CHARS) return
try {
const db = getDatabase()
@ -1481,6 +1576,7 @@ class InputTelemetryService extends EventEmitter {
this._sessionTotals = emptyActivityBucket()
this._lastSnapshot = null
this._lastSnapshotKey = ''
this._discardPendingLearning()
logger.info('입력 텔레메트리 데이터 전체 삭제')
} catch (error) {
logger.warn(`입력 데이터 삭제 실패: ${error instanceof Error ? error.message : String(error)}`)
@ -1624,12 +1720,28 @@ function formatLocalDate(date: Date): string {
return `${year}-${month}-${day}`
}
const MIN_TYPED_SAMPLE_CHARS = 4
/** 주소·쿼리 문자열 한 줄은 문체 표본이 아니다. */
function isUrlLike(line: string): boolean {
const trimmed = line.trim()
if (/^(https?:\/\/|www\.)\S*$/iu.test(trimmed)) return true
return !/\s/u.test(trimmed) && /[/=&?#]/u.test(trimmed)
}
/** 조합이 덜 끝난 채 잡힌 끝 자모("아냐 ㅇ")를 뗀다. */
function stripTrailingJamo(line: string): string {
return line.replace(/\s*[\u3131-\u318e]+$/u, '')
}
/** 제어문자 제거 + 공백 정규화. 2자 미만은 버린다. */
function sanitizeSample(raw: string): string {
let stripped = ''
for (const char of raw) {
const code = char.codePointAt(0) ?? 0
// 제어문자(개행/탭 포함)는 공백으로 바다 — 학습 표본에 제어문자를 남기지 않는다.
// 사용 영역(PUA)·짝 잃은 서로게이트는 이모지가 16비트로 잘려 들어온 흔적이다(🍫 → U+F36B) — 버린다.
if ((code >= 0xe000 && code <= 0xf8ff) || (code >= 0xd800 && code <= 0xdfff)) continue
stripped += code < 0x20 || code === 0x7f ? ' ' : char
}
const cleaned = stripped.replace(/\s+/gu, ' ').trim()

View file

@ -304,6 +304,8 @@ export class SuggestionService extends EventEmitter {
private _lastRequestedPrefix = ''
/** 사용자가 X 로 닫은 뒤 재표시를 막는 시각 (ms) */
private _userDismissedUntil = 0
/** 수락 삽입이 진행 중이다(수정자 키 떼기 대기 포함) — 그사이 같은 글로 새 제안 창이 다시 뜨지 않게 한다. */
private _acceptInFlight = false
/** 스트리밍 누적 텍스트 */
private _partialText = ''
/** 마지막 스트리밍 방출 시각 (IPC 과다 방출 방지) */
@ -646,6 +648,7 @@ export class SuggestionService extends EventEmitter {
this._lastContext = context
const now = Date.now()
this._lastContextAt = now
if (this._acceptInFlight) return
this._watchdog()
const config = this.readPolicyConfig()
@ -1939,6 +1942,34 @@ export class SuggestionService extends EventEmitter {
// 단축키로 수락했다면 사용자가 아직 Ctrl+Alt 를 쥐고 있다. 그대로 Ctrl+V 를 보내면
// 대상 앱에 Ctrl+Alt+V 가 들어가 붙여넣기가 되지 않는다(실측) — 뗄 때까지 기다린다.
this._acceptInFlight = true
try {
return await this._insertAccepted({
text,
deleteCount,
composing,
appName,
windowTitle,
targetWindow,
sessionRecordId,
candidateText: candidate.text
})
} finally {
this._acceptInFlight = false
}
}
private async _insertAccepted(params: {
text: string
deleteCount: number
composing: boolean
appName: string | null
windowTitle: string | null
targetWindow: number | null
sessionRecordId: string | null
candidateText: string
}): Promise<SuggestionRequestResult> {
const { text, deleteCount, composing, appName, windowTitle, targetWindow, sessionRecordId, candidateText } = params
const modifierWaitStartedAt = Date.now()
if (!(await waitForModifiersReleased())) {
logger.warn('수정자 키가 떼어지지 않은 채 제안을 삽입한다 (1.5초 초과)')
@ -1995,12 +2026,12 @@ export class SuggestionService extends EventEmitter {
// 세션 행을 알면 그 행을 수락으로 표시한다 — 텍스트로 찾으면 로컬 기억의 2번째 이후 후보는
// 행이 없어 사라지거나 같은 문구의 옛 행(다른 앱·다른 날)이 수락으로 잡혔다.
if (sessionRecordId && this._repository.markSessionAccepted) {
this._repository.markSessionAccepted(sessionRecordId, candidate.text)
this._repository.markSessionAccepted(sessionRecordId, candidateText)
} else {
this._repository.markAccepted(candidate.text)
this._repository.markAccepted(candidateText)
}
// 수락한 문장은 사용자 문체의 확실한 표본이다 (학습 동의 시에만 저장됨).
this._learning.recordAccepted(candidate.text, { appName, windowTitle })
this._learning.recordAccepted(candidateText, { appName, windowTitle })
return { ok: true }
}

View file

@ -9,6 +9,7 @@
import { uIOhook, type UiohookKeyboardEvent } from 'uiohook-napi'
import { acquireGlobalInputHook } from './global-input-hook'
import { isAnyModifierPhysicallyDown } from '../utils/win32-key-state'
/** uiohook 키 코드 (UiohookKey.Ctrl/CtrlRight/Alt/AltRight/Shift/ShiftRight/Meta/MetaRight) */
const MODIFIER_KEYCODES: ReadonlySet<number> = new Set([29, 3613, 56, 3640, 42, 54, 3675, 3676])
@ -44,12 +45,22 @@ export function trackModifierKeys(): void {
* 시간 안에 떼지 않으면(떼는 이벤트를 놓친 경우 포함) 추적 상태를 비우고 false 를
* 돌려준다 — 호출자는 그래도 진행한다(영원히 막히면 안 된다).
*/
export async function waitForModifiersReleased(timeoutMs = 1500): Promise<boolean> {
export async function waitForModifiersReleased(
timeoutMs = 1500,
readPhysicalState: () => boolean | null = isAnyModifierPhysicallyDown
): Promise<boolean> {
// OS 가 실제 상태를 알려 주면 그것이 정본이다 — 훅 추적은 떼는 이벤트를 놓치면 영영 눌린 채로 남는다.
const anyHeld = (): boolean => {
const physical = readPhysicalState()
if (physical === null) return held.size > 0
if (!physical) held.clear()
return physical
}
const deadline = Date.now() + timeoutMs
while (held.size > 0 && Date.now() < deadline) {
while (anyHeld() && Date.now() < deadline) {
await new Promise((resolve) => setTimeout(resolve, 15))
}
if (held.size === 0) return true
if (!anyHeld()) return true
held.clear()
return false
}

View file

@ -0,0 +1,59 @@
// src/main/utils/win32-key-state.ts
//
// koffi(FFI)로 OS 가 보는 실제 수정자 키 눌림 상태를 읽는다 (GetAsyncKeyState).
//
// 왜 필요한가: uiohook 은 떼는 이벤트를 놓칠 수 있다(관리자 권한 창에서 뗀 키, 보안 데스크톱 등).
// 그러면 추적 집합에 키가 눌린 채 남아 제안 수락이 매번 1.5초 시간 초과까지 기다렸고,
// 그 사이 사용자가 실제로 쥐고 있던 키와 섞여 Ctrl+V 가 Ctrl+Alt+V 로 들어가 삽입되지 않았다
// (실측 2026-10-24: 대기 1505ms 후 "삽입 성공" 로그, 입력창 길이는 그대로).
//
// 실패(비 Windows, 모듈 로드 실패)는 null — 호출자는 uiohook 추적으로 돌아간다.
import { getLogger } from '../services/LoggerService'
const logger = getLogger('win32-key-state')
/** VK_SHIFT, VK_CONTROL, VK_MENU(Alt), VK_LWIN, VK_RWIN */
const MODIFIER_VKS = [0x10, 0x11, 0x12, 0x5b, 0x5c] as const
type GetAsyncKeyState = (vk: number) => number
let getAsyncKeyState: GetAsyncKeyState | null = null
let loadFailed = false
function load(): GetAsyncKeyState | null {
if (getAsyncKeyState) return getAsyncKeyState
if (loadFailed) return null
if (process.platform !== 'win32') {
loadFailed = true
return null
}
try {
// eslint-disable-next-line @typescript-eslint/no-var-requires
const koffi = require('koffi') as {
load: (lib: string) => { func: (signature: string) => GetAsyncKeyState }
}
getAsyncKeyState = koffi.load('user32.dll').func('int16_t GetAsyncKeyState(int vKey)')
return getAsyncKeyState
} catch (error) {
loadFailed = true
logger.warn(
`GetAsyncKeyState 사용 불가 — 수정자 키는 입력 훅 추적으로만 판단 (${
error instanceof Error ? error.message : String(error)
})`
)
return null
}
}
/** 수정자 키(Ctrl/Alt/Shift/Win) 중 하나라도 지금 물리적으로 눌려 있는지. 알 수 없으면 null. */
export function isAnyModifierPhysicallyDown(): boolean | null {
const read = load()
if (!read) return null
try {
// 최상위 비트(0x8000)가 "지금 눌림" — int16 이라 음수로 온다.
return MODIFIER_VKS.some((vk) => (read(vk) & 0x8000) !== 0)
} catch {
return null
}
}

View file

@ -84,6 +84,7 @@ describe('버그 3: 프로그램이 삽입한 텍스트를 타이핑으로 다
telemetry.expectProgrammaticInsert(ACCEPTED)
internal._applyTypedDelta(snapshot(`안녕하세요 여러분 ${ACCEPTED}`))
telemetry.flushPendingLearning()
expect(typedSamples()).toEqual([])
})
@ -95,6 +96,7 @@ describe('버그 3: 프로그램이 삽입한 텍스트를 타이핑으로 다
telemetry.expectProgrammaticInsert(ACCEPTED)
internal._applyTypedDelta(snapshot(`시작 ${ACCEPTED} 확인 부탁드립니다`))
telemetry.flushPendingLearning()
expect(typedSamples()).toEqual(['확인 부탁드립니다'])
})
@ -107,6 +109,7 @@ describe('버그 3: 프로그램이 삽입한 텍스트를 타이핑으로 다
internal._applyTypedDelta(snapshot(`첫 줄 ${ACCEPTED}`))
internal._applyTypedDelta(snapshot(`첫 줄 ${ACCEPTED}\n${ACCEPTED}`))
telemetry.flushPendingLearning()
expect(typedSamples()).toContain(ACCEPTED)
})
@ -118,6 +121,7 @@ describe('버그 3: 프로그램이 삽입한 텍스트를 타이핑으로 다
cancel()
internal._applyTypedDelta(snapshot(`앞 ${ACCEPTED}`))
telemetry.flushPendingLearning()
expect(typedSamples()).toEqual([ACCEPTED])
})
@ -130,10 +134,60 @@ describe('버그 3: 프로그램이 삽입한 텍스트를 타이핑으로 다
internal._applyTypedDelta(snapshot(`x ${ACCEPTED.slice(0, 8)}`))
internal._applyTypedDelta(snapshot(`x ${ACCEPTED}`))
telemetry.flushPendingLearning()
expect(typedSamples()).toEqual([])
})
})
describe('타이핑 학습은 스냅샷 조각이 아니라 문장 단위로 저장한다', () => {
it('0.4~0.8초 간격 스냅샷이 단어 중간에서 끊겨도 하나의 표본으로 합친다', () => {
const telemetry = getInputTelemetryService()
const internal = telemetry as unknown as TelemetryInternal
internal._applyTypedDelta(snapshot(''))
internal._applyTypedDelta(snapshot('칭찬받고 초콜릿을 받은 아이. 아빠'))
internal._applyTypedDelta(snapshot('칭찬받고 초콜릿을 받은 아이. 아빠도 잘했으니까 하나 줘야죠'))
expect(typedSamples()).toEqual([])
telemetry.flushPendingLearning()
expect(typedSamples()).toEqual(['칭찬받고 초콜릿을 받은 아이. 아빠도 잘했으니까 하나 줘야죠'])
})
it('친 뒤 지운 오타는 남기지 않고, 칸을 비우면(전송) 비우기 직전 글을 저장한다', () => {
const telemetry = getInputTelemetryService()
const internal = telemetry as unknown as TelemetryInternal
internal._applyTypedDelta(snapshot(''))
internal._applyTypedDelta(snapshot('내일 회의 갑ㅅ'))
internal._applyTypedDelta(snapshot('내일 회의 '))
internal._applyTypedDelta(snapshot('내일 회의 같이 가자'))
internal._applyTypedDelta(snapshot(''))
expect(typedSamples()).toEqual(['내일 회의 같이 가자'])
})
it('문장 끝 부호에서 바로 저장한다', () => {
const internal = getInputTelemetryService() as unknown as TelemetryInternal
internal._applyTypedDelta(snapshot(''))
internal._applyTypedDelta(snapshot('확인했습니다.'))
expect(typedSamples()).toEqual(['확인했습니다.'])
})
it('짧은 조각·주소·덜 조합된 자모·깨진 이모지는 거른다', () => {
const telemetry = getInputTelemetryService()
const internal = telemetry as unknown as TelemetryInternal
for (const text of ['처음', 'https://youtube.com/shorts/32P7siSb5LY', 'd=ud&', '아냐 ㅇ']) {
internal._applyTypedDelta(snapshot(''))
internal._applyTypedDelta(snapshot(text))
telemetry.flushPendingLearning()
}
internal._applyTypedDelta(snapshot(''))
internal._applyTypedDelta(snapshot('마음은 고마운데 아빠 표정이 '))
telemetry.flushPendingLearning()
expect(typedSamples()).toEqual(['마음은 고마운데 아빠 표정이'])
})
})
describe('버그 9: 문구 삭제는 그 문장의 그래프 엣지도 지운다', () => {
const ANCHOR = '오늘 회의 결과를 공유드립니다'
const PRIVATE = '계좌 비밀번호는 따로 보내드리겠습니다'

View file

@ -0,0 +1,51 @@
import { describe, expect, it, vi } from 'vitest'
type KeyListener = (event: { keycode: number }) => void
const listeners: Record<string, KeyListener[]> = { keydown: [], keyup: [] }
vi.mock('uiohook-napi', () => ({
uIOhook: { on: (name: string, listener: KeyListener) => listeners[name]?.push(listener) }
}))
vi.mock('../../../src/main/services/global-input-hook', () => ({ acquireGlobalInputHook: () => () => {} }))
vi.mock('../../../src/main/utils/win32-key-state', () => ({ isAnyModifierPhysicallyDown: () => null }))
const { trackModifierKeys, waitForModifiersReleased, forgetHeldModifiers } = await import(
'../../../src/main/services/modifier-state'
)
const CTRL = 29
function press(keycode: number): void {
for (const listener of listeners.keydown) listener({ keycode })
}
describe('waitForModifiersReleased', () => {
trackModifierKeys()
it('훅이 떼는 이벤트를 놓쳐도 OS 가 떼었다고 하면 바로 진행한다', async () => {
forgetHeldModifiers()
press(CTRL) // keyup 을 놓친 상태
const startedAt = Date.now()
expect(await waitForModifiersReleased(1500, () => false)).toBe(true)
expect(Date.now() - startedAt).toBeLessThan(100)
// 남은 추적 상태도 비워 다음 수락이 다시 기다리지 않는다
expect(await waitForModifiersReleased(50, () => null)).toBe(true)
})
it('OS 가 아직 눌림이라 하면 뗄 때까지 기다린다', async () => {
forgetHeldModifiers()
let down = true
setTimeout(() => {
down = false
}, 60)
const startedAt = Date.now()
expect(await waitForModifiersReleased(1500, () => down)).toBe(true)
expect(Date.now() - startedAt).toBeGreaterThanOrEqual(50)
})
it('OS 상태를 모르면 훅 추적으로 판단하고 시간 초과 시 false', async () => {
forgetHeldModifiers()
press(CTRL)
expect(await waitForModifiersReleased(40, () => null)).toBe(false)
})
})