// packages/core/src/suggestion-confidence.ts // // 모델 제안을 토큰 로그 확률로 거르고 자른다 (Gmail Smart Compose 의 신뢰도 게이팅과 같은 생각). // // 재생 평가(2026-10-24, gemma4:e4b, 120건): 그대로 보여 주면 첫 어절 적중이 3% 였다. 첫 어절 확률이 // 낮은 후보를 숨기고, 확률이 꺾이는 토큰에서 자르면 노출은 4~6% 로 줄지만 적중은 20~29% 로 오른다. // 틀린 제안은 맞는 제안보다 읽는 비용이 5배 이상 크다(arXiv 2403.15502) — 덜 보여 주는 편이 낫다. export interface TokenLogprob { token: string logprob: number } export interface ConfidenceSettings { /** 첫 어절을 이루는 토큰 로그 확률 합의 하한 — 못 넘으면 후보를 버린다 */ firstWordMin: number /** 토큰 하나의 로그 확률 하한 — 처음 못 넘는 토큰 앞에서 자른다 */ tokenMin: number } // 첫 어절 −0.5 로 시작했다가 실사용(2026-10-25)에서 거의 안 떠 −1.0 으로 풀었다(시뮬레이션: 노출 ~15%, 적중 ~11%). export const SUGGESTION_CONFIDENCE: ConfidenceSettings = { firstWordMin: -1.0, tokenMin: -1.0 } /** * 후보가 화면·앞 글에 이미 있는 글을 그대로 베꼈는가. * 베낀 글은 모델이 높은 확률을 주므로 확신 검사로 걸러지지 않는다(실측 2026-10-25: 앞 대화의 문장이 그대로 제안됨). * 후보 앞 12자(짧으면 전체, 8자 이상일 때만)가 문맥에 그대로 있으면 베낀 것으로 본다. */ export function copiesContext(candidate: string, context: string): boolean { const squash = (text: string) => text.replace(/\s+/gu, ' ').trim() const text = squash(candidate) if (text.length < 8) return false return squash(context).includes(text.slice(0, 12)) } export interface ConfidenceCut { /** 원문(토큰을 이은 글)에서 남길 글자 수 */ keepChars: number firstWordLogprob: number } const SENTENCE_END = /[.!?。!?…\n]/u /** * 남길 길이를 정한다. 첫 어절이 자신 없거나 남는 글이 없으면 null. * 어절 중간에서 끊기면 그 어절은 통째로 뺀다 — 반쪽 단어를 제안하지 않는다. */ export function cutByConfidence( tokens: TokenLogprob[], settings: ConfidenceSettings = SUGGESTION_CONFIDENCE ): ConfidenceCut | null { let text = '' let firstWordLogprob = 0 let firstWordDone = false for (const { token, logprob } of tokens) { const startsWord = /^\s/u.test(token) if (text.trim().length > 0 && startsWord) firstWordDone = true if (logprob < settings.tokenMin) { if (!startsWord && !/\s$/u.test(text)) { // 어절 중간에서 멈췄다 — 그 어절을 뺀다(첫 어절이었다면 남는 게 없다). const lastSpace = text.trimEnd().search(/\s\S*$/u) text = lastSpace >= 0 ? text.slice(0, lastSpace) : '' } break } text += token if (!firstWordDone && text.trim().length > 0) firstWordLogprob += logprob if (SENTENCE_END.test(token)) break } if (text.trim().length === 0 || firstWordLogprob < settings.firstWordMin) return null return { keepChars: text.length, firstWordLogprob } }