46 lines
2.1 KiB
TypeScript
46 lines
2.1 KiB
TypeScript
import { describe, expect, it } from 'vitest'
|
|
import { scoreReplayCase, summarizeReplay, type ReplayCaseInput } from './replay-metrics'
|
|
|
|
function input(suggestion: string | null, truth: string, logprobs: number[] = [-0.1]): ReplayCaseInput {
|
|
return {
|
|
appName: 'Discord.exe',
|
|
prefix: '오늘 회의는 ',
|
|
truth,
|
|
raw: suggestion ?? '',
|
|
suggestion,
|
|
tokens: logprobs.map((logprob, index) => ({ token: `t${index}`, logprob })),
|
|
latencyMs: 300,
|
|
promptTokens: 100,
|
|
cachedPromptTokens: 80
|
|
}
|
|
}
|
|
|
|
describe('replay-metrics', () => {
|
|
it('맞은 어절까지 수락했다고 보고 아낀 글자를 센다', () => {
|
|
const result = scoreReplayCase(input('내일 오후 세 시에 해요', '내일 오후 네 시로 옮겼어'))
|
|
expect(result).toMatchObject({ shown: true, matchedWords: 2, firstWordHit: true, fullAccept: false })
|
|
expect(result.savedChars).toBe('내일 오후'.length - 1)
|
|
})
|
|
|
|
it('제안 전체가 실제 글 앞부분이면 통째로 수락한 것으로 본다 (끝 문장부호 무시)', () => {
|
|
const result = scoreReplayCase(input('내일 오후.', '내일 오후 세 시야'))
|
|
expect(result.fullAccept).toBe(true)
|
|
expect(result.savedChars).toBe('내일 오후'.length - 1)
|
|
})
|
|
|
|
it('첫 어절부터 다르면 아낀 글자는 0', () => {
|
|
const result = scoreReplayCase(input('다음 주에 다시 잡자', '내일 오후 세 시야'))
|
|
expect(result).toMatchObject({ firstWordHit: false, savedChars: 0 })
|
|
})
|
|
|
|
it('요약: 노출률·적중률·게이팅 곡선', () => {
|
|
const summary = summarizeReplay([
|
|
scoreReplayCase(input('내일 오후', '내일 오후 세 시야', [-0.05])),
|
|
scoreReplayCase(input('다음 주에', '내일 오후 세 시야', [-2.5])),
|
|
scoreReplayCase(input(null, '내일 오후 세 시야', []))
|
|
])
|
|
expect(summary).toMatchObject({ cases: 3, coverage: 0.667, firstWordHitAmongShown: 0.5, cachedPromptShare: 0.8 })
|
|
const strict = summary.gatingCurve.find((point) => point.minMeanLogprob === -0.1)
|
|
expect(strict).toMatchObject({ coverage: 0.333, firstWordHitAmongShown: 1 })
|
|
})
|
|
})
|