56 lines
2.6 KiB
TypeScript
56 lines
2.6 KiB
TypeScript
// packages/core/__tests__/suggestion-confidence.test.ts
|
|
import { describe, expect, it } from 'vitest'
|
|
import { copiesContext, cutByConfidence } from '../src/suggestion-confidence'
|
|
|
|
const t = (token: string, logprob: number) => ({ token, logprob })
|
|
|
|
describe('cutByConfidence', () => {
|
|
it('첫 어절이 자신 있으면 확률이 꺾이는 어절 앞까지 남긴다', () => {
|
|
const tokens = [t(' 수', -0.05), t(' 있', -0.2), t('어요', -0.1), t(' 그런데', -2.5), t(' 다음', -0.1)]
|
|
expect(cutByConfidence(tokens)).toEqual({ keepChars: ' 수 있어요'.length, firstWordLogprob: -0.05 })
|
|
})
|
|
|
|
it('첫 어절 확률 합이 낮으면 버린다', () => {
|
|
expect(cutByConfidence([t(' 다음', -0.6), t('에', -0.5), t(' 봐', -0.1)])).toBeNull()
|
|
})
|
|
|
|
it('어절 중간 토큰에서 꺾이면 그 어절을 통째로 뺀다', () => {
|
|
const tokens = [t(' 내일', -0.1), t(' 오', -0.2), t('후', -1.5)]
|
|
expect(cutByConfidence(tokens)?.keepChars).toBe(' 내일'.length)
|
|
})
|
|
|
|
it('첫 어절 중간에서 꺾이면 남는 게 없어 버린다', () => {
|
|
expect(cutByConfidence([t(' 내', -0.1), t('일', -1.2)])).toBeNull()
|
|
})
|
|
|
|
it('문장 끝 부호에서 멈춘다', () => {
|
|
const tokens = [t(' 좋아요', -0.1), t('.', -0.05), t(' 그럼', -0.1)]
|
|
expect(cutByConfidence(tokens)?.keepChars).toBe(' 좋아요.'.length)
|
|
})
|
|
|
|
it('단어에 붙여 쓰는 첫 토큰(단어 중간 이어쓰기)도 첫 어절로 센다', () => {
|
|
expect(cutByConfidence([t('어요', -0.2), t(' 그럼', -0.3)])).toEqual({
|
|
keepChars: '어요 그럼'.length,
|
|
firstWordLogprob: -0.2
|
|
})
|
|
})
|
|
})
|
|
|
|
describe('copiesContext', () => {
|
|
it('후보 앞부분이 문맥에 그대로 있으면 베낀 것', () => {
|
|
expect(copiesContext('00달러 이렇게만 나오고 있거든.', '지금 결제창에 00달러 이렇게만 나오고 있거든. 확인해 줘')).toBe(true)
|
|
})
|
|
it('짧은 후보나 새 글은 아니다', () => {
|
|
expect(copiesContext('수 있어요', '확인할 수 있어요')).toBe(false)
|
|
expect(copiesContext('내일 오후에 다시 볼게', '오늘은 바빠서')).toBe(false)
|
|
})
|
|
})
|
|
|
|
describe('splitFirstWord', () => {
|
|
it('첫 어절(문장부호 포함)과 나머지로 나눈다', async () => {
|
|
const { splitFirstWord } = await import('../src/suggestion-text')
|
|
expect(splitFirstWord(' 내일 오후에 볼게.')).toEqual({ word: '내일', rest: '오후에 볼게.' })
|
|
expect(splitFirstWord('좋아요, 그럼')).toEqual({ word: '좋아요,', rest: '그럼' })
|
|
expect(splitFirstWord('볼게.')).toEqual({ word: '볼게.', rest: '' })
|
|
})
|
|
})
|