fix(llm): stop leaking instruction prompts instead of processed text

Running a custom instruction (translate, summarise, rewrite, explain code,
free prompt) inserted the instruction's own wording instead of the result.
Two faults stacked:

The instruction was passed as the text to process, leaving the system-prompt
argument empty. `BASE_SYSTEM_PROMPTS` has no `custom` key, so resolution fell
back to `refine` without saying so, and the model dutifully polished the
instruction it had been handed. The transcript never reached it.

And only `{{text}}` was substituted, which none of the five built-in
instructions use — they carry `{{targetLanguage}}`, `{{userPrompt}}`, or no
placeholder at all. The substitution was a no-op from the day it was written:
the presets landed ten hours before the code that expected them.

- Instruction prompts now go to the system-prompt argument and the transcript
  to the text argument. Instructions that spell out `{{text}}` keep their old
  meaning, so hand-written ones still work.
- `renderInstructionPrompt` resolves `{{text}}`, `{{userPrompt}}` and
  `{{targetLanguage}}` in one place, and warns by name when a placeholder is
  left standing rather than letting it reach the model.
- `resolveSystemPrompt` no longer drops silently to `refine` for `custom`.
- Voice shortcuts no longer die at the `defaultLLMAction === 'none'` gate; an
  explicitly named instruction outranks the default. Without one, `none` still
  passes the transcript through untouched.
- `translate` receives its target language instead of relying on a default two
  call frames away. It is still always English — `AppConfig` has no key for it,
  and neither `language` (UI locale) nor `sttLanguage` (source language) can
  stand in. Choosing a target language needs a setting and is not in this fix.
- Chains ran instructions with placeholders intact; they share the same
  resolution now.
- The command screen's pipeline bench called `llm.generate`, which preload does
  not expose, so every run threw and the catch showed the input back as if it
  had succeeded. It uses `llm.process` now, over the same path production
  takes, and a failure reads as a failure.

Present since the feature shipped: the custom-instruction path has never
worked. Plain actions (refine, summarise, grammar, expand) were unaffected and
are now covered by tests so they stay that way.
This commit is contained in:
Yun Chan 2026-09-21 14:29:43 +09:00
parent 30d51c952f
commit 99f06c253c
14 changed files with 992 additions and 44 deletions

View file

@ -0,0 +1,169 @@
// tests/main/services/llm-prompts.test.ts
// 플레이스홀더 치환 + 지시문 인자 배치 회귀 테스트.
// 지시문이 시스템 프롬프트가 아닌 처리 대상 텍스트 자리로 들어가 LLM이
// 지시문 자체를 다듬어 반환하던 버그를 막는다.
import { describe, it, expect, beforeEach, vi } from 'vitest'
const mockLogger = vi.hoisted(() => ({
info: vi.fn(),
warn: vi.fn(),
error: vi.fn(),
debug: vi.fn(),
}))
vi.mock('../../../src/main/services/LoggerService', () => ({
getLogger: () => mockLogger,
}))
import {
renderInstructionPrompt,
buildInstructionInvocation,
resolveSystemPrompt,
DEFAULT_TARGET_LANGUAGE,
BASE_SYSTEM_PROMPTS,
} from '../../../src/main/services/llm-prompts'
beforeEach(() => {
vi.clearAllMocks()
})
describe('renderInstructionPrompt', () => {
it('{{text}}를 사용자 텍스트로 치환한다', () => {
const result = renderInstructionPrompt('요약해줘:\n{{text}}', { text: '안녕하세요' })
expect(result).toBe('요약해줘:\n안녕하세요')
})
it('{{userPrompt}}를 사용자 텍스트로 치환한다 (자유 프롬프트 프리셋)', () => {
const result = renderInstructionPrompt('{{userPrompt}}', { text: '오늘 날씨 알려줘' })
expect(result).toBe('오늘 날씨 알려줘')
})
it('{{targetLanguage}}를 주어진 대상 언어로 치환한다', () => {
const result = renderInstructionPrompt('{{targetLanguage}}로 번역해줘', {
text: '안녕',
targetLanguage: '일본어',
})
expect(result).toBe('일본어로 번역해줘')
})
it('대상 언어가 없으면 기본값으로 치환한다', () => {
const result = renderInstructionPrompt('{{targetLanguage}}로 번역해줘', { text: '안녕' })
expect(result).toBe(`${DEFAULT_TARGET_LANGUAGE}로 번역해줘`)
expect(result).not.toContain('{{')
})
it('같은 플레이스홀더가 여러 번 나와도 모두 치환한다', () => {
const result = renderInstructionPrompt('{{text}} / {{text}}', { text: 'A' })
expect(result).toBe('A / A')
})
it('치환되지 않고 남은 플레이스홀더는 경고로 남기되 동작은 계속한다', () => {
const result = renderInstructionPrompt('{{text}}를 {{unknownVar}}로 처리해줘', { text: 'A' })
expect(result).toBe('A를 {{unknownVar}}로 처리해줘')
expect(mockLogger.warn).toHaveBeenCalledTimes(1)
expect(mockLogger.warn.mock.calls[0][0]).toContain('unknownVar')
})
it('플레이스홀더가 모두 치환되면 경고하지 않는다', () => {
renderInstructionPrompt('{{text}}', { text: 'A' })
expect(mockLogger.warn).not.toHaveBeenCalled()
})
})
describe('buildInstructionInvocation', () => {
it('{{text}}가 없는 지시문은 시스템 프롬프트로, 사용자 텍스트는 처리 대상으로 보낸다', () => {
// builtin-summarize 와 같은 모양 — 플레이스홀더 없음
const invocation = buildInstructionInvocation(
'다음 텍스트의 핵심 내용을 3줄 이내로 요약해주세요.',
'오늘 회의에서 배포 일정을 정했습니다',
)
expect(invocation.text).toBe('오늘 회의에서 배포 일정을 정했습니다')
expect(invocation.systemPrompt).toBe('다음 텍스트의 핵심 내용을 3줄 이내로 요약해주세요.')
})
it('builtin-translate 지시문은 대상 언어를 치환해 시스템 프롬프트로 보낸다', () => {
const invocation = buildInstructionInvocation(
'다음 텍스트를 {{targetLanguage}}로 번역해주세요.\n자연스럽고 정확한 번역만 출력하세요.',
'안녕하세요',
)
expect(invocation.text).toBe('안녕하세요')
expect(invocation.systemPrompt).toBe(
`다음 텍스트를 ${DEFAULT_TARGET_LANGUAGE}로 번역해주세요.\n자연스럽고 정확한 번역만 출력하세요.`,
)
expect(invocation.systemPrompt).not.toContain('{{')
})
it('builtin-free-prompt는 사용자 텍스트를 시스템 프롬프트로 보낸다', () => {
const invocation = buildInstructionInvocation('{{userPrompt}}', '파이썬으로 피보나치 짜줘')
expect(invocation.text).toBe('파이썬으로 피보나치 짜줘')
expect(invocation.systemPrompt).toBe('파이썬으로 피보나치 짜줘')
})
it('{{text}}를 쓰는 지시문은 하위 호환을 위해 치환 결과를 처리 대상 텍스트로 보낸다', () => {
const invocation = buildInstructionInvocation('아래를 불릿으로 정리해줘:\n{{text}}', '가 나 다')
expect(invocation.text).toBe('아래를 불릿으로 정리해줘:\n가 나 다')
expect(invocation.systemPrompt).toBeUndefined()
})
it('명시적 대상 언어를 그대로 사용한다', () => {
const invocation = buildInstructionInvocation(
'{{targetLanguage}}로 번역해줘',
'안녕',
'프랑스어',
)
expect(invocation.systemPrompt).toBe('프랑스어로 번역해줘')
})
})
describe('resolveSystemPrompt', () => {
it("action 'custom'에 프롬프트가 있으면 그대로 시스템 프롬프트로 쓴다", () => {
expect(resolveSystemPrompt('custom', undefined, '전문 용어를 풀어써라')).toBe(
'전문 용어를 풀어써라',
)
expect(mockLogger.warn).not.toHaveBeenCalled()
})
it("action 'custom'인데 프롬프트가 비어 있으면 조용히 떨어지지 않고 경고한다", () => {
const result = resolveSystemPrompt('custom', undefined, undefined)
expect(mockLogger.warn).toHaveBeenCalledTimes(1)
expect(mockLogger.warn.mock.calls[0][0]).toContain('custom')
expect(result).toBe(resolveSystemPrompt('refine'))
})
it("공백뿐인 custom 프롬프트도 비어 있는 것으로 보고 경고한다", () => {
resolveSystemPrompt('custom', undefined, ' ')
expect(mockLogger.warn).toHaveBeenCalledTimes(1)
})
it('translate 액션은 대상 언어를 치환한다', () => {
expect(resolveSystemPrompt('translate', '독일어')).toContain('독일어로 번역')
expect(resolveSystemPrompt('translate')).toContain(`${DEFAULT_TARGET_LANGUAGE}로 번역`)
})
// 수정 대상이 아닌 일반 액션들이 각자의 프롬프트로 해석되는지 잠근다.
// 이들이 refine으로 조용히 폴백하면 커스텀 경로와 같은 사고가 난다.
it.each(['refine', 'summarize', 'grammar', 'expand'] as const)(
"'%s' 액션은 자기 자신의 시스템 프롬프트로 해석된다",
(action) => {
const resolved = resolveSystemPrompt(action)
expect(resolved).toBe(BASE_SYSTEM_PROMPTS[action])
expect(resolved).not.toContain('{{')
expect(mockLogger.warn).not.toHaveBeenCalled()
},
)
it('refine 이외의 일반 액션이 refine 프롬프트로 폴백하지 않는다', () => {
for (const action of ['summarize', 'grammar', 'expand'] as const) {
expect(resolveSystemPrompt(action)).not.toBe(BASE_SYSTEM_PROMPTS.refine)
}
})
})