fix(conversation): drop the utterance when the user cancels while it is still being transcribed

Cancel only aborted an in-flight LLM response, which does not exist yet
during STT, so the cancelled speech was answered a few seconds later. A
turn counter bumped by cancel/stop now discards the late transcript.
This commit is contained in:
Yun Chan 2026-10-20 22:47:10 +09:00
parent 7384ba98ba
commit 3851c2a09a
2 changed files with 26 additions and 2 deletions

View file

@ -50,6 +50,8 @@ class VoiceConversationService extends EventEmitter {
*/
private _micHeld = false
private _responseAbortController: AbortController | null = null
/** 취소·세션 종료마다 올린다 — 전사가 끝났을 때 그 사이 취소됐는지 가린다(전사 중엔 abort 할 응답이 없다). */
private _turn = 0
get state(): ConversationState {
return this._state
@ -117,6 +119,7 @@ class VoiceConversationService extends EventEmitter {
stopSession(): void {
if (!this._isActive) return
this._turn += 1
this._stopListening()
// 이 대화의 응답만 멈춘다 — signal 이 LLM 호출까지 전달된다(전역 cancelGeneration 은 다른 기능의
// 진행 중 호출까지 끊었다).
@ -143,6 +146,7 @@ class VoiceConversationService extends EventEmitter {
* 현재 LLM 응답 또는 TTS 재생을 취소.
*/
cancelResponse(): void {
this._turn += 1
this._responseAbortController?.abort()
getTTSPlaybackService().stop()
if (this._isActive && this._state !== 'listening') {
@ -250,6 +254,7 @@ class VoiceConversationService extends EventEmitter {
// _stopListening()이 내부적으로 this._audioBuffers = []로 리셋하므로,
// concat은 반드시 stop 호출 **전**에 끝내야 한다. (Bug 11)
const audioBuffer = Buffer.concat(this._audioBuffers)
const turn = this._turn
this._stopListening()
this._setState('thinking')
@ -274,7 +279,8 @@ class VoiceConversationService extends EventEmitter {
const language = (configGet('sttLanguage') as string | undefined) ?? 'auto'
result = await sttService.transcribe(audioBuffer, { language, vadFilter: true })
if (!this._isActive) return
// 전사 중에 취소했거나 세션을 다시 시작했다 — 취소한 발화를 LLM 에 보내지 않는다.
if (!this._isActive || turn !== this._turn) return
if (!result.text || result.text.trim().length === 0) {
// Bug 13: VAD가 전체 오디오를 무음 판정한 경우에도 사용자 피드백.
@ -283,7 +289,7 @@ class VoiceConversationService extends EventEmitter {
return
}
} catch (err) {
if (!this._isActive) return
if (!this._isActive || turn !== this._turn) return
logger.error('STT failed in conversation:', err)
this._resumeListening()
this._emitError('stt', err instanceof Error ? err.message : 'STT failed')

View file

@ -140,6 +140,24 @@ describe('VoiceConversationService — 오류 경로가 세션을 굳히지 않
expect(conversationErrors()).toHaveLength(1)
})
it('전사 중에 취소하면 취소한 발화를 LLM 에 보내지 않고 계속 듣는다', async () => {
let finish: (value: { text: string }) => void = () => undefined
mocks.transcribe.mockImplementation(() => new Promise((resolve) => { finish = resolve }))
const service = getVoiceConversationService()
await service.startSession()
feedAudio(32_000)
const pending = service.finishListening()
await Promise.resolve()
service.cancelResponse()
finish({ text: '취소한 말' })
await pending
expect(mocks.chatStream).not.toHaveBeenCalled()
expect(service.state).toBe('listening')
expect(service.getHistory()).toEqual([])
})
it('LLM 이 실패하면 listening 으로 돌아가고 llm 오류 하나만 알린다(stt 로 다시 알리지 않는다)', async () => {
mocks.transcribe.mockResolvedValue({ text: '안녕' })
mocks.chatStream.mockImplementation(() => failing())