fix(conversation): drop the utterance when the user cancels while it is still being transcribed
Cancel only aborted an in-flight LLM response, which does not exist yet during STT, so the cancelled speech was answered a few seconds later. A turn counter bumped by cancel/stop now discards the late transcript.
This commit is contained in:
parent
7384ba98ba
commit
3851c2a09a
2 changed files with 26 additions and 2 deletions
|
|
@ -50,6 +50,8 @@ class VoiceConversationService extends EventEmitter {
|
|||
*/
|
||||
private _micHeld = false
|
||||
private _responseAbortController: AbortController | null = null
|
||||
/** 취소·세션 종료마다 올린다 — 전사가 끝났을 때 그 사이 취소됐는지 가린다(전사 중엔 abort 할 응답이 없다). */
|
||||
private _turn = 0
|
||||
|
||||
get state(): ConversationState {
|
||||
return this._state
|
||||
|
|
@ -117,6 +119,7 @@ class VoiceConversationService extends EventEmitter {
|
|||
stopSession(): void {
|
||||
if (!this._isActive) return
|
||||
|
||||
this._turn += 1
|
||||
this._stopListening()
|
||||
// 이 대화의 응답만 멈춘다 — signal 이 LLM 호출까지 전달된다(전역 cancelGeneration 은 다른 기능의
|
||||
// 진행 중 호출까지 끊었다).
|
||||
|
|
@ -143,6 +146,7 @@ class VoiceConversationService extends EventEmitter {
|
|||
* 현재 LLM 응답 또는 TTS 재생을 취소.
|
||||
*/
|
||||
cancelResponse(): void {
|
||||
this._turn += 1
|
||||
this._responseAbortController?.abort()
|
||||
getTTSPlaybackService().stop()
|
||||
if (this._isActive && this._state !== 'listening') {
|
||||
|
|
@ -250,6 +254,7 @@ class VoiceConversationService extends EventEmitter {
|
|||
// _stopListening()이 내부적으로 this._audioBuffers = []로 리셋하므로,
|
||||
// concat은 반드시 stop 호출 **전**에 끝내야 한다. (Bug 11)
|
||||
const audioBuffer = Buffer.concat(this._audioBuffers)
|
||||
const turn = this._turn
|
||||
|
||||
this._stopListening()
|
||||
this._setState('thinking')
|
||||
|
|
@ -274,7 +279,8 @@ class VoiceConversationService extends EventEmitter {
|
|||
const language = (configGet('sttLanguage') as string | undefined) ?? 'auto'
|
||||
result = await sttService.transcribe(audioBuffer, { language, vadFilter: true })
|
||||
|
||||
if (!this._isActive) return
|
||||
// 전사 중에 취소했거나 세션을 다시 시작했다 — 취소한 발화를 LLM 에 보내지 않는다.
|
||||
if (!this._isActive || turn !== this._turn) return
|
||||
|
||||
if (!result.text || result.text.trim().length === 0) {
|
||||
// Bug 13: VAD가 전체 오디오를 무음 판정한 경우에도 사용자 피드백.
|
||||
|
|
@ -283,7 +289,7 @@ class VoiceConversationService extends EventEmitter {
|
|||
return
|
||||
}
|
||||
} catch (err) {
|
||||
if (!this._isActive) return
|
||||
if (!this._isActive || turn !== this._turn) return
|
||||
logger.error('STT failed in conversation:', err)
|
||||
this._resumeListening()
|
||||
this._emitError('stt', err instanceof Error ? err.message : 'STT failed')
|
||||
|
|
|
|||
|
|
@ -140,6 +140,24 @@ describe('VoiceConversationService — 오류 경로가 세션을 굳히지 않
|
|||
expect(conversationErrors()).toHaveLength(1)
|
||||
})
|
||||
|
||||
it('전사 중에 취소하면 취소한 발화를 LLM 에 보내지 않고 계속 듣는다', async () => {
|
||||
let finish: (value: { text: string }) => void = () => undefined
|
||||
mocks.transcribe.mockImplementation(() => new Promise((resolve) => { finish = resolve }))
|
||||
const service = getVoiceConversationService()
|
||||
await service.startSession()
|
||||
feedAudio(32_000)
|
||||
|
||||
const pending = service.finishListening()
|
||||
await Promise.resolve()
|
||||
service.cancelResponse()
|
||||
finish({ text: '취소한 말' })
|
||||
await pending
|
||||
|
||||
expect(mocks.chatStream).not.toHaveBeenCalled()
|
||||
expect(service.state).toBe('listening')
|
||||
expect(service.getHistory()).toEqual([])
|
||||
})
|
||||
|
||||
it('LLM 이 실패하면 listening 으로 돌아가고 llm 오류 하나만 알린다(stt 로 다시 알리지 않는다)', async () => {
|
||||
mocks.transcribe.mockResolvedValue({ text: '안녕' })
|
||||
mocks.chatStream.mockImplementation(() => failing())
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue