yunchan/d3ro-voice
1
0
Fork 0
Code Issues Pull requests Projects Releases 2 Packages Wiki Activity Actions
d3ro-voice/memory/handoff-archive/2026-04-12-1830-phase32-premium-llm.md

12 KiB
Raw Blame History

Session Handoff — 2026-04-11 23:30 (빅뱅 Phase 5 Part 6 — Voice Conversation 몰입 UX + 남은 이슈 전체 정리)

From: macOS (yunchan-ui-MacBookPro) Last commit: dc7f933 — fix(desktop): CloudSync Realtime 자동 재구독 + Refresh token 실패 재인증 알림 (U1+U3) Branch: main Remote: https://gitlab.twentyoz.kr:8443/d3r0/voice.git Working tree: clean, push 완료

✅ 이번 세션 요약 — 빅뱅 Phase 5 Part 6 (commit 3개)

Part 5-C 설계만 완료 상태로 이월된 Voice Conversation UX 몰입 패널을 구현하고, Mac 플랫폼 감사에서 남은 작은 이슈들(U1/U3/U4/U7)을 한 세션에 모두 털음.

412a2e7 — Voice Conversation 몰입 UX + 사운드 피드백 + Bug 13 빈 STT (U6 + U8)

신규 컴포넌트: apps/desktop/src/renderer/components/voice-conversation/VoiceRecordingPanel.tsx

  • recording-tip/script.js의 9바 cos-분포 waveform(BAR_COUNT=9, SMOOTHING=0.5, RANDOM_FACTOR=0.35, UPDATE_INTERVAL=100, MIN=2, MAX=28)을 React로 포팅
  • useRef로 audioLevelRef 유지, useEffect에서 setInterval 100ms. 렌더링은 setHeights(next)로 반영.
  • REC LED(pulse) + elapsed 타이머 + "SPEAK NOW · PRESS ⏹ TO SEND" 힌트(i18n)
  • 색상은 전부 d3roPalette.accent.amber + amberGlow (hex 하드코딩 없음)

서비스 변경: VoiceConversationService.ts

  • _onAudioLevel 추가 — AudioCaptureService의 audio-level 이벤트를 listening 상태일 때만 VOICE_CONVERSATION.AUDIO_LEVEL 채널로 렌더러 forwarding
  • 사운드 훅 4개: _startListening()에 recording-start, finishListening에 recording-stop, TTS finished 직후 chime, _emitError()에 error
  • Bug 13(U8) 동반 해소: minBytes 미달(< 16000 bytes) 또는 transcribe 결과 빈 텍스트일 때 조용히 listening으로 복귀하던 것을 _emitError('stt', 'No speech detected...')로 사용자 피드백 추가

SoundEffectService: SoundName에 'chime' 추가, 파일은 recording-stop.wav 재사용

VoiceConversationPage 레이아웃 분기:

  • state === 'listening': <VoiceRecordingPanel /> 풀 몰입 모드 (메시지 리스트/TextField 모두 숨김)
  • 그 외: 기존 메시지 리스트 + state === 'thinking' && !streamingText 일 때 점 3개 typing indicator 버블 추가
  • TextField: state !== 'listening' 조건부 렌더 + thinking/speaking에선 disabled + placeholder 교체

IPC: packages/core/src/ipc-channels.ts에 VOICE_CONVERSATION.AUDIO_LEVEL 채널 추가. preload에 voiceConversation.onAudioLevel 구독 API.

i18n: ko.json / en.json에 3개 키 추가 (나머지 10개 locale은 conversation 네임스페이스 자체가 없어 en fallback):

  • conversation.recording.hint — "말씀하세요 · ⏹로 전송"
  • conversation.thinking.placeholder — "응답 대기 중…"
  • conversation.state.recording — "녹음 중"

실측: 사용자 "잘됩니당!" 보고 + 로그에서 5.1초 한국어 오디오 전사 성공("에이에이에이에이 또 검중이래요").

dd591d0 — AudioCaptureService.getDevices Mac 분기 (U7)

getDevices()가 플랫폼 불문 powershell -NoProfile을 호출해 Mac에서 "Failed to enumerate audio devices via PowerShell" 경고 + 1 device fallback이 발생하던 문제. process.platform 분기로 _getDevicesWindows / _getDevicesMac helper 분리. Mac은 system_profiler SPAudioDataType -json으로 coreaudio_device_input > 0 인 항목만 추출.

macOS SoX는 실제 캡처 경로에서 -d(default) 고정이므로 deviceId='default'로 통일하고 label만 사용자 구분용 노출. Linux는 default 1개만 반환.

실측 로그: Found 2 audio device(s) on darwin (default + MacBook Pro 마이크).

dc7f933 — CloudSync Realtime 자동 재구독 + Refresh token 재인증 (U1 + U3 + U4)

U1 — Realtime TIMED_OUT 지수 백오프 재구독

  • CloudSyncService.startRealtime()의 subscribe() 콜백이 TIMED_OUT 한 줄만 로깅하고 끝나던 것을 재구독 로직으로 교체
  • SUBSCRIBED → retry count reset + timer clear
  • TIMED_OUT / CHANNEL_ERROR / CLOSED → _scheduleRealtimeRetry() (중복 예약 가드 있음)
  • 백오프: 1s → 3s → 10s (MAX 3회), 초과 시 경고 로그 후 포기
  • stopRealtime()에서 타이머/카운터 cleanup
  • 실측 확인: (1/3): 1000ms → (2/3): 3000ms → (3/3): 10000ms 순서대로 로그 찍힘. 근본 원인은 Supabase 서버 transient 의심(이 패치로 완전 해결은 아님), 네트워크 jitter 복구 윈도우 확보가 목표.

U3 — Refresh token 실패 시 재인증 알림

  • init()의 refreshSession 실패 브랜치에서 warn 로깅 + 토큰 삭제만 하던 것을 error 레벨 승격 + sync-error 이벤트 + auth-changed { user: null } emit으로 교체
  • catch 브랜치도 동일 처리 (기존엔 로깅만)
  • 재현이 쉽지 않아 예방적 개선. 사용자가 "왜 로그아웃됐지?" 상태 방치 방지.

U4 — package-lock optional dep (close)

  • lock에 rollup 전 플랫폼 optional deps가 기록돼 있지만 Windows 빌드자 사전 fetch 효율 + 크로스플랫폼 CI 고려해 유지. apps/desktop/package.json:56에 @rollup/rollup-win32-x64-msvc 명시 의존. 이 이슈는 확인 후 close.

🚧 미해결 이슈 (이월)

U1 근본 원인 (부분 개선)

재구독 로직 추가로 jitter 복구는 가능하지만 매 기동 시 초기 구독에서 TIMED_OUT이 나오는 현상 자체의 원인은 여전히 불명. Publication/RLS/setAuth 모두 정상이라 Supabase 서버 측 transient 의심. 블로커 아님(Phase 3.3 Auto push fallback 완벽).

Phase 3.2 PREMIUM_LLM (빅뱅 8번 기준 중 8/8 마지막)

선행 조건: supabase secrets set 으로 ANTHROPIC_API_KEY / OPENAI_API_KEY (선택: STRIPE_*, RESEND_*, GOOGLE_CLOUD_STT_KEY) 주입 필요. 키는 사용자 소유. 주입 안 된 상태에서는 llm-proxy Edge Function 400/500 반환.

다음 세션 액션:

  1. 사용자가 cd server && SUPABASE_ACCESS_TOKEN=... supabase secrets set ANTHROPIC_API_KEY=sk-ant-... OPENAI_API_KEY=sk-proj-...
  2. web/api/llm-proxy 경로 실측 (Pro 이상 티어 가드 통과 여부 확인)
  3. desktop에서 PREMIUM_LLM feature 호출 경로 검증 — 빅뱅 성공 기준 8/8 완결

U3 재현 경로 (보조 관찰 대상)

수정은 했지만 재현 자체가 안 돼서 이벤트가 실제로 발생하는 타이밍은 미확인. 장시간 idle 후(~24h+) 앱 복귀 시 관찰 필요. Supabase JWT 기본 만료가 1h이므로 1일 방치 후 재기동하면 재현 가능성 있음.

🧭 다음 사이클 후보

  1. Phase 3.2 PREMIUM_LLM 완결 (빅뱅 8/8 마지막) — API keys supabase secrets 주입 선행
  2. 추가 기능 빌드: 사용자 우선순위 대기 (설계서 docs/design/00-master-architecture.md Phase 15 이후 로드맵에서 고르거나, 새 기능 요청 수신)
  3. docs/design 업데이트: 이번 세션에서 VoiceRecordingPanel 포팅하면서 설계서 03 와이어프레임이 구현과 일치하도록 정합성 확인 (미완, 선택)
  4. 마이그레이션 20260411000002_realtime_publication.sql 검증: Supabase 대시보드에서 publication에 meetings/history/dictionary 실제 등록 상태 확인 (U1 재현 방지)

🔑 Mac에서 이어받을 때 즉시 확인할 것 (같은 기기 계속)

git status                   # clean이어야 함
git log --oneline -5         # HEAD=dc7f933
git rev-parse HEAD           # dc7f933...

# dev가 살아있는지 (feedback_dev_autostart 규칙)
pgrep -lf "Electron\.app|electron-vite dev|next dev" | head -5
lsof -i :5173 -sTCP:LISTEN
lsof -i :3000 -sTCP:LISTEN

# 죽어있으면 (반드시 nohup + disown)
nohup npm run dev > /tmp/d3ro-desktop.log 2>&1 & disown
nohup npm --workspace=@d3ro/web run dev > /tmp/d3ro-web.log 2>&1 & disown

# 검증
cd apps/desktop && npx tsc --noEmit

⚠️ 환경 / 주의사항

  • Electron main 변경 시 HMR 안 먹음: src/main/** 수정 후에는 Electron kill + nohup 재기동 필수. 이번 세션에서 2번 재기동(U6/U7 구현 중).
  • dev 기동은 반드시 nohup + & disown: run_in_background: true 직접 사용 시 shell lifecycle로 Vite dev(5173)가 조기 종료됨.
  • Realtime TIMED_OUT: 이제 재구독까지 시도하므로 로그가 여러 줄 찍힘. 3회 실패 후 "Auto push fallback으로만 동작" 메시지가 정상 상태. Phase 3.3 Auto push가 실 데이터 경로.
  • Voice Conversation 동작: Mic 클릭(hold 아님) → 말함 → ⏹ 클릭 → 전사 → LLM → TTS → 자동 listening 재진입. 연속 대화 지원.
  • 음성 대화 Bug 13 힌트: 너무 짧게 녹음하거나 VAD가 무음 판정 시 이제 'No speech detected. ...' 에러 이벤트 + error 사운드 발생. renderer에서 이 이벤트를 받아 UI 표시하는 건 현재 스켈레톤(에러 핸들러는 있지만 배너 UI는 미구현 — 추후 필요 시 구현).

📦 의존성 / 도구

  • Node 22.22.2
  • Python 3.13.13
  • Supabase CLI 2.84.2
  • Ollama 0.20.5 (qwen3:4b 권장)
  • Electron 33.4.11
  • Next.js 15.5.14
  • SoX 14.4.2 (brew)
  • /usr/bin/say, /usr/bin/afplay, /usr/sbin/system_profiler — macOS 시스템 유틸

🧪 마지막 검증 상태

게이트 결과
desktop tsc --noEmit ✅ EXIT 0
Voice Conversation Mic → Stop → 전사 → LLM → TTS ✅ 사용자 "잘됩니당!"
Found 2 audio device(s) on darwin ✅ U7 해소
Realtime 재구독 1/2/3 백오프 로그 ✅ U1 동작 확인
Phase 3.3 Auto push (pushed=11, errors=0) ✅ 재기동 후 정상
git push origin main ✅ dc7f933 까지
Realtime SUBSCRIBED ❌ TIMED_OUT (U1 잔존, 재구독 로직은 정상 동작)

🎯 다음 세션 시작 프롬프트

D3RO-VOICE 빅뱅 Phase 5 Part 7 (또는 Phase 3.2 PREMIUM_LLM 완결).

지난 세션(Part 6)에서 Voice Conversation 몰입 UX 패널(9바 waveform + 사운드
4개 + state 분기) 구현 완료 + 남은 U1/U3/U4/U7 작은 이슈들 모두 정리.
빅뱅 8/8 성공 기준 중 마지막 1개(Phase 3.2 PREMIUM_LLM)만 남음.

## 시작 전 반드시
1. /session-handoff resume
2. memory/handoff-latest.md
3. memory/project_status.md — 빅뱅 Phase 5 Part 6/6+/6++ 섹션
4. CLAUDE.md 강제 규칙 13개
5. **auto memory** feedback_dev_autostart.md

## 첫 액션 (0번) — dev 서버/앱/웹 기동 ⭐ (사용자 고정 요구사항)
pgrep + lsof로 생존 확인, 죽어있으면 nohup으로 기동. feedback_dev_autostart
메모리 참조.

## 첫 액션 (1번) — 사용자에게 우선순위 질문

아래 3개 중 어느 걸로 갈지 사용자 컨펌:

A) Phase 3.2 PREMIUM_LLM 완결 (빅뱅 8/8 마지막)
   - 선행: supabase secrets set ANTHROPIC_API_KEY=... OPENAI_API_KEY=...
   - 사용자가 키 보유. 주입 스크립트:
     cd server && SUPABASE_ACCESS_TOKEN=<token> supabase secrets set \
       ANTHROPIC_API_KEY=sk-ant-... OPENAI_API_KEY=sk-proj-...
   - 주입 후 llm-proxy Edge Function 호출 테스트 + desktop PREMIUM_LLM
     feature flag 경로 검증

B) Voice Conversation 에러 배너 UI (Part 6 후속)
   - VoiceConversationPage에서 onError 이벤트 수신 후 Snackbar/Alert 표시
   - Bug 13 피드백 '"No speech detected"'를 사용자가 실제로 보게 하는 마무리
   - 작음 (1-2시간)

C) 새 기능 요청 (사용자 제안)

## 강제 규칙 (CLAUDE.md 13개)
- any 금지, console.log 금지 (logger 사용)
- 테마 SSOT: d3roPalette/d3roShadow
- i18n t() 사용
- 커밋 단위는 작업별, push 여부는 컨펌
- 작업 완료 즉시 memory/project_status.md 갱신 (규칙 13)

자, 첫 액션부터 시작해.

🔗 참고 문서

  • memory/project_status.md — 빅뱅 Phase 5 Part 6/6+/6++ 전체 이력
  • memory/handoff-archive/2026-04-11-2240-phase5-part5.md — 직전 스냅샷
  • docs/design/03-db-and-ui.md:428+ — RecordingTip waveform 스펙 (VoiceRecordingPanel 포팅 원본 참고)
  • apps/desktop/src/renderer/popups/recording-tip/script.js — Vanilla JS 원본 (포팅 소스)
  • apps/desktop/src/main/services/CloudSyncService.ts:362+ — Realtime 재구독 로직
  • Supabase 대시보드: https://supabase.com/dashboard/project/llnocwyqvhgwpdjcqqyw