Phase 10~11 전체 구현: 킬러 피처 5종 + 수익화 시스템

Phase 10 킬러 피처:
- MemoService: 태그 CRUD + 마크다운 내보내기 (memo_tags DB)
- VoiceCommandService: 키워드→명령어 매칭, 프리셋 4종
- ScreenContextService: PowerShell 활성 윈도우 + Ctrl+C 선택 텍스트
- ChainService: LLM 명령어 순차 실행 파이프라인
- CaptionService: 6초 청크 연속 전사 + 시스템 오디오 루프백

VoiceModeService 파이프라인 통합:
- 녹음 시작 → 컨텍스트 캡처 → STT → 키워드 매칭 → LLM(체인/컨텍스트 주입) → 삽입

시스템 오디오 캡처:
- setDisplayMediaRequestHandler + audio: 'loopback' (IPC 브릿지)
- electron-audio-loopback 패키지 contextIsolation 호환 불가 → 직접 구현

Phase 11 수익화:
- LicenseService: Free/Pro/Pro+ 3티어, LemonSqueezy API
- Feature Gate: requireFeature/checkFeature/consumeFeature
- 일일 쿼터: Free dictation 20/일, LLM 10/일 (SQLite daily_usage)
- LicenseModal, ProBadge, UpgradePromptModal UI

디자인 보강:
- d3roTypo(13종), d3roShadow(10종), d3roRadius(7종) 토큰 시스템
- ScreenPanel, ButtonGroup DS 컴포넌트 신규
- PhosphorText 4→13종 변형, MetalDial conic-gradient 광택
- 공유 컴포넌트: EmptyStateCard, SearchInput, PageHeader, HistoryEntryCard

기타:
- 자막 핫키 SSOT 전체 연동 (Config→Hotkey→VoiceMode→Caption→Settings)
- StatusBar 자막 LED + 효과음, 자막 로딩 UI
- LLM 상태 이벤트 전파 수정 (폴링 제거 → onStatusChanged)
- 커맨드 팝업 "선택 해제" 항목 추가
This commit is contained in:
Yun Chan 2026-04-05 21:36:09 +09:00
parent 36d77ca224
commit a31f96bbb8
97 changed files with 11853 additions and 1143 deletions

View file

@ -0,0 +1,98 @@
// src/renderer/utils/systemAudioCapture.ts
// 시스템 오디오(데스크톱 소리) 캡처 — Electron setDisplayMediaRequestHandler + audio: 'loopback'
// contextIsolation: true 환경에서 preload IPC 브릿지를 통해 동작
let mediaStream: MediaStream | null = null
let audioContext: AudioContext | null = null
let processorNode: ScriptProcessorNode | null = null
const TARGET_SAMPLE_RATE = 16000
/**
* .
* 1. preload를 loopback
* 2. getDisplayMedia로 MediaStream
* 3. ScriptProcessorNode로 PCM16 16kHz mono
*/
export async function startSystemAudioCapture(
onAudioData: (pcm16Buffer: ArrayBuffer) => void,
): Promise<void> {
if (mediaStream) {
throw new Error('System audio capture already active')
}
// 1. 메인 프로세스에 loopback 핸들러 등록
await window.electronAPI.caption.enableLoopback()
// 2. getDisplayMedia — video: true 필수 (Chromium 제약), 이후 video track 제거
try {
mediaStream = await navigator.mediaDevices.getDisplayMedia({
video: true,
audio: true,
})
} catch (err) {
// loopback 핸들러 해제
await window.electronAPI.caption.disableLoopback()
throw err
}
// 3. loopback 핸들러 해제 (다른 getDisplayMedia 호출에 영향 방지)
await window.electronAPI.caption.disableLoopback()
// 4. 비디오 트랙 제거
mediaStream.getVideoTracks().forEach((t) => {
t.stop()
mediaStream?.removeTrack(t)
})
const audioTrack = mediaStream.getAudioTracks()[0]
if (!audioTrack) {
stopSystemAudioCapture()
throw new Error('No audio track in loopback stream')
}
// 5. AudioContext로 PCM 추출
audioContext = new AudioContext({ sampleRate: TARGET_SAMPLE_RATE })
const source = audioContext.createMediaStreamSource(new MediaStream([audioTrack]))
const bufferSize = 4096
processorNode = audioContext.createScriptProcessor(bufferSize, 1, 1)
processorNode.onaudioprocess = (event: AudioProcessingEvent) => {
const inputData = event.inputBuffer.getChannelData(0)
// Float32 → PCM16 변환
const pcm16 = new Int16Array(inputData.length)
for (let i = 0; i < inputData.length; i++) {
const s = Math.max(-1, Math.min(1, inputData[i]))
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7fff
}
onAudioData(pcm16.buffer)
}
source.connect(processorNode)
processorNode.connect(audioContext.destination)
}
export function stopSystemAudioCapture(): void {
if (processorNode) {
processorNode.disconnect()
processorNode.onaudioprocess = null
processorNode = null
}
if (audioContext) {
audioContext.close().catch(() => { /* ignore */ })
audioContext = null
}
if (mediaStream) {
mediaStream.getTracks().forEach((t) => t.stop())
mediaStream = null
}
}
export function isSystemAudioCaptureActive(): boolean {
return mediaStream !== null
}