Phase 10~11 전체 구현: 킬러 피처 5종 + 수익화 시스템
Phase 10 킬러 피처: - MemoService: 태그 CRUD + 마크다운 내보내기 (memo_tags DB) - VoiceCommandService: 키워드→명령어 매칭, 프리셋 4종 - ScreenContextService: PowerShell 활성 윈도우 + Ctrl+C 선택 텍스트 - ChainService: LLM 명령어 순차 실행 파이프라인 - CaptionService: 6초 청크 연속 전사 + 시스템 오디오 루프백 VoiceModeService 파이프라인 통합: - 녹음 시작 → 컨텍스트 캡처 → STT → 키워드 매칭 → LLM(체인/컨텍스트 주입) → 삽입 시스템 오디오 캡처: - setDisplayMediaRequestHandler + audio: 'loopback' (IPC 브릿지) - electron-audio-loopback 패키지 contextIsolation 호환 불가 → 직접 구현 Phase 11 수익화: - LicenseService: Free/Pro/Pro+ 3티어, LemonSqueezy API - Feature Gate: requireFeature/checkFeature/consumeFeature - 일일 쿼터: Free dictation 20/일, LLM 10/일 (SQLite daily_usage) - LicenseModal, ProBadge, UpgradePromptModal UI 디자인 보강: - d3roTypo(13종), d3roShadow(10종), d3roRadius(7종) 토큰 시스템 - ScreenPanel, ButtonGroup DS 컴포넌트 신규 - PhosphorText 4→13종 변형, MetalDial conic-gradient 광택 - 공유 컴포넌트: EmptyStateCard, SearchInput, PageHeader, HistoryEntryCard 기타: - 자막 핫키 SSOT 전체 연동 (Config→Hotkey→VoiceMode→Caption→Settings) - StatusBar 자막 LED + 효과음, 자막 로딩 UI - LLM 상태 이벤트 전파 수정 (폴링 제거 → onStatusChanged) - 커맨드 팝업 "선택 해제" 항목 추가
This commit is contained in:
parent
36d77ca224
commit
a31f96bbb8
97 changed files with 11853 additions and 1143 deletions
98
src/renderer/utils/systemAudioCapture.ts
Normal file
98
src/renderer/utils/systemAudioCapture.ts
Normal file
|
|
@ -0,0 +1,98 @@
|
|||
// src/renderer/utils/systemAudioCapture.ts
|
||||
// 시스템 오디오(데스크톱 소리) 캡처 — Electron setDisplayMediaRequestHandler + audio: 'loopback'
|
||||
// contextIsolation: true 환경에서 preload IPC 브릿지를 통해 동작
|
||||
|
||||
let mediaStream: MediaStream | null = null
|
||||
let audioContext: AudioContext | null = null
|
||||
let processorNode: ScriptProcessorNode | null = null
|
||||
|
||||
const TARGET_SAMPLE_RATE = 16000
|
||||
|
||||
/**
|
||||
* 시스템 오디오 캡처를 시작한다.
|
||||
* 1. preload를 통해 메인 프로세스에 loopback 핸들러 등록 요청
|
||||
* 2. getDisplayMedia로 시스템 오디오 MediaStream 획득
|
||||
* 3. ScriptProcessorNode로 PCM16 16kHz mono 변환 후 콜백 전달
|
||||
*/
|
||||
export async function startSystemAudioCapture(
|
||||
onAudioData: (pcm16Buffer: ArrayBuffer) => void,
|
||||
): Promise<void> {
|
||||
if (mediaStream) {
|
||||
throw new Error('System audio capture already active')
|
||||
}
|
||||
|
||||
// 1. 메인 프로세스에 loopback 핸들러 등록
|
||||
await window.electronAPI.caption.enableLoopback()
|
||||
|
||||
// 2. getDisplayMedia — video: true 필수 (Chromium 제약), 이후 video track 제거
|
||||
try {
|
||||
mediaStream = await navigator.mediaDevices.getDisplayMedia({
|
||||
video: true,
|
||||
audio: true,
|
||||
})
|
||||
} catch (err) {
|
||||
// loopback 핸들러 해제
|
||||
await window.electronAPI.caption.disableLoopback()
|
||||
throw err
|
||||
}
|
||||
|
||||
// 3. loopback 핸들러 해제 (다른 getDisplayMedia 호출에 영향 방지)
|
||||
await window.electronAPI.caption.disableLoopback()
|
||||
|
||||
// 4. 비디오 트랙 제거
|
||||
mediaStream.getVideoTracks().forEach((t) => {
|
||||
t.stop()
|
||||
mediaStream?.removeTrack(t)
|
||||
})
|
||||
|
||||
const audioTrack = mediaStream.getAudioTracks()[0]
|
||||
if (!audioTrack) {
|
||||
stopSystemAudioCapture()
|
||||
throw new Error('No audio track in loopback stream')
|
||||
}
|
||||
|
||||
// 5. AudioContext로 PCM 추출
|
||||
audioContext = new AudioContext({ sampleRate: TARGET_SAMPLE_RATE })
|
||||
const source = audioContext.createMediaStreamSource(new MediaStream([audioTrack]))
|
||||
|
||||
const bufferSize = 4096
|
||||
processorNode = audioContext.createScriptProcessor(bufferSize, 1, 1)
|
||||
|
||||
processorNode.onaudioprocess = (event: AudioProcessingEvent) => {
|
||||
const inputData = event.inputBuffer.getChannelData(0)
|
||||
|
||||
// Float32 → PCM16 변환
|
||||
const pcm16 = new Int16Array(inputData.length)
|
||||
for (let i = 0; i < inputData.length; i++) {
|
||||
const s = Math.max(-1, Math.min(1, inputData[i]))
|
||||
pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7fff
|
||||
}
|
||||
|
||||
onAudioData(pcm16.buffer)
|
||||
}
|
||||
|
||||
source.connect(processorNode)
|
||||
processorNode.connect(audioContext.destination)
|
||||
}
|
||||
|
||||
export function stopSystemAudioCapture(): void {
|
||||
if (processorNode) {
|
||||
processorNode.disconnect()
|
||||
processorNode.onaudioprocess = null
|
||||
processorNode = null
|
||||
}
|
||||
|
||||
if (audioContext) {
|
||||
audioContext.close().catch(() => { /* ignore */ })
|
||||
audioContext = null
|
||||
}
|
||||
|
||||
if (mediaStream) {
|
||||
mediaStream.getTracks().forEach((t) => t.stop())
|
||||
mediaStream = null
|
||||
}
|
||||
}
|
||||
|
||||
export function isSystemAudioCaptureActive(): boolean {
|
||||
return mediaStream !== null
|
||||
}
|
||||
Loading…
Add table
Add a link
Reference in a new issue