feat(meeting): correct transcripts with vocabulary learned from typing
Meeting and caption transcription never used what the app had already learned: speech recognition ran with a fixed Korean prompt, the refine prompt had no glossary, refined lines stopped inside the caption service, and the saved transcript was a raw join of segments. Names and jargon the user types every day were therefore re-mangled on every recording. The learned corpus (user dictionary plus personal phrases) now feeds one glossary that biases recognition, fixes mistyped words deterministically right after each line is finalized, and is handed to the local model when it polishes a line. Refined lines also reach the meeting transcript and screen through a new segment-updated event. Corrections never touch words the user actually wrote, refuse ties between equally likely candidates, and keep particles intact.
This commit is contained in:
parent
d631042836
commit
9c2b6a9782
21 changed files with 1134 additions and 61 deletions
|
|
@ -1,5 +1,13 @@
|
|||
# D3RO-VOICE 프로젝트 현황
|
||||
|
||||
## 학습 어휘를 회의록 전사 교열에 연결 (2026-11-05)
|
||||
|
||||
- 사용자 보고: "키보드로 치는 건 다 학습하는데 회의록 전사에 활용을 못 한다, 전사가 엉망".
|
||||
- 규명된 원인 5가지: (1) 자막/회의 STT는 `다음은 한국어 대화입니다.` 고정 힌트만 사용(사전·학습 어휘는 받아쓰기 경로에만 있었음), (2) 개인 어휘(`personal_phrases`)는 입력 제안(`SuggestionService`/`PersonalNgramIndex`)에만 연결, (3) 교열 프롬프트에 용어 블록 없음, (4) `CaptionService`의 다듬기 결과가 회의 세션·렌더러로 전달되지 않아 저장 전사는 원문 그대로, (5) `rawTranscript`는 원문 세그먼트 단순 결합.
|
||||
- 해결: 새 SSOT `packages/core/src/transcript-correction.ts`(글로서리·사전 변형 치환·1자모 학습 어절 교정·LLM 참고 블록) + `TranscriptGlossaryService`(사전+개인 문구 15초 캐시, 사전 변경 시 즉시 무효화, 실패 시 빈 어휘) 를 `CaptionService`(매 인식 힌트·확정 줄 교정·교열 프롬프트·`segment-updated`), `MeetingRecordingSession`/`MeetingModeService`(`meetingMode:segmentUpdated`로 회의 세션·화면 갱신, auto-polish에 용어 블록), `FileTranscriptionService`(조각별 힌트·교정), `VoiceModeService`(학습 어절 패스)에 배선.
|
||||
- 교정 안전 규칙: 사용자가 실제로 쓴 어절은 절대 변경하지 않고, 후보가 동률이면 고치지 않으며, 조사는 그대로 두고 어절만 바꾼다.
|
||||
- 검증: core `transcript-correction.test.ts` 16, 데스크톱 `transcript-glossary.test.ts` 9, 데스크톱 offline 전체(2788)에서 드러난 회귀 2건을 수정해 재통과, workspace typecheck·변경 파일 ESLint·`test:hygiene` GREEN. 실회의 실측은 `GAP-MTG-04`로 남김.
|
||||
|
||||
## v1.9.0 — 전사 구간·프리셋 프롬프트 동기화 (2026-09-27)
|
||||
|
||||
- "일부러 동기화 안 함"으로 두었던 두 가지도 구현(사용자: "모두 마무리"). 커밋 08c6504(0036) 2aac10f(데스크톱) 796916b(v1.9.0).
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue