Hugging Face 로컬 음성 에이전트(VAD-STT-LLM-TTS) 파이프라인 아키텍처
1. 개요
- 정의: Hugging Face에서 로컬 LLM 및 오픈소스 오디오 모델들을 조합하여 전체 음성 에이전트 루프(VAD STT LLM TTS)를 구동할 수 있는 통합 파이썬 패키지를 공개했습니다.
- 프로토콜 호환: OpenAI Realtime API 규격과 호환되는 WebSocket API를 노출하여 기존 클라이언트 코드의 수정을 최소화합니다.
- 실제 적용: Reachy Mini 로봇 수천 대의 상용 음성 백엔드로 채택되어 검증되었습니다.
2. 모듈별 스펙 및 대체 컴포넌트 (Modular Architecture)
모든 컴포넌트가 플러그인 형태로 분리되어 자유롭게 교환할 수 있습니다:
- 음성 활동 감지 (VAD - Voice Activity Detection):
- 기본 탑재: Silero VAD v5 (발화 시작 및 대화 턴 넘김 감지).
- 음성 인식 (STT - Speech-to-Text):
- 기본 탑재: Parakeet TDT (유럽 25개 언어 기본 지원).
- 대체 가능: Whisper, Faster Whisper, Paraformer 등.
- 추론 엔진 (LLM):
- OpenAI 호환 API 규격을 갖춘 모든 로컬/클라우드 엔드포인트 연동 가능.
- 예: 로컬
llama.cpp또는 vLLM 서버, 클라우드 OpenRouter 등.
- 음성 합성 (TTS - Text-to-Speech):
- 기본 탑재: Qwen3-TTS (로컬 고품질 음성 출력).
- 대체 가능: Kokoro, ChatTTS, Pocket TTS, MMS TTS 등.
3. 기능 및 실행 모드
- 4가지 런타임 인터페이스:
- 실시간 WebSocket 서버
- 로컬 오디오 입출력 인터페이스
- 로우(Raw) WebSocket 연결
- TCP 소켓 방식
- 다국어 자동 감지: 대화 턴 사이에 언어가 변경되어도 자동으로 언어를 판별 및 처리합니다.
- 배포 최적화: GPU 가속 인프라 배포를 돕기 위한 Docker 환경을 지원합니다.