🎙️ 실시간 음성 AI 에이전트를 위한 Krisp Voice Isolation 기술

1. 음성 에이전트 서빙의 핵심 병목: 동시 화자 (Competing Voices)

현대적인 실시간 음성 에이전트 시스템(예: Live Voice Agent)은 STT(Speech-to-Text), LLM, TTS(Text-to-Speech)의 밀착 결합으로 구동됩니다.

  • 기존의 노이즈 격리는 길거리 소음이나 배경 잡음은 잘 차단하지만, 사용자 주변의 다른 사람 목소리(Competing voices)가 동시에 섞여 들어올 경우 두 화자를 구분하지 못함.
  • 두 명 이상의 대화가 뒤섞여 들어갈 경우 STT 단어 오류율(WER, Word Error Rate)이 비약적으로 급등하며, 이는 연쇄적으로 LLM 에이전트가 잘못된 컨텍스트를 응답하게 만드는 중대한 시스템 결함을 낳음.

2. Krisp Voice Isolation 2.5 아키텍처 및 성능 지표

  • 위치: 사용자 음성이 유입되는 오디오 스트림 맨 전단(First-mile STT 전처리 필터)에 탑재.
  • 스펙 및 속도: 온디바이스 CPU 단독 연산으로 구동하며, 지연 속도가 단 15ms 미만으로 설계되어 음성 실시간 스트리밍 흐름을 저해하지 않음.
  • 주요 벤치마크 결과 (1,685개 실전 전화 오디오 검증):
    • 동시 화자가 유입되는 극도의 잡음 구간에서 단어 에러율(WER) 평균 46% 감소.
    • 심각한 겹침 목소리 발생 시 최댓값 기준 에러율 70% 감소 방어.
    • 깨끗한 입력 신호가 들어왔을 때도 신호 대 잡음비(SNR) 훼손이나 오디오 위상 왜곡을 전혀 일으키지 않아 에이전트 게이트에 상시 필터로 상주 적합.
  • 생태계 호환: Pipecat 라이브 오디오 프레임워크, Deepgram, Cartesia, Livekit 등 주요 음성 에이전트 파이프라인과 플러그인 형태로 즉각 통합 가능.