AI 에이전트 Eval 심층 분석
이 글은 AI 에이전트의 평가(Eval)가 LLM 자체의 평가와 어떻게 다른지 설명하며, Anthropic이 공개한 에이전트 평가 비법을 소개합니다. 에이전트를 프로덕션에 배포하거나 사용할 때 반드시 알아야 할 핵심 내용들을 다룹니다.
1. 세 가지 유형의 Grader
에이전트를 평가하기 위해서는 ‘Grader’가 필요하며, 크게 세 가지 유형이 있습니다.
- 코드 기반 Grader (Code-Based Grader): 빠르고 객관적이라는 장점이 있지만, 유효한 변형에 취약합니다. 문자열 매칭이나 정적 분석과 같은 방식이 여기에 해당합니다.
- 모델 기반 Grader (Model-Based Grader): 유연하며 개방형(open-ended) 작업도 처리할 수 있지만, LLM이 채점하기 때문에 비결정적이라는 단점이 있습니다.
- 인간 Grader (Human Grader): 가장 높은 품질의 평가를 제공하지만, 비용이 많이 들고 느립니다. LLM judge를 보정(calibration)하거나 주관적인 출력을 평가할 때 필수적입니다.
2. 핵심 메트릭: pass@k vs pass^k
에이전트의 성공률을 측정하는 두 가지 중요한 메트릭이 있습니다.
- pass@k: k번의 시도 중 최소 한 번 성공할 확률을 의미합니다. 코드 생성과 같이 “한 번만 성공하면 되는” 시나리오에 적합합니다. 개발자가 여러 결과 중에서 가장 좋은 것을 선택할 수 있기 때문입니다.
- pass^k: k번의 시도가 모두 성공할 확률을 의미합니다. 고객 대면 시스템과 같이 높은 신뢰성이 요구되는 경우에 중요합니다. 예를 들어, 챗봇이 10번 중 9번은 잘 응답하더라도 1번이라도 이상하게 응답하면 고객의 신뢰를 잃을 수 있습니다. 90%의 성공률을 가진 에이전트라도 pass@3은 99.9%일 수 있지만, pass^3은 72.9%에 불과할 수 있습니다. 이는 고객 대면 시스템이 훨씬 더 엄격한 기준을 통과해야 함을 시사합니다.
3. 에이전트 유형별 평가 전략
에이전트의 유형에 따라 평가 방법이 완전히 달라져야 합니다.
- 코딩 에이전트 (Coding Agent): 결정적(deterministic) Grader가 자연스럽게 작동합니다. 소프트웨어 테스트는 “작동하는지 안 하는지”가 명확하기 때문입니다. SWE-bench Verified, Terminal-Bench와 같은 벤치마크가 대표적입니다. 1년 만에 성능이 40%에서 80% 이상으로 향상된 점이 흥미롭습니다. 코딩 에이전트는 평가하기 쉽고 발전 속도도 빠릅니다. OpenAI가 SWE-bench Verified를 만들 때 사용한 인간 주석(human annotation) 가이드를 보면, “명확한 Task 작성”이 얼마나 중요한지 알 수 있습니다.
- 대화형 에이전트 (Conversational Agent): 다차원적인 측정이 필요합니다. 단순히 작업 완료 여부만 봐서는 안 됩니다.
- 작업 완료 (Task completion): 상태 확인을 통해 실제로 작업이 완료되었는지 확인합니다.
- 효율성 (Efficiency): 불필요한 턴 없이 작업이 완료되었는지 대화 기록(transcript) 제약을 통해 측정합니다.
- 상호작용 품질 (Interaction quality): LLM 루브릭을 사용하여 대화가 자연스럽고 유용했는지 평가합니다. τ2-Bench는 현실적인 다중 턴 시나리오를 시뮬레이션하는 대표적인 벤치마크입니다.
- 연구 에이전트 (Research Agent): 단일 Grader로는 부족하며, 여러 Grader 유형을 조합해야 합니다.
- 근거 확인 (Groundedness check): 응답이 인용한 출처에서 실제로 뒷받침되는지 검증합니다.
- 커버리지 확인 (Coverage check): 필수적인 사실이 빠짐없이 포함되었는지 확인합니다.
- 출처 품질 (Source quality): 인용한 출처가 권위 있는 것인지 판단합니다. 이 세 가지를 모두 통과해야 좋은 연구 에이전트라고 할 수 있습니다.
4. 핵심 원칙: 대화 기록(Transcript)을 읽으세요
가장 강조되는 원칙은 “Read the transcripts”입니다. 단순히 점수만 볼 것이 아니라 실제 대화 기록을 읽어봐야 합니다. 이를 통해 에이전트가 왜 실패했는지, Grader가 제대로 작동하는지, 그리고 실패가 에이전트의 실제 실수인지 아니면 평가(eval) 자체의 문제인지를 구분할 수 있습니다.
5. 8단계 로드맵
에이전트 평가를 위한 8단계 로드맵이 제시됩니다. 스타트업의 경우 1, 3, 7단계가 특히 중요하다고 언급됩니다.
- 일단 시작하세요: 20-50개의 실제 실패 사례만으로도 충분합니다. 초기 제품 요구사항이 자연스럽게 테스트 케이스로 전환됩니다.
- 수동 테스트를 전환하세요: 사용자가 신고한 실패와 지원 큐 이슈를 우선적으로 평가 케이스로 만드세요.
- 명확한 Task를 작성하세요: 도메인 전문가가 독립적으로 동일한 판정에 도달할 수 있도록 명확하게 정의하고, 참조 솔루션을 만들어두세요.
- 균형 잡힌 세트를 구축하세요: 작동해야 할 케이스와 작동하지 말아야 할 케이스를 모두 테스트하여 클래스 불균형을 방지하세요.
- 견고한 Harness를 설계하세요: 깨끗한 환경으로 시험(trial)을 격리하여 공유 상태 오염을 방지하세요.
- 사려 깊게 Grader를 선택하세요: 경로보다는 결과를 평가하고, 부분 점수를 도입하며, LLM judge를 사용할 경우 반드시 인간으로 보정(calibration)하세요.
- 대화 기록(Transcript)을 읽으세요: Grader가 올바르게 작동하는지 검증하고, 실패가 에이전트의 실제 실수인지 평가 문제인지를 구분하세요.
- 포화(Saturation)를 모니터링하세요: 포화된 기능 평가(capability eval)는 회귀 테스트 스위트(regression suite)로 전환하고, 새로운 도전적인 작업(challenging task)을 개발하세요.
6. 추천 프레임워크
LangSmith와 Langfuse가 추천 프레임워크로 언급됩니다. 이들은 특히 대화 기록(trace)을 시각적으로 탐색할 수 있어 “왜 실패했는가”를 파악하기 쉽다는 장점이 있습니다. 다만, 대규모 환경에서는 self-host를 고려해야 하며, 클라우드 플랫폼이 다를 경우 아웃바운드 트래픽이 많이 발생할 수 있음을 경고합니다.
관련 외부 링크:
- SWE-bench Verified 인간 주석 가이드: https://lnkd.in/gZK2psmn
- LangSmith 및 Langfuse 관련 정보: https://lnkd.in/giGnmY8W
설명 이미지: 제공된 콘텐츠에서 설명 이미지는 발견되지 않았습니다.