AI 에이전트 경로 평가(Trajectory Evaluation) 프레임워크

1. 개요 및 문제의식

  • 테스트 패러다임의 한계: 기존 소프트웨어 테스트는 입력과 출력이 1:1로 매칭되는 결정론적(Deterministic) 검증이 가능했습니다. 초기 LLM 애플리케이션도 간단한 Prompt-Response 비교로 평가가 가능했습니다.
  • 에이전트의 복잡성: 자율형 AI 에이전트는 하나의 프롬프트 요청에 대해 내부 추론 루프(ReAct 등), 다단계 API 도구 호출, 동적 RAG 컨텍스트 추출 등 수십 차례의 중간 과정을 유발합니다.
  • 침묵하는 실패 (Silent Failure): 최종 출력 텍스트만 검사하는 방식(Vibe-checking)은 에이전트가 중간 과정에서 도구 호출에 실패하거나 잘못된 경로를 밟았음에도 불구하고 우연히 그럴듯한 답변을 내놓았을 때 이를 감지하지 못합니다.
  • 해결책: 최종 결과물이 아닌, 에이전트가 거쳐 간 모든 중간 실행 궤적을 추적하고 검증하는 **경로 평가(Trajectory Evaluation)**로 전환해야 합니다.

2. 오작동 스코어링의 2대 축 (Failure Pillars)

경로 평가는 에이전트의 전체 궤적에서 나타나는 결함을 크게 두 가지 범주로 분류하여 채점합니다.

① 에이전트 태스크 성공 여부 (행동 및 목표 정합성)

  • 도구 환각 및 오인: 실제로 사용 가능한 도구가 있는데도 없다고 간주하거나, 실행하지 않은 임의의 외부 조작을 완료했다고 스스로 환각하는 현상.
  • 지침 준수 실패 (Instruction Following): 부정 제약 조건(Negative constraints)을 어기거나, 불필요하게 사람에게 허가 요청(Punting)을 반복하거나, 작업을 완료하지 않고 중도 하차하는 현상.
  • 도구 출력 처리 결함: 호출한 API가 반환한 유효 페이로드를 올바르게 분석 및 다음 루프의 컨텍스트로 전달하지 못하는 구조적 결함.

② 도구 사용 품질 (구문 및 스키마 정확성)

  • 매개변수 오류 (Parameter Errors): 타입 매치 실패(예: 정수형 매개변수에 문자열 "50"을 입력) 또는 매개변수 간의 값 매핑 오류.
  • 도구 선택 및 구문 실패: 엉뚱한 도구를 활성화하거나 JSON 등의 구조화된 구문 형식 규칙을 위반함.
  • 매개변수 키 환각: 존재하지 않는 가상의 API 인자/매개변수 키를 자체 발명하여 주입함. 많은 파서가 선언되지 않은 속성을 유효성 검증 없이 통과시키므로, 이는 시스템 하단에서 복잡한 장애를 유발할 수 있습니다.