Meta Agent Harness Policy Learning
Meta에서 발표한 에이전트 하네스 최적화 연구인 EvoHarness-RL에 대한 내용입니다. 기존에는 에이전트의 상태를 관리하고 도구와 상호작용하는 하네스(Harness)를 수작업 코드로 작성하여, 장기(Long-horizon) 태스크에서 유연성이 떨어지는 문제가 있었습니다.
EvoHarness-RL의 핵심 메커니즘
에이전트가 오프라인 강화학습(cost-aware GRPO)을 통해 런타임 시 언제 외부 상태(Belief, Progress, Experience)를 읽고, 업데이트하며, 통합할지에 대한 제어 정책 자체를 학습합니다. 그 결과 Qwen3-8B 모델로 ALFWorld 벤치마크에서 96.9%의 성능을 달성했습니다.
- 하네스 어닐링 (Harness Annealing): 반복적인 하네스 사용 패턴이 모델 가중치(정책)에 스며들어, 불필요한 호출이 줄어들고 효율적이고 선택적인 호출만 남게 됩니다.
- 하네스 에볼루션 (Harness Evolution): 진행 상황과 경험이 태스크에 적응형인 압축 상태(Compact State)로 통합되어 작업 공간을 효율화합니다.
프로덕션 적용 시 시사점
논리는 모델 내부에 흡수될수록 효율적이지만, 코드 레벨에서 즉각적인 수정 및 감사가 어려워진다는 단점이 있습니다. 따라서 상태를 읽고 압축하는 것과 같은 저비용 논리(Cheap Decisions)는 학습된 정책에 맡기고, 도구 접근 권한이나 되돌릴 수 없는 민감한 실행(이메일 발송, 결제 등) 같은 안전 관련 영역은 여전히 분리된 명시적 하네스 코드로 관리하는 접근이 권장됩니다.