🔬 2026년 Q3 LLM 에이전트 및 강화학습 SOTA 연구 동향

2026년 7~8월에 걸쳐 발표된 주요 LLM 에이전트 및 강화학습(RL) 아키텍처 논문들의 분석 및 핵심 설계 패턴 요약입니다.

1. 장기 에이전트(Long-Horizon Agents) 컨텍스트 및 메모리 관리

  • 상태 위주의 압축: 장기 에이전트의 핵심은 전체 context를 그대로 넣는 것이 아니라, 현재 목표에 필요한 상태(state)와 근거(ground-truth evidence)만 골라 쓰는 것입니다.
  • 요약의 함정 예방: 처음부터 summary로 축소하면 필요 근거와 버린 대안 후보가 소실되고, raw log를 전부 유지하면 노이즈가 발생하므로, raw log는 보존하되 현재 목표/남은 조건/코드 위치 메타데이터만 별도로 관리한 뒤 필요할 때 원문을 참조하는 방식이 권장됩니다.
  • 동적 메모리 재구성:요청(Intent)이 변화하는 태스크에서는 예전 조건을 유지하기보다 현재 Intent에 맞춰 메모리를 재필터링해야 합니다.

2. 에이전틱 RL 및 Rollout 최적화

  • 미세 기여 분석: 결과를 실제로 바꾼 행동(행동 뒤 성공 가능성 상승 여부, ground-truth evidence 획득 여부)을 찾아내어 보상하는 것이 중요합니다.
  • Rollout 선별 학습: 최종 답안이 맞아도 rollout 내부에는 비효율적인 반복 검색, tool 오용 등이 포함되므로 성공 여부만 보고 학습하면 비효율적 우회 행동이 강화됩니다. 검증된 구간과 기여도가 높은 행동만 골라 학습해야 합니다.

3. 주요 SOTA 논문 리스트

  • AgentOPSD: 에이전틱 RL을 위한 재귀적 자가 증류( Tsinghua Univ )
  • ACM (Agentic Context Management): 장기 태스크를 위한 컨텍스트 관리
  • Recursive Synthesis for Long-Horizon Terminal Tasks: 장기 종단 태스크를 위한 재귀 합성
  • Stealing Reasoning Traces from Proprietary LLM APIs: 상용 API의 추론 Trace 유출 분석 (NYU)
  • Role Drift in Compound LLM Systems: 컴파운드 시스템 내 모듈 간 역할 이탈 현상 규명

관련 문서: