Agent Lightning: 강화 학습을 통한 AI 에이전트 최적화

요약

Microsoft가 발표한 “Agent Lightning”은 강화 학습(RL)을 사용하여 모든 AI 에이전트를 훈련하고 최적화할 수 있는 도구입니다. 이 도구는 LangChain, AutoGen, OpenAI Agents SDK와 같은 기존 에이전트 프레임워크와 함께 작동하며, 에이전트 구축은 쉽지만 훈련 및 최적화는 어려운 문제를 해결합니다. 에이전트가 추론, 도구 사용 또는 조정에 어려움을 겪을 때 피드백이나 데이터를 기반으로 미세 조정할 수 있는 기본 방법이 없다는 점에 착안했습니다. Agent Lightning은 에이전트 프레임워크와 훈련 프레임워크 사이의 다리 역할을 하여 기존 에이전트 코드를 변경하지 않고도 에이전트를 훈련, 최적화 및 적용할 수 있도록 합니다.

작동 방식

  1. Lightning Server & Client: 기존 에이전트를 VERL과 같은 훈련 백엔드에 연결하는 얇은 계층입니다.
  2. Task Pulling & Execution: 서버가 에이전트에 프롬프트나 사용자 쿼리와 같은 작업을 보냅니다.
  3. Trace Collection: 클라이언트가 에이전트를 방해하지 않는 사이드카 디자인을 사용하여 실행 추적, 로그 및 결과를 수집합니다.
  4. Reward Calculation: 각 에이전트 실행은 사용자 정의 가능한 보상 함수(예: 작업 성공, 정확성)를 사용하여 점수가 매겨집니다.
  5. RL Training Loop: 이러한 추적 및 보상은 RL 알고리즘(예: VERL을 통한 GRPO)에 공급되어 모델 가중치를 업데이트합니다.
  6. Continuous Feedback Loop: 업데이트된 모델은 에이전트 프레임워크로 다시 롤아웃되어 반복할 때마다 동작을 개선합니다.

예시로, Microsoft의 데모는 SQL 쿼리를 작성하고, 실행하고, 오류를 확인하고, 필요한 경우 다시 작성하는 LangGraph 기반 SQL 에이전트를 사용합니다. Agent Lightning은 이 워크플로우를 LitSQLAgent 클래스로 래핑하고, RL을 사용하여 실제 실행 피드백을 기반으로 쿼리 작성 및 재작성 단계를 최적화합니다. 에이전트 로직은 LangGraph에 유지되고, 훈련은 Agent Lightning + VERL을 통해 외부에서 이루어집니다.

결론적으로, Agent Lightning은 워크플로우 코드를 건드리지 않고도 모든 정적 에이전트를 자체 학습 에이전트로 전환할 수 있게 해줍니다.

관련 URL

태그

aiagent rl agentoptimization microsoft agentlightning langchain autogen