Kimi K3 AgentENV RL Training Sandbox
핵심 요약
AgentENV는 Kimi K3의 에이전트 기반 강화학습(RL) 훈련을 위해 수천 개의 격리된 샌드박스를 동시에 실행할 수 있도록 설계된 분산 인프라 플랫폼입니다.
주요 주장 (Claims)
- 성능 문제 해결: Docker는 시작 속도가 너무 느리고, 전체 VM은 너무 무겁기 때문에 대규모 훈련 시 비용과 효율 문제가 발생합니다.
- Firecracker 기반 마이크로VM: 부팅 및 재개 시간이 50ms 미만이며, 일시 정지 시간도 100ms 미만으로 극도로 빠릅니다.
- 빠른 포크(Fork): 하나의 실행 중인 환경의 스냅샷을 찍고 독립적인 여러 샌드박스로 포크하는 데 100ms 미만이 소요되어 병렬 RL 훈련을 실현합니다.
시스템 구조 및 특징
- 동적 메모리 관리: 에이전트가 대기 중일 때 환경을 일시 정지하고 메모리를 호스트에 반환하여 자원을 최적화합니다.
- 스냅샷 및 지속성: 100ms 이내에 S3 호환 객체 스토리지로 점진적 스냅샷을 저장하여 장애 발생 시 상태 손실을 방지합니다.
- 오버레이 스토리지(overlaybd): 온디맨드 로딩을 통해 로컬 디스크 용량을 초과하는 이미지도 처리 가능합니다.
- E2B 호환성: E2B HTTP API와 호환되어 기존 코드를 수정 없이 사용할 수 있습니다. Kubernetes 또는 Docker Compose를 통한 분산 배포를 지원합니다.