🚀 AgentENV: Firecracker 기반 고속 병렬 에이전트 RL 샌드박스

Kimi K3의 에이전틱 강화학습(RL) 학습을 위해 수만 개의 독립 샌드박스 환경을 동시 제어하고 초고속으로 부팅/일시정지하는 분산 격리 플랫폼입니다.

1. 아키텍처 설계 및 해결 과제

  • 전통적 샌드박스의 한계: 에이전트 RL 학습 시 수천 개 이상의 환경이 기동되어야 하는데, 병목은 모델 추론보다 컨테이너/VM의 startup 지연, 유휴 자원 점유 비용에 있습니다.
  • Firecracker microVM 활용: 가볍고 격리 수준이 높은 AWS Firecracker microVM을 사용해 50ms 미만의 초고속 부팅 및 100ms 미만 일시 정지를 실현합니다.

2. 주요 가속화 기술

  • Snapshot-Backed Boot/Resume: VM 스냅샷으로부터 50ms 미만으로 부팅/복원하여 상태 재초기화 비용을 완벽히 제거.
  • Copy-on-Write Fork: 실행 중인 샌드박스 상태 그대로 여러 개의 복제 샌드박스(Child)를 CoW 방식으로 복제하여 중복 없이 분기 탐색 지원.
  • Overlaybd Image On-Demand Loading: OCI 호환 이미지를 overlaybd를 통해 온디맨드로 로드하고 로컬 디스크를 바운디드 캐시로 사용하여 기동 지연 방지.
  • Memory Ballooning: 유휴 게스트 VM 메모리를 호스트에 자동으로 반환시켜 자원 오버커밋 유지.
  • E2B API 호환성: E2B Python/TypeScript SDK를 변경 없이 환경 변수 1개 교체만으로 연동 가능.

3. 시스템 제약 사항

  • Linux 커널 6.8 이상 및 /dev/kvm 접근 권한이 필수적입니다.

관련 문서: