VLAb: VLA 사전 학습을 위한 연구실

VLAb는 로봇 공학 데이터셋에서 VLA(Vision-Language-Action) 모델을 사전 학습하기 위한 간소화된 라이브러리입니다. LeRobot에서 파생되었으며, 다중 GPU 설정 및 SLURM 클러스터 전반에 걸쳐 효율적인 사전 학습 워크플로우에 중점을 둡니다. SmolVLA의 공식 재현 키트로 간주될 수 있습니다.

주요 기능은 다음과 같습니다.

  • 사전 학습 중심 아키텍처: 환경 설정 오버헤드 없이 실제 데이터셋에서 빠르게 반복할 수 있도록 내장된 아키텍처 및 데이터 처리 로직을 포함합니다.
  • SmolVLA 재현: SmolVLA 사전 학습을 위한 공식 재현 키트로, 원본 모델 학습에 사용된 것과 거의 동일한 데이터셋, 구성 및 워크플로우를 포함합니다.
  • 간단한 설정 및 종속성 감소: conda env create -f environmen[1]t.yml 명령 하나로 환경을 생성할 수 있습니다.
  • 분산 학습: Accelerate를 통한 다중 GPU 및 다중 노드 지원을 제공하며, 단일 머신 및 SLURM 클러스터에서 테스트되었습니다.
  • 다중 데이터셋 지원: 구성 가능한 샘플링 전략을 통해 여러 데이터셋을 동시에 학습할 수 있습니다.

설치

  1. conda env create -f environment.yml 및 conda activate vlab를 사용하여 환경을 생성합니다.
  2. export PYTHONPATH="${PWD}/src:${PYTHONPATH}"를 사용하여 Python 경로를 설정합니다.
  3. python tests/test_installation.py를 실행하여 설치를 확인합니다.
  4. (선택 사항) HuggingFace Hub에서 데이터셋이나 모델을 다운로드하는 경우 huggingface-cli login으로 로그인합니다.

SmolVLA 학습 재현

SmolVLA 사전 학습 데이터셋을 사용하고 SmolVLA 결과를 재현하려면 다음 커뮤니티 데이터셋을 사용합니다.

LeRobot로 마이그레이션

VLAb의 체크포인트는 정규화 형식 업데이트로 인해 최신 LeRobot 버전과 직접 호환되지 않을 수 있습니다. 사전 학습된 모델을 LeRobot와 함께 사용하려면 마이그레이션 스크립트를 사용하여 체크포인트를 변환하고, LeRobot 미세 조정 가이드를 따릅니다.

문제 해결

손상된 파일, 오래된 메타데이터 또는 지속적인 오류가 발생하는 경우 rm -rf ~/.cache/huggingface/datasets, rm -rf ~/.cache/huggingface/hub, rm -rf ~/.cache/huggingface/tran[1]sformers 명령으로 캐시를 수동으로 정리할 수 있습니다. SLURM 스크립트에서는 CLEAN_CACHE=true를 설정하여 학습 전에 캐시를 자동으로 정리할 수 있습니다.

추가 자료

인용

이 라이브러리를 연구에 사용하는 경우 다음을 인용해 주십시오.

@misc{aubakirova2025vlab,
 author = {Dana Aubakirova, Mustafa[1] Shukor and Jade Cholgari and Leandro von Werra},
 title = {VLAb: Your Laboratory for Pretraining VLAs},
 year = {2025},
 publisher = {GitHub},
 journal = {GitHub repository},
 howpublished = {\url{https://github.com/huggingface/vlab}}
}

SmolVLA 논문:

@article{shukor2025smolvla,
 title = {SmolVLA: A vision-language-action model for affordable and efficient robotics},
 author = {Shukor, Mustafa and Aubakirova, Dana and Capuano, Francesco and Kooijmans, Pepijn and Palma, Steven and Zouitine, Adil and Arac[1]tingi, Michel and Pa[1]scal, Caroline and Russi, Martino and Marafioti, Andres and Alibert, Simon and Cord, Matthieu and Wolf, Thomas and Cadene, Remi},
 year = {2025},
 journal = {arXiv preprint},
 eprint = {2506.01844},
 archivePrefix = {arXiv},
 primaryClass = {cs.RO}
}

라이선스: 이 프로젝트는 Apache License 2.0에 따라 라이선스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하십시오.

출처