Fuyu-8B

Fuyu-8B는 Adept AI에서 개발한 오픈 소스 멀티모달 AI 모델입니다. Adept의 제품을 구동하는 모델의 더 작고 다재다능한 버전이며 텍스트와 이미지를 모두 처리하도록 설계되었습니다. CC-BY-NC 라이선스로 출시되었습니다.

주요 특징

  • 단순화된 아키텍처: Fuyu-8B는 표준 디코더 전용 트랜스포머 아키텍처를 사용하여 별도의 이미지 인코더가 필요 없어 모델을 단순화합니다. 이미지 패치는 트랜сformer의 첫 번째 레이어에 선형으로 투영되어 이해, 확장 및 배포가 더 쉽습니다.
  • 임의의 이미지 해상도 지원: 모델은 이미지 토큰을 텍스트 토큰과 유사하게 처리하여 다양한 이미지 크기와 해상도를 처리할 수 있습니다. 이를 통해 다양한 해상도에 대한 별도의 학습 단계가 필요하지 않습니다.
  • 빠른 추론: Fuyu-8B는 속도에 최적화되어 있으며 100밀리초 이내에 큰 이미지에 대한 응답을 생성할 수 있어 실시간 애플리케이션에 적합합니다.
  • 디지털 에이전트용으로 설계: AI 에이전트에特화되어 있으며 다음과 같은 작업에 뛰어납니다.
    • 그래프, 다이어그램 및 UI 상호 작용에 대한 질문에 답변합니다.
    • 화면 이미지에서 세분화된 위치 파악을 수행합니다.
  • 강력한 성능: 더 작은 크기와 단순화된 설계에도 불구하고 Fuyu-8B는 시각적 질문 답변 및 자연스러운 이미지 캡션과 같은 표준 이미지 이해 벤치마크에서 우수한 성능을 보입니다.

가용성

이 모델은 Hugging Face에서 사용할 수 있습니다.

한계

  • 특정 사용 사례에 대해서는 미세 조정이 필요할 수 있습니다.
  • 얼굴과 사람을 제대로 생성하는 데 한계가 있어 사회적 편견을 강화할 수 있습니다.