DeepSeek-V2, GPT-4 수준의 추론 능력을 갖춘 오픈소스 LLM
DeepSeek의 최신 오픈소스 LLM인 DeepSeek-V2가 OpenAI의 GPT-4와 Google의 Gemini-1.5-Pro 수준의 추론 능력을 달성했다고 합니다. 특히 2024년 국제 수학 및 정보 올림피아드(IMO/IOI) 금메달 수준의 추론 능력을 갖췄다고 언급됩니다.
주요 특징
- IMO/IOI 금메달 수준: 2024년 국제 수학·정보 올림피아드에서 금메달 등급 달성.
- MoE 구조: 236B 파라미터 중 21B만 활성화하는 MoE(Mixture of Experts) 구조를 통해 효율성과 성능을 동시에 잡았습니다.
- GPT-4급 추론: Gemini-1.5-Pro와 동등한 수준의 추론 능력 검증.
- 에이전트 능력 강화: 1,827개 환경, 85,000개 복잡 프롬프트로 도구 사용 능력 훈련.
- 오픈 웨이트: MIT 라이선스로 완전 공개되어 HuggingFace에서 바로 다운로드 가능.
이는 중국 스타트업이 실리콘밸리 빅테크의 독점 영역이던 “고난도 추론”에서 동등한 성과를 냈다는 점에서 의미가 크며, 오픈소스 진영의 역습이 본격화되고 있음을 시사합니다. API 비용 걱정 없이 로컬에서 실행할 수 있다는 점도 장점으로 언급됩니다.
관련 링크
- LinkedIn Post: https://www.linkedin.com/posts/h4y3j1n_openai-deepseek-google-activity-7403931389953363968-MhQ8
- 논문: https://github.com/deepseek-ai/deepseek-v2/blob/main/deepseek_v2_paper.pdf
- HuggingFace: https://huggingface.co/collections/deepseek-ai/deepseek-v2-6623a9431f353f8616c3b849
- CatchPaper 뉴스레터: https://www.catchpaper.net/