📮 역대 최대 규모의 오픈소스 AI 모델 발표🇨🇳

• 중국 딥시크, 6천억 파라미터 규모의 AI 모델 공개
• 알리바바, 최신 멀티모달 AI 모델 'QVQ' 공개

중국의 AI 기업 딥시크(DeepSeek)가 역대 최대 규모의 오픈소스 AI 모델 '딥시크-V3(DeepSeek-V3)'를 발표했습니다. 이 모델은 총 6710억 개의 매개변수를 가지고 있으며, MoE(Mixture-of-Experts, 전문가 혼합) 기법을 활용해 실제 연산에는 토큰당 370억 개의 파라미터만 사용하도록 설계되었습니다. 14조 8000억 개의 토큰으로 사전 훈련되었으며, 최대 12만 8000 토큰의 컨텍스트 창을 지원합니다.

벤치마크 테스트에서는 '라마 3.1'을 능가했고, API로만 접근 가능한 'GPT-4'와 같은 비공개 모델과 비교해도 우수한 성능을 보였습니다. 특히 Math-500 테스트에서 90.2점을 기록하며 '큐원'(80점)을 크게 앞섰는데요. 이는 H800 GPU 1개로 약 279만 시간, 총 557만 달러(82억원)라는 경제적인 비용으로 달성한 성과라고 합니다. 현재 딥시크-V3는 코딩, 번역, 에세이 작성, 이메일 작성 등 다양한 텍스트 작업을 수행할 수 있고, 허깅페이스와 깃허브에서 바로 사용해 볼 수 있다고 합니다.