📮팰컨(Falcon)의 후속작 공개😎

#FalconMamba #Grok I 님, 모두레터가 왔어요!

2024. 8. 18.

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 8월 19일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with ChatGPT-4o

님, 모두레터가 왔어요!

전 휴가 동안 경주에 다녀왔어요.

한옥, 해바라기, 연꽃, 바다 모두 기억에 남아요🌻.

무더운 여름 시원했던 추억으로 새겨두려구요!

님은 어떤 기억을 간직하고 싶나요?🐶

이번주 SW/AI 소식

맘바(Mamba) 아키텍처를 응용한 새로운 언어 모델 등장
일론 머스크의 xAI, 언어 모델 '그록-2' 출시

열린 세미나: 저자와 함께하는 테크 북토크 I 고객 응대 챗봇 만들기

맘바(Mamba) 아키텍처를 응용한 새로운 언어 모델 등장

©Hugging Face

오픈소스 언어 모델 팰컨(Falcon)을 개발한 연구 기관 TII(Technology Innovation Institute)가 새로운 언어 모델 '팰컨 맘바 7B(Falcon Mamba 7B)'를 발표했습니다. 기존의 언어 모델에 널리 사용되었던 트랜스포머(Transformer) 아키텍처의 핵심인 어텐션(attention)으로는 컴퓨팅, 메모리 비용으로 인해 긴 시퀀스를 처리하는 데 한계가 있었는데요. 이 단점을 극복하기 위한 '상태 공간(state space) 모델' 중 하나가 바로 맘바입니다.

이전에도 상태 공간 모델을 이용한 SSLM(State Space Language Model)이 연구되어 왔지만 성능은 좋지 않았는데요. 팰컨 맘바 7B는 비슷한 크기의 트랜스포머 기반 모델 라마 3(Llama 3), 젬마(Gemma) 등과 비슷한 수준의 벤치마크 점수를 기록했고요. 최적화 측면에서는 더 뛰어난 결과를 보였다고 합니다.

Welcome FalconMamba: The first strong attention-free 7B model

일론 머스크의 xAI, 언어 모델 '그록-2' 출시

©xAI

일론 머스크의 인공지능 스타트업 xAI가 개발하고 있는 언어 모델 '그록(Grok)'의 신규 버전이 업데이트되었습니다. 이번에 공개된 모델은 '그록-2(Grok-2)'와 '그록-2 미니(Grok-2 mini)'의 베타 버전이고요. 기존의 그록-1.5 모델보다 대화, 코딩, 추론 능력이 크게 향상되었습니다. 그록-2 모델은 LMSYS 챗봇 아레나 리더보드에서 GPT-4와 클로드 3.5 소네트(Claude 3.5 Sonnet)보다 높은 종합 점수를 기록했다고 하네요.

벤치마크 테스트 결과, 시각적인 수리 추론 태스크(MathVista)와 문서 기반 질의응답 태스크(DocVQA)의 성능이 특히 좋았다고 합니다. 그록-2 모델은 X(트위터)의 프리미엄 유저들에게 AI 어시스턴트의 형태로 우선 서비스될 예정이고요. 이미지 생성 모델 'FLUX'를 개발한 Black Forest Labs와 협업하여 그록 모델의 기능을 확장하기 위한 연구도 진행하고 있다고 하네요!