📮 미스트랄 AI, 첫 코드 생성 모델 공개🥳

#Codestral #MMLU-Pro

2024. 6. 10.

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 6월 10일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with ChatGPT-4o

님, 모두레터가 왔어요!

님 그동안 잘 지냈어요?

벌써 무더위가 찾아오는 듯 한데요.

봄으로 돌아가고 싶은 마음이 굴뚝같아요..😣

우리 같이 한여름 더위 미리 잘 준비해요!~

이번주 SW/AI 소식

미스트랄 AI, 첫 코드 생성 모델 '코드스트랄' 공개
한층 업그레이드된 MMLU 벤치마크

열린 세미나: 💡런 프로젝트 역기획 A-Z (1회차)

미스트랄 AI, 첫 코드 생성 모델 '코드스트랄' 공개

©Mistral AI

Mixture-of-Experts(MoE) 기법을 적용한 언어 모델 믹스트랄(Mixtral)로 잘 알려져 있는 인공지능 스타트업 미스트랄 AI(Mistral AI)에서 코드 생성 모델 '코드스트랄(Codestral)'을 출시했습니다. 미스트랄 AI에서 처음으로 출시된 코드 생성 모델인데요. 파이썬이나 자바와 같이 널리 쓰이고 있는 언어부터 스위프트(Swift), 포트란(Fortran) 등 80가지 이상의 프로그래밍 언어로 학습됐다고 해요.

코드스트랄의 모델 크기는 22B(파라미터 220억 개)지만, 코드라마 70B(CodeLlama 70B), 딥식 코더 33B(DeepSeek Coder 33B) 등 규모가 더 큰 모델과 비교해도 뛰어난 성능을 보였다고 하네요. 코드스트랄 모델은 미스트랄에서 제공하는 API를 통해서 사용할 수 있고요. 챗봇 서비스 '르 챗(Le Chat)'에서도 모델과 대화해 볼 수 있으니 참고해 주세요!

Codestral: Hello, World!

한층 업그레이드된 MMLU 벤치마크

MMLU(Massive Multitask Language Understanding)는 수학, 법률 등 57가지 주제와 관련된 객관식 문제로 이루어진 데이터셋인데요. 다양한 분야의 지식을 이해하고 추론하는 능력을 테스트할 수 있다는 장점이 있어서, 언어 모델의 성능을 측정하는 벤치마크로 널리 이용되어 왔어요.

하지만 그동안 언어 모델의 성능이 많이 향상되었기 때문에, 최신 모델은 MMLU(대규모 다중 언어 이해) 점수로 성능을 비교하는 것이 점점 무의미하게 되었는데요. 워털루 대학의 연구팀은 MMLU 데이터에서 추론 쪽을 강화하고 선택지를 4개에서 10개로 업그레이드한 'MMLU-Pro' 데이터셋을 공개했습니다. GPT-4o, 클로드 3(Claude 3) 등 최신 모델을 MMLU-Pro로 테스트한 결과 MMLU에 비해 정답률이 16%-33% 낮아졌고, 프롬프트에 변형을 주었을 때도 점수가 안정적으로 나왔다고 합니다.

MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark

필진 I 신승연, 하자혜

📝추천 아티클 #예비개발자 #취준생

Python 독학만으로 개발자가 될 수 있을까?

많은 분들이 개발 첫걸음 단계에서 프로그래밍 언어 '파이썬(Python)'을 가장 선호하는데요. 파이썬은 다른 언어들에 비해 문법이 어렵게 느껴지지 않고, 기초를 다질 수 있는 자료가 많아 접근성이 쉬운 언어라는 장점이 있죠. 이런 장점들로 많은 분들이 파이썬 독학에 도전하는데요.

언어의 기본 개념을 이해하는 데는 성공해도 이를 실무에 적용하는 데 어려움을 겪는 경우가 많습니다🥲. 그렇다면 어떻게 하면 파이썬 독학 경험을 바탕으로 실무에 필요한 기술과 경험을 쌓고, 실무 개발자로 잘 성장할 수 있을까요?

이어서 읽기