📮 짜잔! 스테이블 코드 3B 공개⛄️

#StableCode3B #Mixtral8x7B #React

2024. 1. 22.

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 1월 22일 모두레터

🕊️친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with DALL·E

님, 모두레터가 왔어요!

시스템 문제로 레터 전달이 조금 늦어졌네요🥲.

기분 좋아지는 그림 그려서 가져왔어요⛄️.

다시 시작된 강추위, 함께 잘 버텨보아요!

이번주 SW/AI 소식

스태빌리티 AI, 뛰어난 성능의 코드 생성 LLM 공개!
모델 크기는 작게, 성능은 높게?
프론트엔드 분야의 대세! 2024 리액트 추천 라이브러리

스태빌리티 AI, 뛰어난 성능의 코드 생성 LLM 공개!

©Stability.ai

스테이블 디퓨전(Stable Diffusion)으로 잘 알려진 스태빌리티 AI(Stability.ai)가 코드 생성을 위한 LLM '스테이블 코드(Stable Code) 3B'를 공개했습니다! 작년 8월 발표된 알파 버전 이후의 첫 정식 버전 업데이트이기도 하죠. 기존의 자연어 모델 스테이블 LM 3B를 기반으로 한 스테이블 코드 3B는 파이썬, C++, 자바스크립트 등 18개 언어를 지원합니다. 모델의 크기는 3B(파라미터 약 30억 개) 정도인데, MultiPL-E 벤치마크로 진행된 테스트에서 비슷한 크기의 다른 모델보다 뛰어난 성능을 보였다고 합니다. 크기가 2.5배 달하는 코드라마(CodeLLaMA) 7B와도 비슷한 점수를 기록했다고 하네요! 데이터와 모델에 관한 더 자세한 정보는 모델 카드에서 찾을 수 있답니다.

Stable Code 3B: Coding on the Edge

모델 크기는 작게, 성능은 높게?

©Mistral AI

지난달 레터에서 '믹스트랄(Mixtral) 8x7B' 모델의 핵심인 Mixture of Experts 기법을 설명하는 글을 소개했었는데요. 최근 믹스트랄 8x7B의 논문이 발표되었습니다! 믹스트랄 8x7B 모델은 하나의 거대한 모델 대신, 7B 크기의 전문가(Expert) 모델 8개를 학습시키는데요. 입력 데이터가 들어올 때마다 가장 적절한 전문가 둘을 선택하여 그 결과를 더하는 방식으로 작동합니다. 추론(Inference) 단계에서 전문가 모델 8개가 한 번에 사용되지는 않기 때문에, 라마(Llama) 2 70B, GPT-3.5와 비슷하거나 더 높은 성능을 보여주면서도 한 번에 활성화되는 파라미터 개수는 13B 정도 밖에 되지 않는다고 하네요. 콘텍스트 길이, 단어장 크기 등 하이퍼파라미터 정보와 함께 모델의 코드도 공개되었으니 확인해 보세요!

Mixtral of Experts

프론트엔드 분야의 대세! 2024 리액트 추천 라이브러리

님, 혹시 리액트 개발에 관심 있나요? 최근 리액트 생태계에서 사용되고 있는 라이브러리들을 추천해 주는 좋은 글이 있어 소개합니다. 리액트는 함수 컴포넌트(Function component)를 이용하여 컴포넌트 기반의 사용자 인터페이스를 구현할 수 있게 하는 라이브러리입니다. 훅(Hook)과 같이 상태 관리나 최적화 등에 필요한 기능을 기본적으로 제공하고 있지만, 외부 라이브러리들도 활발하게 사용되고 있죠. 예를 들어 리액트 프로젝트를 생성할 때는 Next.js, 아스트로(Astro)와 같은 프레임워크를 활용할 수 있고요. 패키지 관리에는 npm과 yarn이 많이 사용됩니다. 이외에도 CSS 스타일링, 사용자 인증, 파일 업로드 등 웹 개발에 필요한 라이브러리들을 소개하고 있어요!

React Libraries for 2024

필진 I 신승연, 하자혜