열린 세미나: 모두팝 다시보기

미스트랄(Mistral) AI가 출시한 Mixtral 8x7B 모델이 여러 벤치마크 테스트에서 라마(Llama) 2, GPT-3.5와 비슷하거나 더 나은 성능을 보였습니다. 약 46.7B(467억) 개의 파라미터를 가지고 있지만 처리 속도와 비용은 12.9B 모델과 비슷하다고 하는데요. 그 중심에 있는 기법인 Mixture of Experts(MoE)를 설명하는 글을 소개합니다. MoE는 트랜스포머의 Feed-Forward Network(FFN) 레이어 대신, 여러 개의 FFN 모델(Expert)과 라우터(Router)로 구성된 switch FFN 레이러를 사용합니다. 토큰이 입력될 때마다 라우터가 적당한 '전문가'에게 토큰 값을 보내는 방식이죠. 그 결과 적은 수의 파라미터로도 여러 개의 모델을 사용하는 효과를 얻을 수 있었지만, 그만큼 메모리가 많이 필요하고 파인튜닝이 어렵다는 단점도 있다고 하네요.  

HTML은 웹 페이지의 구조를 정의하기 위한 마크업(Markup) 언어로, 일반적인 프로그래밍 언어로서의 기능은 하지 못합니다. "HTML은 프로그래밍 언어입니다."라는 문장이 농담의 소재로도 쓰이고는 했죠. 이런 HTML의 구조를 이용하여 튜링 완전한(Turing-complete) 프로그래밍 언어를 만든 프로젝트가 있습니다. HTML처럼 태그로 이뤄졌다는 점만 비슷하지만요. '프로그래밍 언어' HTML에서 각각의 태그는 인터프리터(Interpreter)에 의해 특정한 명령어로 변환됩니다. 스택(Stack)에 숫자, 문자열, 배열 등 다양한 데이터를 넣고, 스택에 저장된 값들로 연산을 수행하고, 결과값을 스택에서 꺼내는 방식으로 동작하죠. 프로젝트 홈페이지에서는 간단한 입출력부터 피보나치 수를 계산하는 예제까지 제공하고 있으니, 확인해 보세요!