📮 사람의 뇌 신호로 음악을 만들다?🎼

#llama2.c #Brain2Music #LLM

2023. 7. 31.

함께 공유하고 성장하는 연구 문화를 전파해요

2023년 7월 31일 모두레터

구독하기 I 웹에서 보기 I 의견 전하기

llama_cute.jpg

님, 모두레터가 왔어요.

어느덧 7월의 마지막 날이네요!

님은 휴가 계획이 있나요?🏖️

천천히 뛰어가는 사람은 자신의 체중, 자신의 나이를 느끼며,

어느 때보다도 더 자신과 자기 인생의 시간을 의식한다.

_ 밀란 쿤데라 『느림』

이번주 AI 소식

CPU로 Llama 2 모델 사용하기
사람의 뇌 신호로 음악을 재구성하다
님, LLM의 계보가 궁금한가요?

열린 세미나: SSS급 의료인은 AI 연구원으로 전직했습니다 I 우리동네 연구원으로 거듭나는 법

CPU로 Llama 2 모델 사용하기🦙

오픈AI의 창립 멤버인 안드레 카파시(Andrej Karpathy)가 라마(Llama) 2 모델의 추론(Inference)을 C언어로 구현한 프로젝트 'llama2.c'를 공개했습니다. 'llama2.c' 프로젝트에는 모델 추론을 위한 C언어 코드뿐만 아니라, 라마 모델을 학습시키는 과정도 포함돼 있는데요. 파이썬 코드로 학습된 모델 파라미터를 이진(Binary) 파일로 저장한 다음, 파라미터 값과 입력 데이터로 결과 텍스트를 생성하는 부분을 C언어로 구현하는 것이죠. 카파시는 이전에 진행한 '나노GPT' 프로젝트에서 아이디어를 얻어, GPT-2 대신 라마2 모델의 구조를 이용해 15M 크기(파라미터 수 1500만 개)의 작은 모델을 학습시켰어요. C언어 기반의 추론 코드를 실행한 결과 맥북 M1 CPU 환경에서 초당 110 개의 토큰이 생성됐다고 합니다. LLM과 같이 큰 모델을 사용할 경우, 추론 과정을 C언어로 구현하는 것이 좋은 접근이 될 수 있겠네요.

llama2.c - Inference Llama 2 in one file of pure C

사람의 뇌 신호로 음악을 재구성하다

음악 생성(Music generation) 분야의 흥미로운 논문을 소개할게요. 구글과 일본 오사카 대학의 연구팀이 사람의 뇌 신호로부터 음악을 생성하는 'Brain2Music' 파이프라인을 발표했습니다. 음악 감상 시 fMRI(functional Magnetic Resonance Imaging, 기능적 자기 공명 영상) 데이터를 얻은 후, 이 데이터를 128차원 벡터로 임베딩(Embedding)하고요. 이 임베딩 벡터와 음악 생성 모델인 'MusicLM*'을 이용해 사람의 뇌 신호를 음악으로 재구성한다는 아이디어예요. 아래 링크의 데모를 들어 보면, 생성된 음악이 원본 음악과 똑같지는 않지만 리듬이나 분위기는 꽤 비슷하다는 걸 확인할 수 있어요. 생성된 음악이 원본 음악과 비슷해지도록 'MusicLM'에 조건을 주고 학습을 진행했다고 하네요. fMRI 데이터는 해상도가 높지 않아 사람의 뇌 활동을 정확하게 측정하기 어려운데 이만큼 구현이 된 것도 신기한 것 같아요!

*MusicLM: 음악으로 훈련된 일종의 언어 모델(Language Model). 음악을 설명하는 텍스트나, 원하는 음악의 스타일을 설명하는 텍스트와 함께 멜로디 등의 입력이 함께 주어지면 음악을 만들 수 있어요. Google Labs에서 MusicLM을 사용해 보세요!

Brain2Music: Reconstructing Music from Human Brain Activity

님, LLM의 계보가 궁금한가요?

최근 AI 분야에서 가장 뜨거운 키워드 중 하나는 LLM(Large Language Model)일 거예요🔥. 오픈AI, 구글, 메타 등 거대 기업들부터 전 세계 연구팀에서 새로운 LLM이 잇따라 공개되고 있죠. 지금까지 약 16,000 개의 텍스트 생성 모델이 허깅페이스에 업로드돼 있다고 하는데요. 모델 이름으로 LLM들의 계보를 시각화한 프로젝트를 소개할게요. 허깅페이스에 등록된 텍스트 생성 모델들의 이름을 크롤링하고, 이들을 n-gram으로 쪼개서 분석을 진행했습니다. ‘falcon-7b’, ‘falcon-40b’, ‘falcon-7b-instruct’처럼 같은 계통의 모델도 그 크기나 용도에 따라 이름이 조금씩 달라진다는 것을 이용한 건데요. 그래프, 워드 클라우드 등 자세한 분석 결과는 허깅페이스의 Spaces에서 살펴볼 수 있습니다. 보고서에 첨부된 원형 다이어그램이 아주 멋지네요!