• Llama와 Shepherd: LLM을 평가하는 LLM
• 다양한 오디오 데이터를 생성하는 'AudioLDM2'
• 단백질 연구를 위한 새로운 데이터셋 'OpenProteinSet'

메타 AI에서 LLM(Large Language Model)이 생성한 텍스트를 평가하고 개선점을 제안하는 LLM '셰퍼드(Shepherd)'를 발표했습니다. 개 품종의 하나로 알려진 셰퍼드는 '양치기'라는 뜻도 가지고 있는데요. 라마(Llama)를 안내하는 모델이라는 의미로 셰퍼드라는 이름을 붙였다고 합니다. 메타의 LLM '라마'에 이어 '셰퍼드'까지, 굉장한 작명인 것 같아요!

'LLaMA-7B' 모델 기반으로 학습된 셰퍼드는 LLM이 생성한 답변의 오류와 논리, 일관성 문제 등을 인지하고 피드백을 줄 수 있어요. 사람과 GPT-4가 셰퍼드, '알파카(Alpaca)-7B', 'SelFee(Self-Feedback)', '챗GPT(GPT-3.5)'의 답변을 비교한 결과, 셰퍼드가 생성한 텍스트가 '알파카-7B'와 'SelFee'보다 더 나은 평가를 받았고요. 훨씬 큰 모델인 챗GPT와도 비슷한 성능을 보였다고 하네요. 깃허브 페이지에서 모델 학습에 사용된 데이터를 공개하고 있으니 방문해 보세요!

텍스트, 이미지 생성에 비해 오디오 생성 연구가 왜 어렵다고 할까요? 그 이유 중 하나는 '오디오 생성'이라는 태스크에 목소리, 음악, 효과음 등 다양한 데이터가 포함돼 있다는 건데요. 이 데이터들은 사용되는 목적도 서로 달랐고, 각각에 특화된 모델이 별개로 존재했기 때문에 하나로 합친 모델을 만들기가 어려웠습니다. 이 논문에서는 다양한 오디오 데이터를 표현하는 방법으로 'Language of Audio(LOA)'를 제안하면서, 통합된 프레임워크 'AudioLDM 2'를 공개했습니다.

오디오 데이터는 'AudioMAE' 모델로, 다른 모달리티의 데이터는 GPT-2를 이용해 LOA로 인코딩되고요. LOA에서 오디오를 생성할 때는 디퓨전 모델 LDM(Latent Diffusion Model)이 사용됐습니다. AudioLDM 2는 텍스트에서 효과음과 음악을 생성하는 태스크에서 기존 모델보다 뛰어난 성능을 보였고, 음성 합성 태스크에서는 기존 SOTA 모델과 성능이 비슷했다고 하네요. 아래 데모 페이지에서는 텍스트뿐만 아니라 이미지로 생성한 오디오도 들어볼 수 있는데요. 오디오 생성 모델은 앞으로 어떻게 발전할까요?🤗

단백질 구조 예측을 위한 모델 '오픈폴드(OpenFold)'를 만든 콜롬비아 대학의 연구팀이 단백질의 '다중 서열 정렬(MSA, Multiple Sequence Alignment)' 정보를 담은 데이터셋 'OpenProteinSet'을 발표했습니다. 단백질은 20여 가지의 아미노산 분자들이 길게 연결돼 있는 구조를 가지고 있는데요. 이런 단백질 서열(Sequence)들을 정렬한 것, 즉 아미노산 분자들이 가장 많이 일치하도록 배치한 것을 'MSA'라고 합니다. MSA는 단백질 구조 예측뿐만 아니라 단백질 분자의 설계, 분류, 기능 예측 등 생명정보학의 다양한 분야에서 활용되는데요.

'알파폴드(AlphaFold) 2', 'MSA Transformer'와 같이 큰 모델을 학습시켰던 데이터는 공개되지 않았기 때문에 최신 머신러닝 기술을 단백질 연구에 적용하기엔 데이터가 부족한 상황이었어요. OpenProteinSet은 1600만 개 이상의 MSA 데이터를 포함하고 있고, 이 데이터셋으로 오픈폴드 모델을 학습시킨 결과 딥마인드의 알파폴드 2와도 성능이 비슷해졌다고 합니다. 단백질 연구에서도 새로운 모델이 많이 발표될 것 같아 기대가 되네요!

• Learning Analytics LAB #학습분석학_연구  ⏰8월 22일까지
• ISE LAB #소프트웨어공학_연구  ⏰8월 25일까지
• Industrial RS LAB #추천시스템_연구  ⏰8월 30일까지

• 일시: 8월 29일 화요일 I 7PM - 9:30PM
• 장소: 모두의연구소 강남캠퍼스
• 연사:손기락(1잔을 beer봐요 LAB 랩짱)
• 내용: 감정 분석이란? I 감정 분석 프로젝트 소개 I 프로젝트 중 부딪힌 문제점 I 향후 프로젝트 개선 사항 I Q&A, 네트워킹

• 스팸메일함에서 울고 있을지도 몰라요. 찾아가 확인해 보세요!
• 주소록에 모두의연구소 이메일 주소(modulabs01@gmail.com)를 추가해 주세요.