📮 INTERSPEECH 2023 논문 억셉 소식!🎉

#QLoRA #Sophia #MatCha #FSSLLAB

2023. 6. 4.

함께 공유하고 성장하는 연구 문화를 전파해요

2023년 6월 5일 모두레터

구독하기 I 웹에서 보기 I 의견 전하기

지난주 일본 쿠사츠에서 만난 고양이가 생각나서 만들어 봤어요🐈‍⬛.

Created with DALL・E2

님, 모두레터가 왔어요!

어느덧 2023년 상반기의 마지막 달이네요.

너무 앞만 보고 달리진 않았는지,

잠시 쉬어가는 시간을 가져도 좋을 것 같아요 :)

이번주 AI 소식

QLoRA: GPU 하나로 LLM 파인튜닝하기
MatCha: 수학적 추론과 차트 해석이 결합된 모델
'Adam'보다 더 빠른 옵티마이저 등장?
모두팝 후기: 어떻게 비전공자가 장점이 될 수 있을까?

열린 세미나: 챗GPT 업무 활용법

QLoRA: GPU 하나로 LLM 파인튜닝하기

허깅페이스 블로그에 'QLoRA' 기법이 적용된 모델의 사용법이 소개됐습니다. LLM(Large Language Model)은 다채로운 분야에서 뛰어난 성능을 보여줬지만, 파라미터의 수가 방대하기 때문에 일반적인 하드웨어로는 모델을 사용하기 어렵다는 단점이 있어요. LLM은 하나의 실수 값을 표현하는데 16비트 혹은 32비트를 주로 사용하는데요. QLoRA 기법은 4비트 실수 자료형을 구현하고 기존 LLM의 파라미터를 4비트 실수로 변환함으로써, 모델의 크기를 줄이면서도 성능 저하가 거의 일어나지 않도록 했어요. 16GB 용량의 GPU 하나만으로 LLaMA 13B 모델의 파인 튜닝(Fine-tuning)이 가능했다고 하네요!

Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA

MatCha: 수학적 추론과 차트 해석이 결합된 모델

©Hugging Face

구글 리서치에서 시각 언어를 수학적 추론과 차트 디렌더링을 통해 추론하는 모델 '🍵맛차(MatCha)'를 발표했습니다. 시각 언어란 도표, 인포그래픽 등 정보를 시각적인 형태로 전달하는 것을 의미하는데요. 컴퓨터 비전의 대표적인 태스크인 Detection, Captioning, VQA 등을 수행하는 모델들은 주로 '이미지넷(ImageNet)'과 같은 일반적인 이미지 데이터로 학습돼 있기 때문에, 도표의 경우 인식을 잘 하지 못 한다고 해요. 반면, 맛차는 도표로부터 데이터 테이블과 코드를 추론하는 'Chart de-rendering'과 도표 데이터로 수학적 계산을 하는 'Math reasoning' 태스크에 특화돼 있습니다.

Foundation models for reasoning on charts

'Adam'보다 더 빠른 옵티마이저 등장?

스탠포드 대학의 연구팀이 LLM의 사전 훈련(Pre-training)을 위한 옵티마이저 '소피아(Sophia)'를 발표했습니다. LLM을 학습시키는 데는 많은 시간과 비용이 들기 때문에, 더 큰 LLM을 만들기 위해 해결해야 할 문제 중 하나가 바로 '사전 훈련 단계의 비용 감소'인데요. 소피아는 헤시안(Hessian) 행렬을 근사하여 손실 함수 값이 가파르게 증가하는 방향에 더 큰 패널티를 부과하기 때문에, 기존의 아담(Adam) 옵티마이저보다 더 빠르게 학습이 진행됩니다. 또한, 아담의 경우 손실 함수 곡면이 평평한 쪽으로는 파라미터 값도 천천히 업데이트되는데, 소피아는 모든 차원에서 손실 함수가 일정히 감소한다고 하네요.

Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training

모두팝 후기: 어떻게 비전공자가 장점이 될 수 있을까?

님, 혹시 AI 커리어를 쌓고 싶은데 비전공자여서 막막함을 느끼고 있나요? 최근 모두를 위한 세미나 ‘모두팝’에서 <비전공자로서 AI 커리어를 쌓는 법>을 주제로 발표가 진행돼 간략히 소개하고자 합니다. 본 세미나는 AI 리서처 직무에 관한 전반적인 설명부터 비전공자로서 AI 리서처 취업을 준비할 때 필요한 노하우와 경험담이 담겨 있습니다. 모두연 공식 유튜브에서 지난 모두팝 영상들을 확인할 수 있으니, 참고해 주세요.

AI 연구원으로 일하는 법