📮 ChatGPT에도 사용된 강화학습 언어 모델?

• 허깅페이스가 제공하는 언어 모델 Fine-tuning 라이브러리
• RLHF: 강화 학습을 이용한 언어 모델 학습 기법
• 구글 퀀텀(Google Quantum) AI팀이 소개하는 새로운 양자 신호 증폭기
• 텐서플로의 Decision Forests 라이브러리 출시 예정

언어 모델이 점점 커지면서 이제는 일반인들이 사용하고 있는 GPU로도 파인 튜닝(Fine-tuning)*하기 쉽지 않은 세상이 온 것 같습니다. Parameter-Efficient Fine-Tuning(PEFT)은 Pretrained LLM(Large Language Model) 파라미터의 대부분을 동결(Freezing)시키고 소수만을 파인 튜닝하는 방법입니다. PEFT에는 LoRA, Prefix tuning, P-tuning, Prompt tuning 등의 기법들이 있는데요. 모델 전체를 파인 튜닝하는 것보다 효율적이며 성능도 좋다고 합니다.

*파인 튜닝(Fine-tuning): 기존에 학습되어져 있는 모델을 기반으로 아키텍쳐를 새로운 목적에 맞게 변형하고 이미 학습된 모델의 가중치를 미세하게 조정하여 학습시키는 방법

PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware

사람의 피드백을 활용한 강화학습, Reinforcement Learning from Human Feedback(RLHF) 들어보셨나요? RLHF가 나오게 된 배경은 언어 모델에서 "좋은(good)" 텍스트를 정의하는 것이 주관적이고 맥락 의존도가 높아(Context dependent) 어렵기 때문인데요. 이를 손실 함수(Loss function)로 나타내는 건 더욱 어렵겠죠. RLHF는 모델로 생성된 텍스트에 대한 사람의 피드백을 성능의 척도로 사용하고, 강화학습을 이용해 모델을 학습시키는 방식입니다. 최근 가장 핫한 ChatGPT에도 RLHF가 사용됐다고 하네요!

Illustrating Reinforcement Learning from Human Feedback (RLHF)

구글 퀀텀 AI팀에서 초전도 마이크로파 회로로 양자 컴퓨터를 구축하고 있습니다. 양자 컴퓨터가 제대로 작동하도록 제작하려면 프로세서뿐만 아니라 주변 기기들도 맞춤형으로 설계돼야 한다고 합니다. 원래 큐비트(qubit) 상태(State)를 관찰하려고 하면, 그 상태에 영향을 주게 된다는 문제가 있었는데요. 아래 글에서 설명하는 초전도 마이크로파 증폭기를 사용하면 이를 해결할 수 있다고 합니다.

*큐비트(qubit 또는 quantum bit): 양자 컴퓨터로 계산할 때의 기본 단위

Amplification at the Quantum limit

텐서플로(TensorFlow)에서 2년 전부터 준비했던 TensorFlow Decision Forests(TF-DF) 라이브러리가 드디어 Production(운영)으로 준비 완료됐다고 합니다. TF-DF 라이브러리를 사용하면 트리의 개수, 트리의 최대 깊이 등 하이퍼 파라미터(Hyperparameter)를 간편하게 튜닝할 수 있고, 구글 클라우드를 통한 모델 서빙, 분산 학습도 가능하다고 합니다. 원래 결정 트리(Decision tree) 모델은 Scikit-learn으로 많이 구현했었는데요. 텐서플로에서 출시될 라이브러리는 어떨지 정말 궁금하네요!

Updates: TensorFlow Decision Forests is production ready

• Green LAB
• VEX(Virtual Entertaining eXperience) LAB
• 220V LAB
• Quantum LAB *이번주 정원사 추천: 어디서 찾기 힘든 양자(Quantum) LAB!
• Catena LAB

• 일시: 2023년 2월 21일 화요일 I 7:30PM-9:00PM
• 장소: 모두의연구소 강남캠퍼스
• 연사: 박은수(모두의연구소)
• 콘텐츠: 계층적 표현학습의 딥러닝 I MLP, CNN, RNN, LSTM, Attention, Transformer I Q&A

• 일시: 2023년 3월 7일 화요일 I 7:30PM-9:30PM
• 장소: 모두의연구소 강남캠퍼스
• 연사: 정지훈(K2G테크펀드 파트너, DGIST 겸임교수, 모두의연구소 CVO)
• 콘텐츠: Stable Diffusion과 ChatGPT 기술에 대한 이해 I 비지니스 인사이트 I Q&A

• 스팸메일함에서 울고 있을지도 몰라요. 찾아가 확인해 보세요!
• 주소록에 모두의연구소 이메일 주소(modulabs01@gmail.com)를 추가해 주세요.