📮 누구나 무료로 사용하세요!

#Llama2🦙 #PolyLM

2023. 7. 23.

📮 누구나 무료로 사용하세요!

함께 공유하고 성장하는 연구 문화를 전파해요

2023년 7월 24일 모두레터

구독하기 I 웹에서 보기 I 의견 전하기

Created with DALL・E2 - AI Art Generator

님, 모두레터가 왔어요.

요즘 여러 안타까운 일들로 속상하죠😢

따뜻한 한마디, 소소한 배려가 세상에 더욱 필요한 것 같아요.

'내가 그 사람 입장이면 마음이 어떨까.'

이런 작은 생각이 세상을 바꾸는 게 아닐까요?

이번주 AI 소식

메타, Llama 2 오픈 소스로 공개
PolyLM: 다국어 지원하는 오픈 소스 대규모 언어 모델
인텔 CPU로 Stable Diffusion 모델 파인 튜닝하기

열린 세미나: 의사결정나무에서 부스팅까지 변천사 살펴보기

메타, Llama 2 오픈 소스로 공개

©Meta AI. 메타는 '라마2'를 왜 오픈소스로 공개했을까요?

메타(Meta)가 자사의 대형 언어 모델 '라마2(Llama 2)'를 오픈 소스로 공개했는데요. 상업적으로도 연구용으로도 무료로 사용할 수 있다고 합니다. 라마2는 기존 라마보다 40% 더 많은 2조 개의 토큰(말뭉치 데이터)으로 학습됐으며, 컨텍스트 길이*도 두 배 증가한 4096으로 설정되었습니다. 라마2는 파라미터의 수에 따라 '라마-2-7B, 13B, 70B'의 세 가지 모델이 제공됩니다. 추론, 코딩, 지식 테스트 등 다양한 태스크를 포함하는 벤치마크 테스트에서 라마2는 MPT, Falcon 등의 다른 오픈소스 LLM보다 성능이 뛰어났습니다. 또한, 허깅페이스의 오픈소스 LLM 리더보드에서도 70B 모델은 1위를 기록, 7B와 13B 모델은 비슷한 크기의 다른 상위권 모델과 비슷한 성능을 보였습니다. 라마2는 현재 홈페이지에서 신청하면 다운받을 수 있고, 마이크로소프트 애저(Microsoft Azure)에서도 사용해 볼 수 있다고 하네요!

*컨텍스트 길이(Context length): 하나의 언어 모델이 처리할 수 있는 토큰의 양으로, 길이가 길수록 더 많은 정보와 더 다양한 맥락을 이해할 수 있어요.

Meta and Microsoft Introduce the Next Generation of Llama

PolyLM: 다국어 지원하는 오픈 소스 대규모 언어 모델

오픈AI의 챗GPT나 구글 바드(Bard)는 한국어로도 사용할 수 있죠. 하지만 대부분의 LLM(Large Language Model)은 영어를 중심으로 개발되어 왔어요. 사실 일부 언어를 제외하면 언어 모델 구축에 사용할 수 있는 데이터의 크기가 크지 않은데요. 예를 들면, 태국어와 인도네시아어의 화자는 3억 명이 넘지만 이들 언어로 이뤄진 데이터셋은 토큰 수가 영어의 3% 밖에 되지 않는다고 합니다. 알리바바 그룹의 DAMO 아카데미에서 발표한 'PolyLM'은 다국어 데이터셋으로 학습된 오픈소스 언어 모델인데요. 18개 언어로 된 웹 텍스트 데이터셋을 모아 모델을 학습시켰고, 데이터셋의 전체 크기는 약 6,400억(640B) 개입니다. 다양한 언어를 이해하는 태스크에서 'LLaMA 1', 'BLOOM' 등 다른 오픈소스 LLM보다 성능이 좋았다고 하네요. AI와 다양성・포용성 관련 주제가 계속 떠오르는 만큼 다국어 언어 모델 연구도 활발히 진행되는 것 같습니다.

PolyLM: An Open Source Polyglot Large Language Model

인텔 CPU로 Stable Diffusion 모델 파인 튜닝하기

허깅페이스 블로그에 CPU로 스테이블 디퓨전(Stable Diffusion) 모델을 파인 튜닝(Fine-tuning)하는 과정이 담긴 글이 올라왔어요. 그냥 CPU는 아니구요, 'Sapphire Rapids'라고 불리는 인텔 4세대 제온(Xeon) 프로세서인데요. 본문에서 사용된 CPU는 1만 달러가 넘는 고가의 모델이지만, 아마존의 AWS나 구글의 GCP와 같은 클라우드 서비스를 이용할 경우 GPU 서버를 대여하는 것보다 저렴할 수 있다고 해요. 또한, 딥러닝 학습에 특화된 GPU와 달리 CPU는 컴퓨터의 전반적인 작업에 모두 활용될 수 있어서 서버 인프라를 구성할 때 더 유연한 선택이 될 수 있다고 하네요.

CPU를 효율적으로 사용하기 위해 본문에서는 인텔 라이브러리인 'oneCCL', 'IPEX'와 함께 메모리 할당 등의 운영체제 작업을 최적화하는 라이브러리들을 설치했습니다. 적은 수의 이미지로도 스테이블 디퓨전 모델 학습을 진행할 수 있도록 하는 'textual inversion'이라는 기법과, 허깅페이스 'Diffusers' 라이브러리를 사용했다고 해요. 1시간 정도의 학습으로 꽤 괜찮은 이미지가 생성됐다고 하는데, 한 번 확인해 보세요!

Fine-tuning Stable Diffusion Models on Intel CPUs