📮 님도 소문 들었나요?💬

#Llama3🦙 #CodeGemma

2024. 4. 15.

📮 님도 소문 들었나요?💬

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 4월 15일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with DALL·E

님, 모두레터가 왔어요!

님도 라마 3 출시 소문 들었나요?

작은 버전은 곧 나올 수도 있다고 하는데요.

올여름은 또 얼마나 뜨거울지 기대되네요!☄️

이번주 SW/AI 소식

라마 3를 둘러싼 소문?
구글의 새로운 코드 모델 등장!

열린 세미나: 🇰🇷한국어 언어모델 잘 평가하기 I UX 디자이너를 위한 AI 101 I 생성형 AI를 활용한 프레젠테이션 만들기

라마 3를 둘러싼 소문?

메타가 개발한 오픈소스 언어 모델 라마 2(Llama 2)는 언어 모델의 성능 비교 등 다양한 분야에서 활발하게 사용되고 있는데요🦙. 이 라마 시리즈의 다음 버전인 라마 3(Llama 3)가 올여름 출시될 것이라는 이야기가 나오고 있습니다. 테크/비즈니스 미디어 'The Information'에 따르면, 라마 3의 가장 큰 모델은 140B(파라미터 1400억 개) 이상의 크기를 가질 것으로 추측되고 있고요. 이미지 등을 포함한 멀티모달(Multimodal) 데이터를 처리할 수 있을 것이라고 하네요. 라마 2 모델의 크기가 7B, 13B, 70B였던 것을 생각하면 어마어마한 크기죠. 라마 3의 두 가지 작은 모델은 이르면 이번 주에 공개될 가능성도 있다고 합니다😲. 오픈AI의 'GPT-5'도 올여름 출시될 가능성이 있다는 소문이 돌고 있는데요. 과연 올여름에는 어떤 뜨거운 소식이 찾아올까요?

Meta Platforms to Launch Small Versions of Llama 3 Next Week

구글의 새로운 코드 모델 등장!

©Hugging Face

구글에서 코드를 위한 LLM(Large Language Model) 코드젬마(CodeGemma)가 출시되었습니다. 코드젬마는 구글이 이전에 발표했던 오픈소스 언어 모델 젬마 (Gemma)를 기반으로 학습되었고요. 코드 완성에 특화된 2B 모델, 코드(80%) 및 자연어(20%)로 학습된 7B 모델, 그리고 코드와 관련된 내용으로 사용자와 대화할 수 있는 7B 인스트럭트(Instruct) 모델로 총 3종류가 있습니다.

허깅페이스는 구글과 협력하여 코드젬마 모델을 다양한 형태로 제공하고 있는데요. 허깅페이스 'transformers' 라이브러리에서 사용할 수 있는 모델뿐만 아니라 모델 양자화(Quantization)를 위한 GGUF 파일, 파이토치 포맷, 케라스 NLP 포맷 등이 업로드돼 있습니다. 여기에서 데모를 실행해 볼 수 있고요. 아래 글에서는 코드젬마 모델에 대한 사용법들을 확인할 수 있으니 참고해 주세요!

CodeGemma - an official Google release for code LLMs

필진 I 신승연, 하자혜

모두의연구소 소식

LAB 연구원 찾아요

DVA LAB 시즌 2 (서비스 팀)🐬 신청하기
DVA LAB 시즌 2 (AI모델개발 팀)🐬 신청하기

Creative Coding LAB 신청하기
Medical AI LAB 신청하기
New AI experience(AIX) LAB 신청하기

풀잎스쿨 연구원 찾아요

Java 웹 개발의 봄, 스프링(Spring) 신청하기
프로그래머를 위한 확률과 통계 신청하기

📚오름캠프에서 온 소식 - 훈련생 분들이 집필한 책 출간!

오름캠프 AI 백엔드 과정 1기 훈련생 분들이 작성한 두 권의 책 '프로젝트 그거 어떻게 하는 건데?' '100문제는 풀고 코테 봐야지?'가 eBook으로 출간됐다고 합니다!

저자 소개에서 '내가 안다는 것은 누군가에게 쉽게 설명할 수 있어야 한다'는 생각으로 책을 썼다는 문구가 참 인상적이었어요. 쉽지 않은 여정을 멋지게 해낸 훈련생 저자 분들을 함께 응원해 주세요!🤗

🗞️혹시 글로벌 탑티어 학회를 목표로 하고 있나요?

님에게 모두의연구소의 논문 지원 제도 '페이퍼샵'을 소개합니다. 최우수 국제 학술대회 논문 작성을 목표로 하는 LAB 참여 연구원을 대상으로 하고 있고요. SCI, SCIE 저널 등의 기준으로 ▴게재비 최대 200만원 ▴패컬티(교신 저자 교수) 매칭을 지원한다고 하니 참고해 주세요!

⚠️모두의연구소 LAB(연구 모임) 개설이 선행돼야 하며, 논문 게재 후 LAB을 개설하는 등 지원 사업의 취지와 맞지 않을 경우 거절될 수 있다고 해요

자세히 보기

[ 페이퍼샵 특집 세미나 ] 🇰🇷한국어 언어모델 잘 평가하기

일시: 4월 16일 화요일 7:30PM - 9:30PM
장소: 모두의연구소 강남캠퍼스
연사: 손규진(OneLineAI, CDO)
내용: 해례(KMMLU, HAERAE Bench) 팀의 한국어 벤치마크 소개 · 현재 연구 방향 및 앞으로 연구돼야 할 분야 · 오픈 소스 연구 경험 · 페이퍼샵(Papershop) 후기, Q&A 및 네트워킹