📮 님, 꿀정보 배달왔어요🐝

#MistralLarge #Diffusion #Llama2 #Gemini1.5

2024. 3. 4.

📮 님, 꿀정보 배달왔어요🐝

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 3월 4일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with DALL·E💐

님, 모두레터가 왔어요!

요즘 유행하는 꽃집 챌린지, 알고 있나요?

저같은 I(내향형)에겐 보는 재미가 쏠쏠🤣.

님에게 꽃같은 한 주가 되길!~

이번주 SW/AI 소식

다국어, 수학, 코딩 잘하는 언어 모델 등장!
딥러닝 모델 학습에 사용되는 디퓨전?

🍯한시적 무료! 프롬프트 엔지니어링 추천 강의

열린 세미나: 디지털, 너 내 동료가 돼라!

다국어, 수학, 코딩 잘하는 언어 모델 등장!

©Mistral AI

유럽판 오픈AI라고 불리는 프랑스 스타트업 '미스트랄(Mistral) AI'가 새로운 언어 모델 '미스트랄 라지(Mistral Large)'를 공개했습니다. 파라미터 수가 공개되지는 않았지만 GPT-4나 라마(LLaMA) 2 70B, 제미나이 프로(Gemini Pro)와 같은 모델들과 성능을 비교한 것을 보면 비슷한 수준의 모델이 아닐까 예상됩니다.

GPT-4보다는 전체적인 성능이 조금 낮지만, 다국어 처리와 수학, 코딩에 강점을 지니고 있다고 하네요. 미스트랄 라지와 함께 발표된 대화형 AI 서비스 르 챗(Le Chat)에서 미스트랄 AI의 최신 모델들을 만날 수 있고요. 미스트랄 AI와 협약을 맺은 마이크로소프트의 애저에서도 미스트랄 라지의 API를 사용할 수 있으니 참고해 보세요!

Mistral Large

딥러닝 모델 학습에 사용되는 디퓨전?

이미지 생성 모델의 발전에 기여한 핵심 개념 중 하나인 '디퓨전(Diffusion)'을 활용해 딥러닝 모델의 파라미터를 찾는 방법을 제안한 논문이 공개됐어요. 디퓨전이 이미지를 표현하는 훌륭한 파라미터를 생성한다는 점에서 아이디어를 얻었다고 합니다.

우선 사전 학습된 모델의 파라미터로 파라미터 오토인코더(Autoencoder)를 학습시켜서 파라미터의 잠재 표현(Latent representation)을 얻고요. LDM(Latent Diffusion Model)을 이용해 노이즈와 잠재 표현 사이의 관계를 학습합니다. 이제 랜덤 노이즈를 LDM에 입력시키면 파라미터를 얻을 수가 있게 되는데요. 그 결과 CIFAR, 이미지넷(ImageNet)과 같은 데이터에서 일반적인 학습법이나 앙상블(Ensemble) 학습보다 성능이 더 좋은 파라미터를 찾을 수 있었다고 합니다.

Neural Network Diffusion

🍯한시적 무료! 프롬프트 엔지니어링 추천 강의

메타와 딥러닝 AI가 함께 만든 1시간 단기 과정을 소개할게요. 라마 2 모델에 대한 프롬프트 모범 사례, 라마 2 챗(Chat) · 코드 라마(Code Llama) · 라마 가드(Llama Guard) 모델 이용하기, 라마 가드 모델로 책임감 있는 AI 애플리케이션 구축하기 등을 다룹니다. 한시적 무료라고 하니, 관심 있다면 살펴 보세요!

Prompt Engineering with Llama 2

🍯소라 &제미나이 사태, 보통 기업들의 AI 전략은?

최근 소라(Sora)와 제미나이(Gemini) 1.5 발표가 핫 이슈였죠? 결국 AI 비지니스에서 무엇이 경쟁력의 핵심이 될지, AI를 비지니스에 접목하고자 하는 보통의 회사들은 어떻게 접근해야 할지에 대해 흥미롭게 풀어낸 하용호님의 글을 소개합니다.

필진 I 신승연, 하자혜

모두의연구소 소식

🎉이해관계자 DAO LAB 최종 발표회, 시즌 1 마무리

이해관계자 DAO LAB(랩짱 한재선님)이 9주 동안의 여정을 정리하는 최종 발표회를 진행했어요. 역대 최대 연구원(24명)에 객원 연구원들까지 참석해 열기가 뜨거웠다고 하네요! 서브랩짱 전정환 연구원의 페이스북에서 리뷰와 DAO LAB의 자료를 확인할 수 있어요 :)

LAB 자세히 보기

LAB 연구원 찾아요

MODU-I LAB 신청하기 (마감임박)
NVIDIA - Data Engineering with RAPIDS LAB 신청하기 (마감임박)
PISTAR LAB 신청하기 (마감임박)
NVIDIA - Foundation Models LAB 신청하기
NVIDIA - NLP Forge LAB 신청하기

풀잎스쿨 퍼실이 찾아요

시작의 계절인 3월의 봄, 스터디 모임 한 번 만들어 볼래요? 퍼실이가 모임에만 집중할 수 있도록 모집 홍보, OT, 학습 공간 등을 지원해 준다고 합니다!😺 지금 지원하기 (오늘까지)

오름캠프에서 온 소식

님, 안녕하세요! 오름캠프 운영매니저 이수빈입니다. 어느덧 최종 프로젝트를 앞두고 있는 저희 JavaScript Fullstack 과정에서 공유드릴 금주 👉우수 팀 블로그 글은 K-tried팀의 '리액트 번들링 프로세스'에 관한 글입니다. 번들링과 웹팩(Webpack)에 대해 궁금하다면 읽어봐 주세요!