📮 오픈AI, 앤트로픽이 진행 중인 연구는?🚣

#SAE #WWDC24

2024. 6. 17.

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 6월 17일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with ChatGPT-4o

님, 모두레터가 왔어요!

스티비 공식 레터에 모두레터가 소개됐어요.

새로운 구독자 분들 모두 환영합니다😺!

요즘 하늘이 맑아서 푸른 바다가 생각나더라구요.

님이 시원한 한 주 보내길 바랄게요🌊

이번주 SW/AI 소식

👀오픈AI도 'LLM' 내부를 들여다보는 중
🍏애플 개발자 컨퍼런스 'WWDC24' 개최

열린 세미나: 논문쓰기 LAB 운영 비법 I XR & Interactive Music

👀오픈AI도 'LLM' 내부를 들여다보는 중

©OpenAI

지난달, 앤드로픽(Anthropic)의 연구 소식을 전한 적이 있습니다. 특정한 개념에 활성화되는 뉴런들의 패턴인 피처(feature)를 분석했던 것인데요. 최근에 오픈AI에서도 비슷한 연구를 진행했습니다. 앤트로픽의 방법과 비슷하게 희소 오토인코더(Sparse Autoencoder, SAE)를 사용했는데, 같이 알아볼까요?

SAE는 뉴런들의 조밀한(dense) 활성화 패턴을 밀도가 적은 형태로 만들어 준다는 점에서 신경망 모델을 해석하는 데 사용돼 왔어요. 하지만 대규모 언어 모델(Large Language Model, LLM)처럼 큰 모델에 적용하기에는 어려움이 있었는데요. 오픈AI는 적절한 활성화 함수와 가중치 초기화 방법의 선택, 손실 함수 추가 등의 기법을 사용해 GPT-4와 같이 큰 모델에서도 오토인코더를 학습시킬 수 있었다고 합니다. GPT-2로 학습시킨 오토인코더와 피처 시각화 결과는 공개되어 있으니, 님도 관심이 있다면 확인해 보세요!

Extracting Concepts from GPT-4

🍏애플 개발자 컨퍼런스 'WWDC24' 개최

©Apple

애플의 개발자 컨퍼런스 'WWDC24'가 지난 10일부터 14일까지 개최되었습니다. 앞서 열렸던 엔비디아 GTC, 구글 I/O 등에서 인공지능 관련 소식들이 많이 발표돼 이번 애플의 발표 내용에도 사람들의 관심이 모이게 되었습니다. 엔비디아나 구글과 다르게, 애플은 생성형 AI 분야에서 눈에 띄는 실적을 보여주고 있지는 않죠.

애플은 다른 빅테크 기업들처럼 새로운 생성 모델을 개발하는 대신, 애플의 생태계에 인공지능을 결합하는 쪽에 중점을 두었습니다. 애플은 오픈AI와의 협력을 통해, 새로운 인공지능 시스템 '애플 인텔리전스'로 앱에 다양한 AI 기능을 추가할 예정입니다. 글쓰기 도구와 그림/이모지 생성 등의 기능이 추가되고, 시리(Siri)도 더욱 똑똑해진다고 하네요! 더 다양한 소식은 아래 공식 홈페이지를 참고해 주세요.

WWDC24 - Apple Developer

필진 I 신승연, 하자혜