📮오픈AI가 세계를 돌며 배운 점은?

#Global-Conversation #MachineUnlearning

2023. 7. 9.

함께 공유하고 성장하는 연구 문화를 전파해요

2023년 7월 10일 모두레터

구독하기 I 웹에서 보기 I 의견 전하기

Created with DALL・E2 - AI Art Generator

님, 모두레터가 왔어요!🦌

전 요즘 필름카메라가 좋더라구요📷.

그 느낌으로 그림 그려봤는데 어떤가요? :)

님의 취향도 궁금하네요!

모두레터에 의견 전하기

이번주 AI 소식

오픈AI가 세계를 돌며 얻은 인사이트🌎
구글의 '머신 언러닝' 챌린지: 데이터를 잊게 할 수 있을까?
앤드류 응 회사에서 만든 LLM 강의

열린 세미나: 오픈소스에서 쑥쑥 성장하는 LLM을 알아보고, 살짝 요리해서 맛보자!

오픈AI가 글로벌 대담을 통해 얻은 인사이트🌎

지난 6월, 오픈AI CEO 샘 알트만의 방한으로 AI 업계가 떠들썩했죠! 알트먼 CEO는 5월부터 6월까지 22개국을 방문해 오픈AI 서비스 사용자, 개발자 등과 이야기를 나눴는데요. 오픈AI팀은 이번 글로벌 대담에서 배운 점과 연구소의 향후 방향성을 담은 짧은 글을 발행했습니다.

사람들은 오픈AI가 제공하는 서비스를 이용해 가치 있는 어플리케이션들을 만들어 왔고, 정책 담당자들도 AI에 큰 관심을 가지고 있었다고 하네요. 또한, 많은 사람들이 AI가 불러올 경제 성장이나 생산성 향상 등을 기대하고 있지만, 안전성과 보안 문제에는 우려의 목소리를 냈다고 합니다. 오픈AI는 이번 행사에서 얻은 피드백을 바탕으로 오픈AI의 서비스들이 사람들에게 더욱 유용하고 접근성이 높은 서비스가 되도록 노력하고, 모델 배포 전에 안전성 평가를 수행하는 등 안전한 모델을 계속해 만들어 나갈 것이라고 합니다. GPT와 DALL・E로 AI 분야의 랜드마크가 된 오픈AI의 행보는 어떻게 될까요? 이번 블로그 글에 답이 있을지도 모르겠네요 :)

Insights from global conversations

구글의 '머신 언러닝' 챌린지: 데이터를 잊게 할 수 있을까?

머신 언러닝. 특정 데이터셋으로 학습된 모델에서 망각 데이터셋(forget set)의 정보를 지운 결과(=unlearned model)와, 망각 데이터를 제외하고 학습된 모델(=gold standard)이 유사하도록 만드는 구조

구글 리서치에서 '머신 언러닝 챌린지(Machine Unlearning Challenge)'를 처음으로 개최했습니다🎉. 우리가 알고 있는 머신 러닝은 학습 데이터를 기반으로 데이터의 특징적인 패턴을 식별하여 예측하거나 결정 내리는 과정을 의미합니다. 하지만 이런 접근 방식에는 사생활 침해의 가능성도 존재해요. 예를 들어, 의료 기록과 건강 데이터는 개인에게 매우 민감한 정보인데요. 머신 러닝 모델이 이러한 데이터를 사용해 예측하거나 진단을 수행하면, 개인의 의료 기록과 건강 상태에 대한 정보가 노출될 수 있겠죠.

만약 이미 학습된 모델에서 특정 데이터의 정보를 잊게 할 수 있다면 어떨까요? '머신 언러닝'은 이런 접근에서부터 생긴 분야인데요. 모델에서 특정 데이터를 제거하거나, 모델의 파라미터를 재설정하거나, 모델의 가중치를 초기화하는 등의 작업을 수행하고요. 이를 통해 모델을 새로운 데이터에 더 잘 맞출 수 있거나, 데이터의 보안과 개인 정보 보호를 강화할 수 있다고 하네요. 이번 머신 언러닝 챌린지는 세계적인 AI 학회인 NeurIPS 2023의 일부로 열리고, 7월 중순부터 9월 중순까지 진행된다고 합니다.

Announcing the first Machine Unlearning Challenge

앤드류 응 회사에서 만든 LLM 강의

앤드류 응(Andrew Ng)이 만든 교육 기술 회사 'DeepLearning.AI'에서 LLM(Large Language Model)을 활용한 생성 모델 강의를 출시했습니다. 단순한 개념 설명을 넘어, 데이터 수집부터 성능 평가와 배포까지 생성 모델을 만드는 데 필요한 모든 과정을 설명한다고 하는데요. 먼저 트랜스포머, 프롬프트 엔지니어링 등 LLM 분야의 기초 개념들을 소개하고요. PEFT(Parameter Efficient Fine-Tuning), RLHF(Reinforement Learning from Human Feedback)와 같이 LLM을 파인튜닝(Fine-tuning)하고 성능을 향상시키기 위한 다양한 기법까지 다룹니다. 강의는 코세라에서 무료로 수강할 수 있고, 수료증도 발급할 수 있으니 참고해 주세요!