• 인공지능으로 '세상에 없는 것' 그리기
• GPT-4의 수능 국어 도전! 
• 구글 리서치가 소개하는 '의료 멀티모달 LLM'

실존하지 않는 대상도 AI로 그릴 수 있을까요? '콘셉트랩(ConceptLab)'은 특정한 범주(Category)에 속하면서도 실존하지 않는 데이터를 생성합니다. 이게 무슨 말일까요? 예를 들면, 콘셉트랩으로 반려동물을 생성한다고 해 볼게요. '반려동물'이라는 큰 범주는 유지하면서 '강아지', '고양이' 등의 개체들과는 멀어지도록 하는 거예요. 동물뿐만 아니라 건축물, 교통수단, 심지어는 새로운 그림 스타일까지 만들어 낼 수 있다고 합니다. 사람들에게 창의적인 영감을 주는 결과물이 많이 나올 것 같아 기대가 되네요.

콘샙트랩에는 달리(DALL·E) 2 논문에서도 소개됐던 'Diffusion Prior' 네트워크가 사용되었습니다. 모델을 학습시킬 때는 이미지가 원하는 범주에 속하는 방향으로, 그리고 임베딩(Embedding) 값이 세상에 이미 존재하는 개체들과는 멀어지는 방향으로 가중치를 조정한다고 하네요. 코드는 곧 깃허브에 공개된다고 하니 함께 소식을 기다려 보아요!

오픈AI의 네 번째 멀티모달 LLM(Large Language Model)인 'GPT-4'로 수능 국어 1등급에 도전하는 흥미로운 프로젝트를 소개합니다. 'GPT-4가 고작 수능 국어 3등급이라고?🤔'라는 의문에서 시작됐다고 하네요. 프롬프트 엔지니어링 없는 GPT-3.5와 GPT-4는 각각 수능 국어 8등급과 3등급의 성적이었는데요. 이 프로젝트에서는 GPT 모델을 미세조정(Fine-tuning)하는 대신, 프롬프트 엔지니어링을 활용했습니다.

사람처럼 문제를 풀 수 있도록 하기 위해, GPT-4의 답변에 각 선택지에 대한 설명과 그 근거가 된 문장이 포함되도록 했는데요. 이런 방식으로 CoT* 기반의 간단한 프롬프트를 사용한 결과 GPT-4의 성적이 2등급까지 상승, 특정 문제 유형에 최적화된 프롬프트를 추가로 사용하면 1등급까지도 올랐다고 합니다. GPT-4가 생성한 답변을 보면 EBS 해설과 비교해도 부족함이 없을 정도로 자세한데요. 다만, 수식 이해가 필요한 지문이나 복잡한 문법, 논리 구조가 포함된 문장은 GPT-4가 제대로 이해하지 못 했다고 합니다. 본 프로젝트에 관심 있다면, 아래 깃허브 페이지에 방문해 보세요!

의료 분야에서 사용되는 데이터는 굉장히 다양합니다. 예를 들어 의료 이미지나 의료인들이 작성한 텍스트, 실험 데이터, 유전체 데이터 등이 있죠. 그래서 의료 분야에 멀티모달(Multimodal) 모델을 활용하기 위한 방법들이 활발하게 연구되고 있는데요. 이번에 소개할 내용은 의료 데이터를 위한 멀티모달 LLM 연구에 대한 내용입니다. 본문에서는 크게 세 가지 접근법을 소개하고 있어요. ①특정 태스크에 특화된 '도구(Tool)' 프로그램을 LLM과 함께 사용하는 방법, ②특정 태스크를 위한 신경망 모델을 LLM에 바로 이식(Grafting)하는 방법, ③다양한 의료 데이터를 처리할 수 있는 멀티모달 LLM을 새로 학습시켜서 '전문가 시스템(Generalist System)'을 만드는 방법이 있습니다. 세 번째 접근법의 예시로 최근 구글 리서치에서 발표한 'Med-PaLM M' 모델이 있는데요. 기존의 멀티모달 LLM인 'PaLM-E' 모델을 의료 데이터로 미세조정했다고 합니다. 본문에서는 세 가지 접근법 모두 각각의 장점이 있고, 사용처에 따라 최적의 접근법이 달라질 수 있다고 설명합니다.

• DVA(Drone Video Analysis) LAB _8월 15일까지
• Interactive Art LAB _8월 13일까지 
• Data Bias LAB _8월 14일까지
• AI VISION LAB _8월 18일까지

• 일시: 8월 22일 화요일 I 7PM - 9:10PM
• 장소: 모두의연구소 강남캠퍼스
• 연사:이동하(연세대학교 인공지능학과 조교수)
• 내용: 연구 분야 소개 I 이상탐지란? I 이상탐지의 기술적 챌린지 I 이상탐지의 다양한 시나리오 I 딥러닝을 활용한 이상탐지 연구 I Q&A, 네트워킹

• 스팸메일함에서 울고 있을지도 몰라요. 찾아가 확인해 보세요!
• 주소록에 모두의연구소 이메일 주소(modulabs01@gmail.com)를 추가해 주세요.