📮 CVPR2023 베스트 페이퍼는?🏆

• 세계 최대 컴퓨터 비전 학회 'CVPR 2023' 개최
• MagicBrush: 설명 기반 이미지 편집을 위한 데이터셋
• RoboCat: 스스로 발전하는 로봇 에이전트
• 애플 기기에서 'Stable Diffusion'을 더 빠르게

컴퓨터 비전과 패턴 인식 분야의 학회인 'CVPR 2023'이 지난주 개최됐습니다. 올해는 총 9155편의 논문이 제출됐고, 이 중에서 2359편의 논문이 통과(Accept)되었다고 하네요. 가장 많이 나왔던 분야는 '3D 이미지 생성'이고, 이미지・비디오 생성, 사람의 얼굴・포즈・움직임 등의 주제들도 인기가 있었습니다. 또한, 올해 두 편의 논문이 'Best Paper Award'를 수상했는데요. 자연어로 주어진 컴퓨터 비전 문제로부터 의사 코드(Pseudocode)를 생성해 관련 태스크를 해결하는 접근법 'VISPROG'의 논문과 자율주행의 여러 태스크를 한번에 해결하기 위해 통합된 프레임워크 'UniAD'를 제안하는 논문이 우수 논문으로 선정됐습니다.

텍스트로 이미지를 생성하는(text-to-image) 모델들에 이어, 텍스트로 이미지를 편집하는(text-guided image editing) 모델도 활발하게 연구되고 있습니다. 대표적인 모델로는 Text2LIVE, Blended Diffusion, Imagen Editor 등이 있는데요. 이 모델들은 대부분 이미지 편집 태스크를 위한 데이터셋으로 학습되지 않았거나(Zero-shot), 딥러닝으로 생성된 이미지를 이용해 학습되었기 때문에 노이즈가 많다는 단점이 있다고 하네요. 매직브러쉬(MagicBrush)는 이미지 편집 모델을 위해 제작된 데이터셋으로, 약 1만 개의 이미지로 구성돼 있습니다. 기본 이미지와 마스크가 적용된 이미지, 텍스트 프롬프트, 편집된 결과 이미지를 모두 제공하고요. 기존 이미지 편집 모델의 학습에 매직브러쉬 데이터셋을 사용했더니 더 나은 성능을 보였다고 하네요!

구글 딥마인드가 단 100회의 데모로 다양한 로봇팔 조작을 습득하고 자가 생성(self-generated) 데이터를 사용해 스스로 발전할 수 있는 AI 에이전트인 '로보캣(RoboCat)'을 발표했습니다. 일상생활의 모든 태스크를 포함하는 학습 데이터셋을 만들기 어렵기 때문에, 일반적으로 로봇은 특정한 태스크만 수행하도록 학습돼 왔는데요. 로보캣은 텍스트, 이미지, 이벤트를 분석하고 조작할 수 있는 AI 모델인 '가토(Gato, 스페인어로 고양이🐱)'를 기반으로 여러 태스크들을 해결할 수 있는 최초의 모델이라고 합니다. 자세한 내용을 아래 링크에서 살펴 보세요!

3주 전, 애플의 세계 개발자 컨퍼런스(WWDC)가 개최됐었죠. 여러 세션 중 애플의 머신러닝 프레임워크인 '코어(Core) ML'의 최적화에 관한 소식이 있었습니다. 이 코어 ML은 파이토치, 텐서플로로 구현된 모델을 코어 ML 형식으로 변환해 주는 패키지 'coremltools'를 제공하는데요. 이번 업데이트로 '팔레트화(palettization)', '양자화(quantization)' 등의 최적화 기법들이 추가되었습니다. 스테이블 디퓨전과 같은 생성 모델도 iOS와 맥OS 환경에서 돌려볼 수 있다고 하네요!

• Start UP! UP! LAB _6월 30일까지
• 반려로봇 LAB _6월 30일까지
• DR4R LAB 시즌3 _7월 15일까지

• Human Microbiome LAB _6월 27일까지 
• Autonomous Driving LAB _7월 3일까지 

• DCV(Deep Computer Vision) LAB _6월 23일까지 
• Generative art for NFTs LAB _6월 23일까지

• 일시: 7월 4일 화요일 I 7:30PM - 8:30PM
• 장소: 모두의연구소 강남캠퍼스
• 연사:정현준(Adobe)
• 콘텐츠: GenAI 발달의 배경 I 최근 2-3년 GenAI의 변화 양상 I 변화의 양상 뒤에서 주목해야 할 모습과 앞으로 펼쳐질 AI/ML의 세계

• 스팸메일함에서 울고 있을지도 몰라요. 찾아가 확인해 보세요!
• 주소록에 모두의연구소 이메일 주소(modulabs01@gmail.com)를 추가해 주세요.