์ฌ๋์ ์ธ๋ถ ํ๊ฒฝ์์ ์ ๋ณด๋ฅผ ์ป์ ๋, ์๊ฐ ๋ฟ๋ง ์๋๋ผ ์ฌ๋ฌ ๊ฐ๊ฐ๋ค์ ์ฌ์ฉํ์ฃ ? ๋ฅ๋ฌ๋ ๋ถ์ผ์์๋ ๋ค์ํ ๋ชจ๋ฌ๋ฆฌํฐ(Modality)๋ฅผ ๊ฒฐํฉํ๋ ์ฐ๊ตฌ๊ฐ ํ๋ฐํ๊ฒ ์งํ๋๊ณ ์์ต๋๋ค. ์ต๊ทผ ๋ฉํ๊ฐ ๊ณต๊ฐํ ์๋ก์ด AI ๋ชจ๋ธ โ์ด๋ฏธ์ง๋ฐ์ธ๋(ImageBind)โ๋ ์ด๋ฏธ์งยท๋น๋์ค, ํ ์คํธ, ์ค๋์ค, ์ดํ์(์ ์ธ์ ์ด๋ฏธ์ง) ๋ฑ 6๊ฐ์ง ์ ํ์ ๋ฐ์ดํฐ๋ฅผ ํ๋์ ์๋ฒ ๋ฉ ๊ณต๊ฐ์ ๊ฒฐํฉํ๋ ๋ชจ๋ธ์ธ๋ฐ์. ๊ณต๊ฐ๋ ์ฝ๋, ๋ฐ๋ชจ๊ฐ ํฌํจ๋ ์์ธํ ๋ด์ฉ์ ํ์ธํด ๋ณด์ธ์!
๊ตฌ๊ธ์ด ์์ด ๋ฐ์ดํฐ๋ฅผ ์ธ์ํ๋ ์บ๊ธ ๋ํ๋ฅผ ๊ฐ์ตํ์์ต๋๋ค. ์์ฑ ์ธ์ ๊ธฐ์ ์ ์ฌ๋ฌ ์ ์ ๊ธฐ๊ธฐ์์ ์๊ฐ ์ฅ์ ์ธ๋ค์ ์ ๊ทผ์ฑ์ ๋์์ง๋ง, ์ฒญ๊ฐ ์ฅ์ ์ธ๋ค๊ณผ ๋์ฒญ์ด ์๋ ์ฌ๋๋ค์ ์ด๋ฐ ๊ธฐ๋ฅ์ ์ ๊ทผํ ์ ์์์ด์. ๊ทธ๋์ ๊ตฌ๊ธ์ ๋ณด๋ค ๋ง์ ์ฌ๋๋ค์ด ๊ธฐ์ ์ ๋๋ฆด ์ ์๋๋ก ์์ด ์ธ์ ๊ธฐ์ ๊ฐ๋ฐ์ ์ง์ํ๊ธฐ๋ก ํ๊ณ , ์ด๋ฒ ๋ํ๋ ์ด๋ฌํ ๋งฅ๋ฝ์์ ์ด๋ ธ๋ค๊ณ ํด์. 5๋ฑ ์ด๋ด ์ง์ ์ ๊ธฐ๋กํ ํ์๊ฒ๋ ์๊ธ๋ ์ฃผ์ด์ง๋, ๋๋ ๊ด์ฌ์ด ์๋ค๋ฉด ๋์ ํด ๋ณด์ธ์๐.
์์ฆ AI ๋ถ์ผ์์ ๊ฐ์ฅ ์ธ๊ธฐ ์๋ ํค์๋ ์ค ํ๋๊ฐ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ด์ฃ ? ๋งค๋ ํ์คํ ๋ฅ๋ฌ๋ ๊ฐ์๋ฅผ ์งํํ๊ณ ์๋ โThe Full Stackโ์์ ์ง๋ ๋ฌ ๊ฐ์ตํ <LLM ๋ถํธ์บ ํ>์ ๊ฐ์ ์๋ฃ์ ์์์ด ๊ณต๊ฐ๋์์ต๋๋ค. ํ๋กฌํํธ ์์ง๋์ด๋ง, LLM์ ์ด์ฉํ ์๋น์ค ๋ฐฐํฌ, ์ฆ๊ฐ ์ธ์ด ๋ชจ๋ธ ๋ฑ์ ์ฝํ ์ธ ๋ค์ด ์ด๋ ค ์์ผ๋, ํด๋น ๋ถ์ผ์ ๊ด์ฌ ์๋ค๋ฉด ์ฐธ๊ณ ํด ์ฃผ์ธ์!
๊ตฌ๊ธ์ ๊ฐ์ฒด ํ์ง(Object detection) ๋ชจ๋ธ โF-VLMโ์ด ICLR 2023์์ ๋ฐํ๋์์ต๋๋ค. ๊ฐ์ฒด ํ์ง ๋ชจ๋ธ์ด ์ผ๋ฐ์ ์ผ๋ก ์ธ์ํ ์ ์๋ ๋ฌผ์ฒด์ ์ข ๋ฅ๋ 1,000๊ฐ์ง ์ ๋ ๋ฐ์ ์ ๋๋ค๊ณ ํ๋๋ฐ์. ๊ตฌ๊ธ์ ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด โCLIPโ๊ณผ ๊ฐ์ VLM(Vision and Language Model)์์ ์์ด๋์ด๋ฅผ ์ป์์ต๋๋ค. ์ด๋ฏธ ํ์ต๋(Pretrained) VLM์ ์ด๋ฏธ์ง ์ธ์ฝ๋์ ํ ์คํธ ์ธ์ฝ๋๋ฅผ ๊ทธ๋๋ก ์ฌ์ฉํ์์๋ LVIS, Object365 ๋ฑ์ ๋ฐ์ดํฐ์ ์ผ๋ก ์งํ๋ ํ์คํฌ์์ ์๋ก์ด ์นดํ ๊ณ ๋ฆฌ์ ๋ฌผ์ฒด๋ฅผ ์ ๋๋ก ์ธ์ํ ์ ์์๋ค๊ณ ํด์.
๋ชจ๋์์ฐ๊ตฌ์ ๊ณต์ SW/AI ๋ด์ค๋ ํฐ