AI ๋ ผ๋ฌธ ์ ์ ๋ ๋น 57% ๊ธ์ฆ! ์ฐ๊ตฌ ์ด๊ธฐ ๋จ๊ฒ๋ค
Qwen3, MoE ๊ธฐ์ ๋ก ์ํ ๋ชจ๋ธ์ ํ๊ณ ๊ทน๋ณต
์ธ๊ณต์ง๋ฅ ํํ ICLR์ด ์ฑ๊ฐํฌ๋ฅด์์ ์ด๋ ค 11,000ํธ ์ด์์ ๋ ผ๋ฌธ์ด ์ ์ถ๋์์ต๋๋ค. ์ด๋ ์๋ (7,000ํธ)๊ณผ ์ ์ ๋ (5,000ํธ)์ ๋นํด ํฌ๊ฒ ์ฆ๊ฐํ ์์น๋ก, ์ฑํ๋ฅ (accept rate, ๋ ผ๋ฌธ ์ ์ ๋น์จ)์ 31.7%๋ฅผ ๊ธฐ๋กํ์ต๋๋ค.
์ฐ์ ๋ ผ๋ฌธ์์ 3ํธ์ด ์์ํ๋๋ฐ์. LLM ์์ ์ฑ ์ ๋ ฌ(AI ์ํ ๋ฐฉ์ง)์ ์ทจ์ฝ์ ๋ถ์, LLM ํ์ธํ๋์ ํ์ต ๊ณผ์ ์ฐ๊ตฌ, LLM์ ์ ์ง์์ ์ ๋ฐ์ดํธํ๋ ๋ฐฉ๋ฒ์ ๋ค๋ฃฌ ๋ ผ๋ฌธ๋ค์ด์์ต๋๋ค. ์ด๋ฅผ ํตํด AI ์ฐ๊ตฌ๊ฐ ๋จ์ํ ์ฑ๋ฅ ํฅ์์ ๋์ด ์์ ํ๊ณ ์ง์ ๊ฐ๋ฅํ ๋ฐ์ ๋ฐฉํฅ์ผ๋ก ๋์๊ฐ๊ณ ์์์ ํ์ธํ ์ ์์ต๋๋ค.
ICLR 2025 - The Thirteenth International Conference on Learning Representations
์๋ฆฌ๋ฐ๋ฐ ํด๋ผ์ฐ๋๊ฐ ๊ณ ํจ์จ ์ธ์ด ๋ชจ๋ธ Qwen3 ์๋ฆฌ์ฆ๋ฅผ ์คํ์์ค(๋ฌด๋ฃ ๊ณต๊ฐ)๋ก ์ถ์ํ์ต๋๋ค. MoE(์ง์ ์ ๋ฌธ๊ฐ ์กฐํฉ) ๊ธฐ์ ์ ์ ์ฉํ ๋ํ ๋ชจ๋ธ๊ณผ ํจ๊ป ๋ค์ํ ํฌ๊ธฐ์ ๋ชจ๋ธ๋ค์ด ์ํ์น 2.0 ๋ผ์ด์ ์ค๋ก ๊ณต๊ฐ๋์์ต๋๋ค.
์ต์์ ๋ชจ๋ธ์ ์ฝ๋ฉ, ์ํ ๋ฑ์์ o3-mini, Gemini 2.5 Pro์ ๊ฐ์ ์ ๋ช ๋ชจ๋ธ๋ค๊ณผ ๋๋ฑํ ์ฑ๋ฅ์ ๋ณด์์ต๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ ์ ์์ ๋ชจ๋ธ๋ค์ ํจ์จ์ฑ์ผ๋ก, Qwen3-4B๊ฐ ์ด์ ์ธ๋์ 72B ๋ชจ๋ธ๊ณผ ๋น์ทํ ์ฑ๋ฅ์ ๋ฌ์ฑํ์ต๋๋ค. ์ด๋ ์ ์ ์ปดํจํ ์์์ผ๋ก๋ ๊ณ ์ฑ๋ฅ AI๋ฅผ ํ์ฉํ ์ ์๊ฒ ๋์ด ๊ธฐ์ ๊ณผ ๊ฐ๋ฐ์๋ค์ AI ์ ๊ทผ์ฑ์ด ํฌ๊ฒ ํฅ์๋์์์ ์๋ฏธํฉ๋๋ค.
์ด๋ฆฐ ์ฐ๊ตฌ์ค
์ด๋ฆฐ ์ธ๋ฏธ๋
์นผํด๋ฅผ ์ํ 1๋ถ AIํ
๋ชจ๋์์ฐ๊ตฌ์ ๊ณต์ SW/AI ๋ด์ค๋ ํฐ