ํ๊น ํ์ด์ค, ์คํ์์ค ์ํ๊ณ ๋ณด๊ณ ์ ๋ฐํ
์๋ฆฌ๋ฐ๋ฐ, Qwen3.8-Flash-Next ๊ฐ์ค์น ๊ณต๊ฐ
ํ๊น ํ์ด์ค๊ฐ 2026๋ ์ฌ๋ฆ ์คํ์์ค ๋ชจ๋ธ ๋ํฅ์ ๋ถ์ํ ๋ณด๊ณ ์๋ฅผ ๋ฐํํ์ด์. ์ง๋ ๋ด ์คํ์์ค ์ํ๊ณ๋ฅผ ๋ค๋ฃฌ ์ง ๋ช ๋ฌ ๋ง์ธ๋ฐ, ํ๊น ํ์ด์ค ํ๋ธ์ ์ฌ๋ผ์ค๋ ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ์ ์๋ ๋งค์ผ ๋๊ณ ์์ง๋ง ์ ์ ์ ์ฒด ๋ชจ๋ธ์ 85.6%๋ ๋์ ๋ค์ด๋ก๋ ์๊ฐ 200ํ๋ ์ ๋๋ค๊ณ ํ๋๋ฐ์.
์ ์ฒด ๋ค์ด๋ก๋์ 99.2%๋ ์ ์ฒด ์ ์ฅ์์ 1.5%์์๋ง ๋ฐ์ํ ์ ๋๋ก ์ ๋ฆผ์ด ์ฌํ๊ณ , MiniMaxยทZ.ai ๊ฐ์ ์ค๊ตญ ๊ธฐ์ ๋ค์ ์ด๋ํ ํ๋ก ํฐ์ด ๋ชจ๋ธ์ ์๋ฌ์ ๋ด๋๊ณ ์์ด์. '์ข์์' ์๊ฐ ๋ง์ ๋ชจ๋ธ๊ณผ ๋ค์ด๋ก๋๊ฐ ๋ง์ ๋ชจ๋ธ์ ์๋ก ๋ฌ๋๋๋ฐ, ์ข์์๋ ์ฃผ๋ก ์ต์ฒจ๋จ ๋ชจ๋ธ์ ๋ชฐ๋ฆฌ๋ ๋ฐ๋ฉด ๋ค์ด๋ก๋๋ ์ค์ ๋ก ์ธ ์ ์๋ ์์ ๋ชจ๋ธ์ ์ง์ค๋๋ค๊ณ ํด์. 1B ์ดํ ๋ชจ๋ธ์ด ์ ์ฒด ๋์ ๋ค์ด๋ก๋์ 83%๋ฅผ ์ฐจ์งํ ๋ฐ๋ฉด, 100B ์ด์ ๋ชจ๋ธ์ 1%์ ๊ทธ์ณค์ต๋๋ค.
์๋ฆฌ๋ฐ๋ฐ ํด๋ผ์ฐ๋๊ฐ ๋ฉํฐ๋ชจ๋ฌ MoE ๋ชจ๋ธ Qwen3.8-Flash-Next์ ๊ฐ์ค์น๋ฅผ ๊ณต๊ฐํ์ด์. ์ดํ ์ถ์๋ Qwen4์ ์ํคํ ์ฒ๋ฅผ ๋ฏธ๋ฆฌ ์ฟ๋ณผ ์ ์๋ ๋ชจ๋ธ์ด๋ผ๊ณ ํ๋๋ฐ์.
Qwen3-Next์ ๋์ ๋๋ Gated DeltaNet๊ณผ Gated Attention ๊ตฌ์กฐ๋ ์ดํ Qwen ๋ชจ๋ธ ์ ๋ฐ์ ์ฐ์๋๋ฐ, ์ด๋ฒ์๋ ๋ค ๊ฐ์ง๊ฐ ์๋กญ๊ฒ ์ ๊ทธ๋ ์ด๋๋์ด์. ๊ธฐ์กด Gated DeltaNet์ Qwen Sparse Attention์ ๋ํด ๊ธด ์ํ์ค๋ฅผ ์ฒ๋ฆฌํ๋ ๋น์ฉ์ ์ค์๊ณ , ์์ฐจ(residual) ์คํธ๋ฆผ์ 4๊ฐ ๋ถ๊ธฐ๋ก ๋๋ฆฐ Gated Residual๋ก ํ๋ จ ์์ ์ฑ์ ๋์๊ณ ์. ์ฌ๊ธฐ์ ์ถ๊ฐ ๋น์ฉ ์์ด ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ํค์ธ ์ ์๋ N-gram ์๋ฒ ๋ฉ์ ์ ์ฉํ๊ณ , Muon ์ตํฐ๋ง์ด์ ๋ก ์ ํ๋์ ํจ์จ๊น์ง ๊ฐ์ ํ์ต๋๋ค.
์ด๋ฆฐ ์ฐ๊ตฌ์ค
๋ชจ๋์์ฐ๊ตฌ์ ๊ณต์ ๐ ๐จ ๋ด์ค๋ ํฐ โฎ ๐ฒ๐๐๐ผ๐พ ๐ค๐ข๐ค๐ค