๊ตฌ๊ธ์์ ์ฝ๋๋ฅผ ์ํ LLM(Large Language Model) ์ฝ๋์ ฌ๋ง(CodeGemma)๊ฐ ์ถ์๋์์ต๋๋ค. ์ฝ๋์ ฌ๋ง๋ ๊ตฌ๊ธ์ด ์ด์ ์ ๋ฐํํ๋ ์คํ์์ค ์ธ์ด ๋ชจ๋ธ ์ ฌ๋ง(Gemma)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ์ต๋์๊ณ ์. ์ฝ๋ ์์ฑ์ ํนํ๋ 2B ๋ชจ๋ธ, ์ฝ๋(80%) ๋ฐ ์์ฐ์ด(20%)๋ก ํ์ต๋ 7B ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ ์ฝ๋์ ๊ด๋ จ๋ ๋ด์ฉ์ผ๋ก ์ฌ์ฉ์์ ๋ํํ ์ ์๋ 7B ์ธ์คํธ๋ญํธ(Instruct) ๋ชจ๋ธ๋ก ์ด 3์ข ๋ฅ๊ฐ ์์ต๋๋ค.
ํ๊น ํ์ด์ค๋ ๊ตฌ๊ธ๊ณผ ํ๋ ฅํ์ฌ ์ฝ๋์ ฌ๋ง ๋ชจ๋ธ์ ๋ค์ํ ํํ๋ก ์ ๊ณตํ๊ณ ์๋๋ฐ์. ํ๊น ํ์ด์ค 'transformers' ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ์ฌ์ฉํ ์ ์๋ ๋ชจ๋ธ๋ฟ๋ง ์๋๋ผ ๋ชจ๋ธ ์์ํ(Quantization)๋ฅผ ์ํ GGUF ํ์ผ, ํ์ดํ ์น ํฌ๋งท, ์ผ๋ผ์ค NLP ํฌ๋งท ๋ฑ์ด ์ ๋ก๋๋ผ ์์ต๋๋ค. ์ฌ๊ธฐ์์ ๋ฐ๋ชจ๋ฅผ ์คํํด ๋ณผ ์ ์๊ณ ์. ์๋ ๊ธ์์๋ ์ฝ๋์ ฌ๋ง ๋ชจ๋ธ์ ๋ํ ์ฌ์ฉ๋ฒ๋ค์ ํ์ธํ ์ ์์ผ๋ ์ฐธ๊ณ ํด ์ฃผ์ธ์!
๋ชจ๋์์ฐ๊ตฌ์ ๊ณต์ SW/AI ๋ด์ค๋ ํฐ