๋ชจ๋๋ ํฐ
๊ตฌ๋ ํ๊ธฐ
๐ฎ ์คํ ์์ค ์ต๊ฐ์ด ๋ฑ์ฅํ๋ค๊ณ ?
#CodeLlama70B๐ฆ #Eagle #ReactHook
2024. 2. 4.
๐ฎ ์คํ ์์ค ์ต๊ฐ์ด ๋ฑ์ฅํ๋ค๊ณ ?
#CodeLlama70B๐ฆ #Eagle #ReactHook
ํจ๊ป ๊ณต์ ํ๊ณ ์ฑ์ฅํ๋ ์ฐ๊ตฌ ๋ฌธํ๋ฅผ ์ ํํด์
2024๋ 2์ 5์ผ ๋ชจ๋๋ ํฐ
๐๏ธ
์น๊ตฌ๋ ๊ฐ์ด์ฝ๊ธฐ
I
์น์์ ๋ณด๊ธฐ
I
์ง๋ ๋ ํฐ ๋ณด๊ธฐ
created with DALLยทE
๋, ๋ชจ๋๋ ํฐ๊ฐ ์์ด์!
๋์ ํน์ ๋งํฌ๋์ธ ์์ฃผ ์ฐ๋์?
์ด์ ๋งํฌ๋์ธ์์๋ ๋ชจ๋๋ ํฐ๋ฅผ ๋ณผ ์ ์์ด์(
๊ตฌ๋ ๊พธ~์ฑ
).
์ด๋ฒ์ฃผ๋ ํ๋ด๊ณ , ๊ธฐ๋ถ ์ข์ ์ค ์ฐํด ๋ณด๋ด์!๐บ
๋ง. ์ค ์ฐํด๋ ๋ชจ๋๋ ํฐ๋ ํ ์ฃผ ์ฌ์ด๊ฐ๋๋ค.
์ด๋ฒ์ฃผ SW/AI ์์
์คํ ์์ค ์ต๊ฐ? ์ฝ๋ ๋ผ๋ง 70B ๋ชจ๋ธ ๊ณต๊ฐ
ํธ๋์คํฌ๋จธ ์๋ ์ธ์ด ๋ชจ๋ธ์ด๋ผ๊ตฌ?
๋ฆฌ์กํธ ์ ๊ท 'ํ ' ๋ฏธ๋ฆฌ๋ณด๊ธฐ
์ด๋ฆฐ ์ธ๋ฏธ๋
: ํด๊ทผ์๊ฐ ์๋น๊ฒจ์ฃผ๋ ์ ๋ฌด์๋ํ
์คํ ์์ค ์ต๊ฐ? ์ฝ๋ ๋ผ๋ง 70B ๋ชจ๋ธ ๊ณต๊ฐ
ยฉMeta
๋ฉํ๊ฐ ํ๋ผ๋ฏธํฐ 700์ต ๊ฐ ํฌ๊ธฐ์ ์ฝ๋ ์์ฑ ๋ชจ๋ธ '์ฝ๋ ๋ผ๋ง(Code Llama) 70B' ๋ชจ๋ธ์ ๊ณต๊ฐํ์ต๋๋ค. ์ง๋ 8์์ ์ฝ๋ ๋ผ๋ง 7B, 13B, 34B ๋ชจ๋ธ์ ๋ฐํํ ์ดํ ์ฝ 5๊ฐ์ ๋ง์ ์์์ธ๋ฐ์. ํ์ต์ 5000์ต ๊ฐ์ ํ ํฐ์ ์ฌ์ฉํ๋ ์ด์ ๋ชจ๋ธ๊ณผ ๋ฌ๋ฆฌ 70B ๋ชจ๋ธ์ ํ ํฐ 1์กฐ ๊ฐ๋ฅผ ์ฌ์ฉํ๋ค๊ณ ํฉ๋๋ค๐ฏ. ๊ธฐ๋ณธ ์ฝ๋ ๋ผ๋ง 70B ๋ชจ๋ธ ์ด์ธ์๋, ํ์ด์ฌ ์ฝ๋์ ํนํ๋ 'CodeLlama-70B-Python'๊ณผ ์์ฐ์ด ์ง์๋ฌธ(Instruction) ์ดํด์ ํนํ๋ 'CodeLlama-70B-Instruct' ๋ชจ๋ธ๋ ํจ๊ป ๊ณต๊ฐ๋์์ต๋๋ค. ํฌ๊ธฐ๊ฐ ํฐ ๋ชจ๋ธ์ธ๋งํผ, 70B ๋ชจ๋ธ์ HumanEval, MBPP ๋ฒค์น๋งํฌ์์ ๋ค๋ฅธ ์ธ์ด ๋ชจ๋ธ๋ค๋ณด๋ค ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์์ต๋๋ค. ์ฝ๋ ๋ผ๋ง๋ ๋ผ๋ง 2์ฒ๋ผ ์คํ ์์ค๋ก ์ ๊ณต๋๋ฉฐ, ์ฐ๊ตฌ์ฉ์ด๋ ์์ ์ ์ฉ๋๋ก ๋ฌด๋ฃ ์ฌ์ฉํ ์ ์๊ณ ์.
ํ๊น ํ์ด์ค
๋ฅผ ํตํด์๋ ๋ชจ๋ธ์ ์ฌ์ฉํ ์ ์์ต๋๋ค!
Releasing Code Llama 70B
ํธ๋์คํฌ๋จธ ์๋ ์ธ์ด ๋ชจ๋ธ์ด๋ผ๊ตฌ?
RWKV(Receptance Weighted Key Value,
'RwaKuv'๋ผ๊ณ ์ฝ์ด์!๐ฌ
) ์ํคํ ์ฒ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ ์ธ์ด ๋ชจ๋ธ '์ด๊ธ(Eagle)'์ด ์ถ์๋์์ต๋๋ค!๐ฆ RWKV๋
EMNLP 2023
ํํ์์ ๋ฐํ๋ ์ํคํ ์ฒ๋ก, RNN์ฒ๋ผ ์ถ๋ก (Inference) ๊ณผ์ ์ด ๊ฐ๋จํ๋ฉด์๋ ํธ๋์คํฌ๋จธ์ ๊ฐ์ด ํ์ต์ ๋ณ๋ ฌ์ ใปํจ์จ์ ์ผ๋ก ํ ์ ์๋ค๋ ์ฅ์ ์ด ์์ต๋๋ค. ์ด๊ธ 7B ๋ชจ๋ธ์ RWKV-v5 ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ์ฌ ์ผ๋ฐ์ ์ธ ํธ๋์คํฌ๋จธ ๊ธฐ๋ฐ ๋ชจ๋ธ๋ณด๋ค ์ถ๋ก ๋น์ฉ์ด 10~100๋ฐฐ ๋ฎ๊ณ ์. ๋น์ทํ ํฌ๊ธฐ์ ๋ชจ๋ธ ์ค์์ ํ ํฐ ๋น ์๋ชจํ๋ ์๋์ง๊ฐ ๊ฐ์ฅ ์ ๋ค๊ณ ํฉ๋๋ค. ํนํ ๋ค๊ตญ์ด ์ฒ๋ฆฌ์ ๊ฐ์ ์ ๋ณด์ด๊ณ ์๋ค๊ณ ํด์. ์ด๊ธ์ ์ด๋ฒ ๋ฌ์ ๋ผ๋ง(Llama) 2 7B ๋ชจ๋ธ๊ณผ ์ฑ๋ฅ์ ๋น๊ตํ ์์ ์ด๊ณ , 3์์ MoE(Mixture of Experts) ๊ธฐ๋ฐ ๋ชจ๋ธ๊ณผ RWKV-v6 'Finch' ๋ชจ๋ธ์ด ์ถ์๋ ์์ ์ด๋ผ๊ณ ํฉ๋๋ค.
Eagle 7B : Soaring past Transformers with 1 Trillion Tokens Across 100+ Languages (RWKV-v5)
๋ฆฌ์กํธ ์ ๊ท 'ํ ' ๋ฏธ๋ฆฌ๋ณด๊ธฐ
๋ฆฌ์กํธ์ ๋ด์ฅ ํจ์์ธ ํ (Hook)์ ํจ์ ์ปดํฌ๋ํธ(Function component) ๊ธฐ๋ฐ์ ๋ฆฌ์กํธ ํ๋ก์ ํธ์์ ์ํ ๊ด๋ฆฌ, ์ต์ ํ ๋ฑ์ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ ํจ์์ ๋๋ค. ์๋ ๋ฆฌ์กํธ์์ UI ์ปดํฌ๋ํธ๋ฅผ ๊ตฌํํ ๋ ํด๋์ค ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๋๋ฐ, ํจ์๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ด ๋์ ๋๋ฉด์ ์ฌ๋ฌ ๊ฐ์ง ํ ์ ์ ๊ณตํ๊ฒ ๋์๋ค๊ณ ํด์. ๋ฆฌ์กํธ ํ์ ์๋ฒ ์ปดํฌ๋ํธ๋ Next.js๋ฟ๋ง ์๋๋ผ ํด๋ผ์ด์ธํธ ํ ๊ธฐ๋ฅ๋ ์ง์์ ์ผ๋ก ๊ฐ๋ฐํ๊ณ ์๋๋ฐ์. ๋ฆฌ์กํธ ์นด๋๋ฆฌ(Canary) ๋ฒ์ ๊ณผ ์คํ ๋ฒ์ ์ ์ ๋ฐ์ดํธ๋ ํ ์ ์๊ฐํฉ๋๋ค. use, useFormState, useFormStatus ๋ฑ์ ์ ๊ท ํ ๋ค์ ๋ฐ์ดํฐ ๋ถ๋ฌ์ค๊ธฐ(Data fetching)์ ํผ(Form) ๊ด๋ จ ๊ธฐ๋ฅ์ ์ง์ค๋์ด ์๋ค๊ณ ํ๋ค์. ์ด ํ ๋ค์ ์์ผ๋ก ์ถ์๋ ๋ฆฌ์กํธ 19 ๋ฒ์ ์ ํฌํจ๋ ๊ฐ๋ฅ์ฑ์ด ์๋ค๊ณ ํ๋๋ฐ์. ์์ธํ ๋ด์ฉ์ ์๋ ๋งํฌ์์ ํ์ธํด ๋ณด์ธ์!
New client-side hooks coming to React 19
ํ์ง I
์ ์น์ฐ
,
ํ์ํ
๋ชจ๋์์ฐ๊ตฌ์ ์์
์ปค๋ฎค๋ํฐ์ SW/AI ๊ต์ก
LAB ์ฐ๊ตฌ์ ์ฐพ์์
AI Safety Lab
์ ์ฒญํ๊ธฐ
PISTAR Lab
์ ์ฒญํ๊ธฐ
AL2VI(Applying LLMs to Various Industry) Lab
์ ์ฒญํ๊ธฐ
์ฐ๊ตฌ ์ค์ธ LAB ๋ณด๋ฌ๊ฐ๊ธฐ
๐ค๏ธ์ฐ๋ฆฌ ๋ชจ์์ ์ฐ๊ตฌ ํ๋/์ฑ๊ณผ๋ฅผ ์๋ฆฌ๊ณ ์ถ๋ค๋ฉด?
์ ๋ณดํ๊ธฐ
Flutter ํ๋๋ก 100๋ง ๋ค์ด๋ก๋ ์ฑ ๋ง๋ค ์ ์๋ค?
์์ฆ ์ฌ์ด๋์ก, ์ทจ์ฐฝ์ ์๋จ์ผ๋ก ํ๋ฌํฐ(Flutter) ์ฑ ๊ฐ๋ฐ์ด ํซํ์ฃ ? ๊ทธ ์ค ๋จ๊ธฐ๊ฐ ๋ฌด๋ ค 100๋ง ๋ค์ด๋ก๋์ โญ๏ธํ์ 4.1์ ๋ฌ์ฑํ 'Quick Memo'๋ผ๋ ์ฑ์ด ์๋๋ฐ์. ์ด ์ฑ์ ๊ฐ๋ฐํ ํ๋ฌํฐ ์ ๋ฌธ๊ฐ์ ํจ๊ป ๋๋ง์ ์ฑ๊ณต์ ์ธ ์ฑ์ ๋ง๋ค๊ณ ์ถ๋ค๋ฉด, ๋์๊ฒ
์ด ๊ณผ์
์ ์ถ์ฒํฉ๋๋ค
๐บ.
๋ด์ผ๋ฐฐ์์นด๋๋ก ๋ฌด๋ฃ ์ ์ฒญํ๊ธฐ
์ด๋ฆฐ ์ธ๋ฏธ๋
ํด๊ทผ์๊ฐ ์๋น๊ฒจ์ฃผ๋ ์ ๋ฌด์๋ํ
์ผ์: 2์ 15์ผ ๋ชฉ์์ผ 7PM - 9PM
์ฅ์: ๋ชจ๋์์ฐ๊ตฌ์
๋์ ์บ ํผ์ค
์ฐ์ฌ: ํ์ค๊ตฌ(์ผ์์ด๋ฑํ๊ต ๊ต์ฌ)
๋ด์ฉ:
ํ์ดํด๋์ค ์๋ฅ ์์ฑ ๋ฐ ๊ณต์ ํ๊ธฐ
ยท ํธ๋ํฐ ์นด๋ฉ๋ผ๋ก PDF ํ์ผ ์ค์บํ๊ธฐ ยท PDF๋ก 1์ด ์์ ์ธ์ธํ๊ธฐ ยท ๊ณต๋ฌธ ์์ฑ ํดํท ์๊ฐ ๋ฐ ์ค์ต ยท ๊ฒฐ์๊ณ ์๋ํ ์๊ฐ ๋ฐ ์ค์ต
๋ฌด๋ฃ ์ ์ฒญํ๊ธฐ
๋งจ๋ ์์ ๊ตฌ์ถํด๋ณธ ๊ฐ์ธํ ์์คํ ๊ตฌ์ถ๊ธฐ
์ผ์: 2์ 16์ผ ๊ธ์์ผ 7PM - 9PM
์ฅ์: ๋ชจ๋์์ฐ๊ตฌ์
๋์ ์บ ํผ์ค
์ฐ์ฌ: ์ด์์ง(์ ์ง์ฝํฌ๋น ML์์ง๋์ด)
๋ด์ฉ: ์ถ์ฒ ์์คํ ์ด๋? ยท ๋ฐ์ดํฐ์ ์ค์์ฑ ยท ์ถ์ฒ ์์คํ ํ๋ก์ ํธ ์งํ์ ์ค์ํ ์ ์?
๋ฌด๋ฃ ์ ์ฒญํ๊ธฐ
์ง๋ ์ธ๋ฏธ๋ ๋ณด๋ฌ๊ฐ๊ธฐ
์ค๋๋ ๋์ ์ฑ์ฅ์ ์์ํ ๊ฒ์!
์, ๋ ํฐ๊ฐ ๋ฉ์ผํจ์์ ์ ๋ณด์ด๋์?
์คํธ๋ฉ์ผํจ์์ ์ธ๊ณ ์์์ง๋ ๋ชฐ๋ผ์. ์ฐพ์๊ฐ ํ์ธํด ๋ณด์ธ์!
์ฃผ์๋ก์ ๋ชจ๋์์ฐ๊ตฌ์ ์ด๋ฉ์ผ ์ฃผ์(
modulabs01@gmail.com
)๋ฅผ
์ถ๊ฐํด ์ฃผ์ธ์.
์์ธ์ ๊ฐ๋จ๊ตฌ ๊ฐ๋จ๋๋ก 324(์ญ์ผ๋์ค์ํ๋ฆฌ์) 2F
๐๏ธ
์ฃผ๋ณ์ ๋ชจ๋๋ ํฐ ๊ณต์ ํ๊ธฐ
๐
๋ชจ๋๋ ํฐ ์๊ฒฌ ์ ํ๊ธฐ
๋ชจ๋๋ ํฐ ํด์งํ๊ธฐ
๊ณต์ ํ๊ธฐ
๋ชจ๋๋ ํฐ
๋ฅผ
๊ตฌ๋ ํ๊ณ ์ด๋ฉ์ผ๋ก ๋ฐ์๋ณด์ธ์
๋ชจ๋์์ฐ๊ตฌ์ ๊ณต์ ๐ ๐จ ๋ด์ค๋ ํฐ โฎ ๐ฒ๐๐๐ผ๐พ ๐ค๐ข๐ค๐ค
๊ตฌ๋ ํ๊ธฐ
์ด์ ๋ด์ค๋ ํฐ
๐ฎ ์ํ ์ฌ๋ฆผํผ์๋ ๊ธ๋ฉ๋ฌ๊น์ง..?๐ซฃ
2024. 1. 28.
๋ค์ ๋ด์ค๋ ํฐ
๐ฎ ์ด์ ๊ธฐ์ต๋ ฅ๊น์ง ๊ฐ์ท๋ค?
2024. 2. 18.
๋ชจ๋๋ ํฐ
๋ชจ๋์์ฐ๊ตฌ์ ๊ณต์ ๐ ๐จ ๋ด์ค๋ ํฐ โฎ ๐ฒ๐๐๐ผ๐พ ๐ค๐ข๐ค๐ค