OpenAI가 언어 모델의 안전성(safety)을 판별하는 오픈소스 모델 'gpt-oss-safeguard' 시리즈를 공개했습니다. 기존 오픈소스 모델 gpt-oss를 파인튜닝한 버전으로, 120B와 20B 두 가지 크기로 제공돼요.

이 모델의 핵심은 개발자가 제공한 정책(policy)을 직접 해석하는 추론 방식입니다. 특정 정책과 분류할 콘텐츠를 함께 입력하면 분류 결과와 그 근거를 동시에 출력하죠. 특히 새로운 위험에 빠르게 대응해야 하거나, 미묘한 차이를 구분해야 하거나, 훈련 샘플이 부족한 경우에 뛰어난 성능을 보인다고 해요. 개발자가 자신의 사용 사례에 맞춰 안전성 기준을 커스터마이징할 수 있어, AI 서비스의 안전성 관리가 더 유연해질 것 같네요.

허깅페이스가 SmolLM3 모델 학습 중 발견한 대용량 데이터 처리 노하우를 공개했어요. 수 테라바이트에 달하는 학습 데이터를 스트리밍으로 처리해 공간 부족 문제를 해결한 방법입니다.

datasets 라이브러리의 스트리밍 기능은 이미 있었지만, 요청 폭증으로 IP가 차단되는 문제가 있었다고 해요. 이를 데이터 파일 캐싱, 로직 최적화, 미리 불러오기(prefetch) 등으로 해결했는데, 중복 요청을 100분의 1로 줄이고 처리 속도를 대폭 향상시켰습니다. 대규모 모델을 학습시키는 개발자들에게는 정말 실용적인 팁이네요. 이제 더 이상 하드디스크 용량 걱정 없이 대규모 데이터셋을 활용할 수 있게 되었어요.

• Human-Centered AI LAB  신청하기