📮 오픈AI, 실시간 음성 대화 모델 발표!

OpenAI가 실시간 음성 대화를 위한 'gpt-realtime' 모델과 'Realtime API'를 공개했어요. gpt-realtime은 사용자와의 음성 대화에 특화된 모델로, 고객 지원과 개인 업무 보조, 교육 등 실생활 태스크에서 탁월한 성능을 발휘하도록 학습되었다고 합니다.

특히 기존 음성-텍스트-음성 파이프라인 대신 단일 모델로 직접 오디오를 처리해서 지연 시간을 줄이고 응답 품질을 높였다고 해요. 오디오 품질, 지시문 수행, 함수 호출과 툴 사용 측면에서 gpt-4o보다 개선된 성능을 보였으며, MCP 서버 연결, 이미지 입력, SIP(Session Initiation Protocol) 등도 추가 지원합니다.

구글이 온디바이스(on-device) 환경에서 작동하는 텍스트 임베딩 모델 'EmbeddingGemma'를 공개했어요. 308M 파라미터로 경량화된 이 모델은 모바일 RAG 파이프라인과 에이전트 등에 활용할 수 있도록 설계되었습니다.

100개 이상의 언어를 지원하도록 학습되었으며, 텍스트 임베딩 벤치마크 MTEB에서 500M 이하 다국어 임베딩 모델 중 최고 순위를 차지하고 있다고 해요. 허깅페이스 Sentence Transformers에 기본 통합되어 있어서, LangChain, LlamaIndex 등 주요 프레임워크에서도 바로 사용할 수 있습니다.