📮 AI가 거짓말하는 진짜 이유는? 😶‍🌫️

OpenAI가 언어 모델의 환각(hallucination) 현상에 관한 연구 논문을 발표했습니다. 최신 언어 모델들이 벤치마크 점수를 나날이 갱신하고 있지만, 환각 현상은 여전히 해결되지 못한 핵심 문제라고 지적했어요.

OpenAI는 환각의 주요 원인을 훈련 과정에서 답변의 불확실성을 인정하는 것보다 거짓 정보라도 추측하는 쪽에 더 큰 보상(reward)을 주는 방식에서 찾았어요. 또한 대부분의 벤치마크 리더보드가 정확도 지표(accuracy)만 강조하기 때문에, 모델 개발이 정확도 향상에만 집중하는 것도 문제라고 분석했습니다. 해결책으로는 단순히 오답에 페널티를 주는 것을 넘어서, 근본적으로 정확도 기반 평가 방식을 개선해 '운 좋은 추측'에 보상을 주지 않아야 한다고 주장했습니다.

Anthropic이 Claude에 파일을 직접 생성하고 편집할 수 있는 기능을 추가했어요. Claude.ai 서비스와 데스크톱 앱에서 필요한 작업을 설명하고 관련 데이터를 업로드하면, 엑셀 스프레드시트, 문서, 파워포인트 슬라이드, PDF 파일을 생성하고 편집할 수 있습니다.

지난 1년간 Claude는 단순한 질문 답변을 넘어 전체 프로젝트를 완수하는 방향으로 개발되어 왔으며, 별도의 컴퓨터 환경을 통해 Claude가 코드를 작성하고 프로그램을 실행하여 파일과 분석 결과를 생성할 수 있게 되었다고 해요. 다만 Claude가 파일 생성을 위해 인터넷 접근 권한을 부여받기 때문에 데이터 유출 위험이 있을 수 있어, 채팅 내용을 주의 깊게 모니터링해야 한다고 합니다. 현재는 Max, Team, Enterprise 플랜 사용자들에게 제공되며, Pro 사용자들에게도 곧 제공될 예정이에요.