"사기 돕고, 평가 속이고"…앤트로픽, 최첨단 AI '탈선 위험' 경고

AI 에이전트가 인간의 지시를 몰래 무력화하거나 금융 사기를 돕고, 다른 AI의 행동을 의도적으로 잘못 평가하는 등 위험한 행동을 보일 수 있다는 연구 결과가 나왔다. 앤트로픽은 16일(현지시간) 영국 AI 안전연구소(AISI) 등과 수행한 공동 연구를 통해 최첨단 AI 모델들이 다양한 일탈 행위를 보였다고 발표했다.이에 따르면, 통제된 시뮬레이션 환경에서 첨단 모델들은 연구용 코드를 몰래 변경하거나 금융 사기를 돕고, 평가 결과를 의도적으로 왜곡하거나 내부 기밀 유출을 부추긴 것으로 확인됐다.연구진은 이러한 사례가 실제 서비스에서