[현장] 오픈AI "AI 벤치마크 한계…토큰·비용·시간까지 고려해야"

[지디넷코리아]인공지능(AI) 모델 평가를 단일 벤치마크 점수 중심으로 보는 방식에 한계가 있다는 주장이 나왔다. 최신 AI 모델은 답을 내는 데 투입되는 토큰 수와 비용, 시간에 따라 성능이 달라지는 만큼, 각국 정부·기업은 평가 기준에 '추론 자원'을 별도로 반영해야 한다는 지적이다.노엄 브라운 오픈AI 리서치 부문 부사장은 3일 과학기술정보통신부가 서울 강남 웨스틴 서울 파르나스에서 개최한 '글로벌 AI 프론티어 심포지엄 2026' 기조연설에서 대규모 컴퓨트 시대에 맞춰 AI 평가 방식이 재설계돼야 한다고 주장했다. 브라운 부사장은 최근 AI 모델 실제 성능이 기존 벤치마크 점수만으로는 충분히 드러나지 않는다고 봤다. 모델이 얼마나 오래 생각하고, 얼마나 많은 토큰을 생성하며, 어느 정도 비용을 들여 문제를 풀었는지에 따라 결과가 달라질 수 있다는 이유에서다.그는 대표 사례로 오픈AI 최신 모델 GPT-5.5를 언급했다. 그는 GPT-5.5가 기존 벤치마크상 이전 모델보다 소폭