팀스파르타 초경량 언어모델, 'K-AI 리더보드' 초고난도 추론 1위

[지디넷코리아]팀스파르타(대표 이범규)가 자체 개발한 초경량 언어모델 ‘K-AX 스파르탄 1.8B’가 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 운영하는 ‘K-AI 리더보드’의 초고난도 추론 평가인 ‘HLE(Ko)’ 분야에서 1위를 차지했다.이번 성과에 대해 회사는 "대형 모델 중심의 AI 시장에서 독자적인 초경량 모델의 압도적인 효율성과 고난도 추론 성능을 입증했다는 점에서 의의가 크다"고 밝혔다.HLE(Humanity’s Last Exam)는 미국 AI안전센터와 스케일AI가 공동 개발한 초고난도 AI 추론 벤치마크다. 수학, 과학, 인문학 등 100여 개 분야 전문가가 출제한 2500개 문항으로 구성돼 최상위 AI 모델조차 통과가 까다로운 평가로 알려져 있으며, K-AI 리더보드의 핵심 평가 지표 중 하나다.HLE(Ko)에서 평가에서 ‘K-AX 스파르탄 1.8B’는 0.123점을 기록하며 2위 모델(0.077점) 대비 4.6%포인트, 약 60% 높은 성능을 보였다. 10