사카나 AI, LLM 기반 동료 검토 시스템으로 논문 핵심 주장 오류 73% 적발

사카나 AI가 논문에 의도적으로 삽입한 논리적 모순과 핵심 오류의 73% 이상을 찾아내는 LLM 기반 동료 검토 시스템을 공개했다. 기존 AI 논문 심사 시스템이 인간 심사자의 평가와 얼마나 비슷한지를 주로 측정했다면, 이번 연구는 논문의 논리적 모순과 오류를 실제로 찾아내는 능력에 초점을 맞췄다.사카나 AI 연구진은 8일(현지시간) 온라인 아카이브를 통해 공개한 연구 논문 '비욘드 이미테이션(Beyond Imitation)'에서 새로운 평가 기준인 '모순 벤치마크(Contradiction Benchmark)'와 다층 검토 시스템