로올 벤치로 본 법률 AI 성능…상위 3개 모델 ‘1점 차’ 접전

법률 인공지능(AI) 업체 로올은 실제 사건 기록으로 AI의 법률 서면 작성 능력을 평가하는 벤치마크 ‘로올 벤치’를 공개했다고 21일 밝혔다.로올이 국내외 AI 모델 19종을 평가한 결과 앤트로픽의 ‘클로드 오퍼스 5.5’가 39.9점으로 가장 높은 점수를 받았다. 같은 회사의 ‘클로드 페이블 5.1’(39.8점)과 오픈AI의 ‘GPT-6 아스트라‘(39.1점)가 뒤를 이었다. 상위 세 모델의 점수 차는 1점이 채 되지 않았다.평가는 AI에 사건 기록 전체를 제시한 뒤 특정 법률 질문에 답하게 하는 방식으로 이뤄졌다. 서면 작성, 기록 분석 등 약 400건의 과업이 포함됐다. AI가 스스로 도구를 활용해 필요한 기록을 찾아가며 여러 단계의 작업을 수행하는 ’에이전틱‘ 부문에서도 클로드 오퍼스 5.5가 완수율 49점으로 가장 앞섰다.채점에는 전·현직 판사와 변호사가 참여했다. 결과물을 소송 실무에서 1차 초안으로 쓸 수 있는지를 기준으로 삼았다. 문항별로 여러 평가자가 각자 채