[AI는 지금] AI 에이전트 늘수록 비용 '눈덩이'…코히어, SaaS 비용 구조 정조준

[지디넷코리아]기업의 생성형 인공지능(AI) 활용이 실험 단계를 넘어 상시 업무로 확대되면서 모델 성능뿐 아니라 운영비와 통제권이 주요 경쟁 기준으로 떠오르고 있다. 토큰 사용량과 인프라 비용이 빠르게 늘자 외부 AI를 빌려 쓸지, 기업이 직접 통제하는 환경에 구축할지를 둘러싼 선택도 중요해지는 분위기다.18일 업계에 따르면 코히어는 토큰 가격만으로 기업의 실제 AI 비용을 판단하기 어렵기 때문에 'AI 총소유비용'으로 접근해야 한다고 지적했다. 이용자의 질문 하나에도 문서 검색과 추론, 도구 호출, 재시도, 검증 과정이 이어지면서 여러 차례 모델 호출이 발생하기 때문이다. 코히어는 최근 공식 뉴스룸에서 이 같은 주장을 담은 자료를 공개했다. 특히 검색증강생성(RAG)과 AI 에이전트를 적용하면 비용 구조는 더 복잡해진다. 긴 문맥을 입력하고 정확도를 높이기 위해 고성능 모델을 사용하거나 에이전트가 작업을 반복할수록 토큰 소비와 인프라 비용은 함께 늘어난다.이에 코히어는 모델 사용료