오케스트로, GPU 추가 없이 AI 추론 처리량 62.8% 높였다…인프라 최적화 기술 공개

오케스트로가 AI 추론 운영 플랫폼 ‘콘체르토 AI’를 활용해 동일한 GPU 자원에서 추론 처리량을 62.8% 높이고 토큰 생성 지연을 52.1% 줄인 성능 검증 결과를 공개한다. 대규모 언어모델의 입력 처리와 답변 생성 단계를 분리하는 분산 추론 기술을 적용해 GPU... The post 오케스트로, GPU 추가 없이 AI 추론 처리량 62.8% 높였다…인프라 최적화 기술 공개 appeared first on 벤처스퀘어.