엔비디아, '반복 퍼즐' 프레임워크로 추론 효율 극대화…"거대 모델 운영 비용 절반으로"

엔비디아가 대형언어모델(LLM) 배포와 추론 과정에서 발생하는 막대한 인프라 비용 문제를 해결할 최적화 모델을 선보였다. 하이브리드 맘바-트랜스포머 아키텍처 기반의 기존 모델을 성능 저하 없이 최적화해 서버 처리량을 최대 4.6배까지 끌어올렸으며, 고성능 GPU 한 장으로도 초장문맥 요청을 동시 처리할 수 있는 길을 열었다.엔비디아는 7일(현지시간) 기존 1207억 매개변수급 모델 '네모트론-3-슈퍼(Nemotron-3-Super)'를 750억 매개변수 규모로 압축한 '네모트론-랩스-3-퍼즐-75B-A9B(Nemotron-Labs-