엔비디아 '모델익스프레스' 공개…AI 모델 기동 8분에서 1분 44초로

[지디넷코리아]엔비디아가 대규모 언어 모델의 가중치 배포를 앞당기는 '모델익스프레스(ModelExpress)'를 현지 시각 7월 24일 기술 블로그에서 공개했다. 딥시크 V4 프로 기준으로 이미 서비스 중인 복제본에서 새 복제본으로 가중치와 커널 캐시를 10초 안에 전송해, 전체 기동 시간을 8분에서 1분 44초로 줄였다고 밝혔다.모델익스프레스는 모델을 불러오기 전에 호환되는 가중치 사본이 이미 어디에 있는지부터 확인한다. 같은 모델을 서비스하는 다른 서버의 GPU에 가중치가 이미 올라가 있으면, 저장소를 거치지 않고 GPU에서 GPU로 직접 전송한다. 쓸 수 있는 서버가 없을 때만 오브젝트 스토리지에서 내려받는다. 전송 경로는 P2P RDMA와 모델스트리머, GPU다이렉트 스토리지, 기본 로더 순으로 자동 선택되며, 지원하지 않는 환경에서는 다음 경로로 넘어간다.체크포인트가 수백 기가바이트에서 1테라바이트에 이르면서, 가중치를 옮기는 시간 자체가 비용이 됐다. 806기가바이트 딥시