비드래프트, 추론 전용 NPU로 언어모델 사전학습 성공…GPU 의존도 낮춘다

AI 전문 비드래프트가 엔비디아 GPU 없이 추론 전용 NPU만으로 소형 언어모델의 사전학습을 구현하는 데 성공했다고 15일 밝혔다. 관련 모델과 분석 자료는 허깅페이스를 통해 공개됐다.일반적으로 추론 전용으로 설계된 NPU는 모델 학습에 필수적인 역전파 연산을 처리하기 어렵다는 한계가 있어 사전학습이나 미세조정 활용이 배제돼 왔다. 그러나 비드래프트는 추론용 NPU에서 역전파 연산을 수행해 사전학습된 가중치 없이 모델을 처음부터 학습했다고 설명했다.이번에 공개된 모델은 'VKORE-46M-NPU'다. 비드래프트는 공개 문헌 조사