AI '기억 저장 순서' 바꿨더니 성능 향상...고속 가중치 어텐션 프레임워크 '팰컨' 공개

대형언어모델(LLM)이 학습을 끝낸 뒤에도 새로운 정보를 처리하는 과정에서 내부 기억을 계속 갱신하도록 만드는 ‘지속학습(continual learning)’ 연구가 속도를 내고 있다. 바이트댄스와 프린스턴대학교, 칭화대학교, UCLA, 하이퍼볼릭 랩스 공동 연구진은 최근 순환형 AI 모델이 새로운 정보를 기억하고 업데이트하는 과정에서 발생하는 문제를 분석하고 이를 개선한 ‘고속 가중치 어텐션(Fast Weight Attention)’ 프레임워크 ‘팰컨(Falcon)’을 온라인 아카이브를 통해 공개했다. 대부분의 LLM은 학습이 끝