프린스턴대, 이전 계산 결과 이어서 토큰 생성하는 '순환 루프 변환기' 공개

대형언어모델(LLM)의 이전 계산 결과를 다음 토큰 생성에 직접 연결하는 새로운 트랜스포머 아키텍처가 제안됐다.프린스턴대학 연구진은 12일(현지시간) 토큰 처리 후 생성된 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 단계로 전달하도록 설계한 '순환 루프 변환기(RLT·Recurrent Looped Transformer)' 아키텍처를 알파카이브(alphaXiv)를 통해 공개했다.기존 디코더 전용 LLM은 이전 토큰 정보를 KV 캐시에 저장한 뒤 어텐션으로 재참조할 뿐, 마지막 계산 결과를 다음 단계의 첫 입력으로 직결하지 않는다.