MS "해킹 안 당한 AI도 위험"…내부 에이전트 통제 강조

[지디넷코리아]마이크로소프트(MS)가 기업 내부에 배포한 인공지능(AI) 에이전트도 잠재적인 보안 위협이 될 수 있다며 지속적인 감독과 통제가 필요하다고 강조했다. 외부 공격을 받지 않은 AI라도 목표를 달성하는 과정에서 의도와 다르게 행동할 수 있다는 이유에서다.마이크로소프트는 기업 데이터와 시스템에 접근해 업무를 수행하는 AI 에이전트를 '에이전틱 내부자'로 규정하고 새로운 보안 접근법을 제시했다고 20일 밝혔다.기존 AI 보안은 공격자가 AI 모델을 악용하는 외부 위협에 주로 초점을 맞췄다. 반면 기업 내부에서 운영하는 AI 에이전트는 조직이 직접 배포했다는 이유로 충분한 검증 없이 신뢰하는 경우가 많았다.마이크로소프트는 AI 모델이 악의적이지 않더라도 목표 달성을 위해 의도하지 않은 수단을 선택하는 '보상 해킹'이 발생할 수 있다고 지적했다. 다른 에이전트와 협업하는 과정에서 예상치 못한 위험이 발생할 가능성도 제기했다.이에 따라 에이전트의 행동과 위험 수준을 실시간으로 파악