"한 번 설정으로 AI 학습 거부"…오픈AI·구글·MS·앤트로픽 동참

[지디넷코리아]앞으로 웹사이트 운영자가 설정 한번 만으로 주요 인공지능(AI) 기업에 콘텐츠 학습 거부 의사를 전달할 수 있게 된다.그동안 AI 기업마다 별도의 크롤러 차단 규칙을 설정해야 했지만 앞으로는 공통 규칙을 적용해 여러 기업에 한꺼번에 학습 거부 의사를 표시할 수 있다.1일 오픈AI, 구글, 마이크로소프트, 앤트로픽은 웹사이트의 AI 학습 관련 공통 신호를 수용하겠다는 계획을 발표했다. 국제인터넷표준화기구(IETF)의 AI 선호도(AIPREF) 작업반에서 논의 중인 기술을 기반으로 한다.핵심은 웹사이트의 '로봇 배제 표준(robots.txt)' 파일에 AI 학습 거부 의사를 공통으로 표시하는 것이다. robots.txt는 검색엔진이나 AI 크롤러가 웹사이트 콘텐츠에 접근하는 방식을 설정하는 파일이다.기존에는 오픈AI의 'GPT봇', 구글의 '구글 익스텐디드' 등 기업별로 다른 크롤러나 정책 식별자를 지정해 각각 규칙을 관리해야 했다.새로운 방식은 공통 식별자를 사용해 여러