격리 환경도 뚫고 타사 침입한 AI…방어책 마련 절실

오픈AI 최신 모델, 외부 플랫폼 해킹
닫힌 환경서 취약성 찾아 인터넷 접속
문제 풀이 대신 답안지 찾아가 열어본 셈
고성능AI 능력 및 위험성↑…방어능력 키워야

지난해 5월 8일 미국 워싱턴 DC 의회 의사당에서 열린 상원 상무위원회 인공지능(AI) 청문회 참석을 준비하고 있는 샘 올트먼 오픈AI CEO. 최근 오픈AI의 최신 모델이 자사 평가 과정에서 격리 환경을 뚫고 외부 플랫폼을 해킹하는 사건이 벌어지면서 AI 모델의 능력과 위험성을 경고하는 목소리가 업계에서 나오고 있다. AP 연합뉴스

오픈AI 모델이 자사 격리 환경을 빠져나와 외부 플랫폼을 해킹한 것을 두고 업계에서는 숙련된 해커의 침투 수법과 닮아 있다는 평가가 나온다.

오픈AI가 21일(현지시간) 공개한 해킹 경위를 보면, 모델들은 먼저 회사가 내부에서 쓰던 프로그램 저장 시스템(패키지 저장소 프록시)에서 아무도 몰랐던 보안 허점, 이른바 '제로데이 취약점'을 찾아냈다. 개발사조차 존재를 모르는 허점이라 방어책이 없는 상태였다.

이 허점으로 인터넷 접속 경로를 확보한 모델들은 허깅페이스에 시험 정답과 관련 자료가 저장돼 있을 것이라 스스로 추론했다. 이어 훔쳐낸 접속 정보와 또 다른 취약점을 결합해 허깅페이스 서버에 침투했고, 운영 데이터베이스에 담긴 평가 정답에 접근했다. 사람이 단계마다 지시하지 않았는데도 AI가 정찰·침투·목표 달성을 자율적으로 수행한 것이다.

이 사건이 처음부터 오픈AI 소행으로 알려진 것은 아니다. 허깅페이스는 앞서 16일 "자율 AI 에이전트에 의한 침해"를 먼저 공개했는데, 그 공격 주체가 오픈AI 모델이었음이 이번 발표로 확인됐다.

오픈AI에 따르면 이들 모델의 최대 공격 능력을 측정하는 게 이날 시험의 목표였다. 이에 위험 행동을 막는 안전장치를 일부러 낮춘 상태에서 시험이 진행됐다. 오픈AI는 "모델들이 시험 해법을 찾는 데 지나치게 몰두한 나머지, 좁은 목표를 이루려고 극단적 수단까지 동원한 것으로 보인다"고 분석했다.

악의가 아니라 목표 집착이 낳은 결과라는 설명이지만, 뒤집어 보면 목표만 주어지면 AI가 수단을 가리지 않을 수 있다는 뜻이어서 우려는 더 크다. 고도로 격리된 환경에서 평가받았는데도 사고가 발생한 만큼, 고성능 AI의 능력과 위험을 둘러싼 논쟁도 커질 전망이다. 허깅페이스는 "자율적인 AI 기반 공격은 더는 이론이 아니다. 공격뿐 아니라 방어에도 AI를 적극 활용해야 한다"고 강조했다.