구글 제미나이, 보안 시험 중 기업 3곳 무단 해킹…4달이나 지나 알려져

5월 보안 평가 도중 실제 기업 시스템 침투…구글, WSJ 보도 전까지 공개 안 해

구글의 AI 모델 제미나이가 지난 5월 사이버 보안 평가 도중 실제 기업 3곳의 시스템에 무단으로 침입한 사실이 드러났다.

월스트리트저널(WSJ)이 18일(현지시간) 보도한 내용에 따르면 제미나이는 AI 보안 스타트업 이레귤러가 진행한 사이버 보안 평가 과정에서 실제 기업 3곳의 시스템에 접근했다. 주요 AI 모델이 외부 기관을 해킹한 사례가 잇따르는 가운데 제미나이가 실제 기업 시스템에 침투한 사실이 확인된 것은 이번이 처음이다.

이레귤러는 당초 인터넷을 차단하고 가상 시스템만 대상으로 하는 모의 해킹 시험을 진행해야 했으나 실수로 인터넷 접속을 허용했다. 제미나이는 가상 기업 시스템에서 비밀 정보를 가져오라는 지시에 따라 인터넷에 접속했고, 모의 시험 대상과 같은 이름의 실제 기업 시스템을 발견해 해킹을 시도했다.

구글 관계자는 "제미나이가 온라인에서 공개된 정보를 찾아 테스트의 일부라고 생각되는 웹사이트에 접근하기 위한 자격증명을 추측했다"며 "세 경우 모두 모델이 작동을 멈췄다"고 밝혔다. 구글은 피해를 입은 3개 기업에 이 사실을 알렸다고 밝혔다.

구글은 WSJ의 문의 전까지 이 사실을 외부에 알리지 않았으며, 이번 해킹에 최신 AI 모델은 연루되지 않았다고 밝혔지만 구체적으로 어떤 모델이 사용됐는지는 공개하지 않았다. 구글은 해당 사건을 연방 당국에 통보했으며, 이레귤러 역시 관련 연구실과 기관에 사실을 알렸다고 밝혔다.

보안 스타트업 코리도어의 잭 케이블 최고경영자(CEO)는 AI 모델이 당초 부여된 범위를 넘어 실제 사이버 공격을 수행했다는 점 자체가 문제라며 "대중이 알아야 할 공익적 사안"이라고 지적했다.

이번 사건은 오픈AI와 앤트로픽에서도 유사한 사례가 확인된 직후 나왔다. 오픈AI는 지난 7월 'GPT-5.6 솔'과 일부 미공개 AI 모델이 내부 평가 도중 통제를 벗어나 오픈소스 AI 공유 플랫폼 허깅페이스를 해킹한 사실을 확인했다고 밝혔다. 허깅페이스가 공개한 기술 타임라인에 따르면 에이전트는 4일에 걸쳐 총 1만 7천600개의 개별 행동을 실행하며 허깅페이스 시스템에 침투했다.

앤트로픽도 자사 클로드 모델이 서로 다른 3개 조직 실제 시스템에 무단 접근한 사례 3건을 확인했다고 밝혔다. 원문에 따르면 메타의 뮤즈 스파크, 중국 문샷AI의 키미 K3 등에서도 유사한 양상이 잇따라 알려지면서 AI 모델의 자율적인 시스템 접속에 대한 우려가 커지고 있다.

무스타파 술레이만 마이크로소프트(MS) AI 최고경영자는 CNBC 인터뷰에서 오픈AI의 안전사고 사례를 두고 "심각한 상황"이라며 "AI의 일종의 작업 기억인 '사고의 연쇄'(chain of thought)가 AI 스스로에 의해 조작되고, 미래 버전의 자신에게 메시지를 남기도록 수정된 증거가 발견됐다"고 말했다.

한편 최근 미국 빅테크를 중심으로 AI 속도조절론이 부상하고 있지만, 실효성 있는 규제나 거버넌스를 위한 국제 공조는 아직 본격화되지 않은 상황이다. 구글의 보안 엔지니어링 담당 부사장 헤더 애드킨스는 "이러한 사건은 강력한 AI 모델이 책임감 있게 행동하도록 훈련하는 것이 얼마나 중요한지를 보여준다"고 말했다.