팔로알토 네트웍스 "딥시크 활용 악성 콘텐츠 생성 부작용 우려"

중국 스타트업 딥시크가 개발한 저가형 인공지능(AI) 애플리케이션. 연합뉴스

글로벌 사이버 보안 전문기업 '팔로알토 네트웍스'가 중국산 인공지능(AI) '딥시크'를 활용해 누구나 쉽게 악성 콘텐츠를 생성할 수 있다며 AI 특화 보안 솔루션이 필요하다고 주장하고 나섰다.

팔로알토 네트웍스는 17일 사내 사이버 위협 연구조직 '유닛42'의 조사를 바탕으로 딥시크가 '탈옥'(Jail Breaking) 공격에 취약하다고 지적했다. 특히 전문 지식이나 경험이 없는 사용자도 딥시크를 이용해 악성 콘텐츠를 생성할 수 있다는 내용의 조사 결과를 발표했다.

탈옥은 AI 모델에 내장된 가드레일을 우회해 AI가 유해한 콘텐츠를 생성하거나 부적절한 답변 등을 출력하도록 유도하는 행위다. 이를 통해 허위 정보 및 조작 콘텐츠를 확산시킬 우려가 있다.

유닛42 연구진은 세 가지 탈옥 기법을 통해 딥시크의 보안 취약점을 시험한 결과, 딥시크의 초기 응답은 대체로 영향이 없었으나 정교하게 설계된 프롬프트(명령어)를 단계적으로 입력하자 높은 우회·탈옥 성공률을 보이며 보안 취약점이 드러났다. 아직 발견되지 않은 새로운 탈옥 기법이 나올 가능성도 배제할 수 있다.

아울러 팔로알토 네트웍스는 기업이 거대언어모델(LLM)을 활용할 경우 ▷적절한 가이드라인 설정 ▷승인되지 않은 제3자 LLM 활용에 대한 모니터링 강화 등 보안 대책이 필요하다고 강조했다.

필리파 콕스웰 팔로알토 네트웍스 유닛42 일본·아시아·태평양 부사장은 "기업들은 오픈소스 LLM을 사업 과정에 도입할 때 취약점을 반드시 고려해야 한다"며 "향후 공격자들은 AI·LLM 기술을 더욱 정교하게 발전시키고, 궁극적으로 AI 기반 공격 에이전트까지 개발할 것으로 예상된다"고 했다.