쳇GPT의 잘못된 답변, 진단하는 새로운 기술 개발…보다 정확한 AI 기술 개발에 탄력

포스텍 연구진, AI 예측에 담긴 불확실성 원인별로 분리해 측정 성공

연구진 사진(왼쪽부터 포스텍 이남훈 교수, 통합과정 정진석 씨, 석사과정 송민경·정현지 씨)

쳇GPT의 답변을 얼마나 믿어야 할까. 국내 연구진이 AI(인공지능)가 답변하는 '확신' 속에 숨겨진 불확실성의 원인을 분석해 틀린 이유를 진단하는 방법을 찾아냈다.

포스텍(포항공대) 인공지능대학원 이남훈 교수, 통합과정 정진석 씨, 석사과정 송민경·정현지 씨 연구팀이 거대언어모델(LLM) 예측에 담긴 불확실성을 원인별로 분리해 측정하는 방법론을 개발했다.

이 연구는 2~7일 미국 샌디에이고에서 열리는 자연어처리 및 전산언어학 분야의 국제 학회인 'ACL 2026'에 구두 발표 논문으로 채택됐다.

챗GPT 같은 거대언어모델은 별도의 학습없이 몇 개의 예시만으로 새로운 작업을 수행하는 '맥락 내 학습' 능력이 있다. 하지만 같은 질문에도 답변이 달라지거나 틀린 정보를 사실처럼 제시하는 경우가 있어, 이용자들이 혼란을 겪는 사례가 많다.

연구팀은 AI의 불확실성은 두 가지 원인에서 비롯된다고 설명하고 있다.

우선 질문이나 데이터 자체가 모호해 누구라도 답하기 어려운 상황과 AI가 관련 지식이나 정보를 충분히 갖고 있지 못한 경우다.

연구팀은 이를 해결하기 위해 입력 문장이나 출력 결과를 반복적으로 바꿔가며 추정하던 기존 방식 대신, AI 모델 내부를 직접 분석하는 접근법을 모색했다.

이 방법의 핵심은 AI가 예시를 보고 머릿속에 형성한 '생각의 중요 요약본'을 제시하는 것이다.

연구팀은 이를 통해 데이터의 모호함에서 비롯된 불확실성과 모델의 지식 부족에서 발생한 불확실성을 효과적으로 분리해 측정했다.

또 이 기술을 객관적으로 검증하는 평가 체계도 개발했다.

데이터 모호함과 모델의 지식 부족 정도를 각각 독립적으로 조절하는 방식으로 환경을 설계해 불확실성을 정량적으로 평가할 수 있도록 했다.

연구팀의 방법을 적용한 결과 70억~700억개 규모에 달하는 모델에서도 일관된 성능을 보여 기존보다 명확한 분류가 가능하다는 사실을 입증했다.

특히 이 기술은 AI가 사실이 아닌 내용을 그럴싸하게 꾸며내는 부분을 찾아내는데도 우수한 성능을 보이며, 신뢰할 수 있는 미래 AI 기술 개발의 가능성을 한층 높였다.

이남훈 교수는 "이번 연구는 AI 내부 작동 원리에 대한 이해와 불확실성 측정을 연결한 새로운 시도라는데 의미가 있다"며 "AI가 왜 확신하지 못하는지를 설명할 수 있게 됐다는 점에서 앞으로 더 안전하고 신뢰할 수 있는 AI 개발이 기대된다"고 했다.