[야고부-김수용] 매개변수(媒介變數)

김수용 논설실장

인공지능(AI)이 고양이 사진을 보고 '고양이'라고 답하는 과정은 간단하지 않다. 세상엔 온갖 종류의 고양이가 있고, 사진 속 고양이는 일부 모습만 흐릿하게 드러낼 수도 있다. AI는 셀 수 없이 많은 고양이 이미지를 보고 특징과 차이, 구별법을 수없이 반복하며 학습한다. AI의 학습은 특징에 따른 중요도, 특징끼리의 연결 등을 숫자로 남겨 두는 과정이다. 학습이 끝난 뒤 AI 내부에 저장된 방대(厖大)한 숫자 체계가 '매개변수(parameter)'다.

고양이를 구분하듯이 AI는 수많은 문장을 읽으며 단어 사이의 관계를 배운다. '오늘 아침에 커피를…' 뒤에 '마셨다' '마시고 싶다'를 이어가는 과정도 마찬가지다. AI가 질문에 답할 수 있는 것은 과거의 문장을 그대로 외워서가 아니라 방대한 데이터를 통해 수많은 문장을 학습해 매개변수로 남겨 두었기 때문이다.

1950년대 초기 인공 신경망(神經網)의 매개변수는 수십~수백 개 수준이고, 2012년 이미지 인식 AI '알렉스넷'은 약 6천만 개였다. 2019년 GPT-2는 15억 개, 2020년 GPT-3는 1천750억 개로 늘었다. 중국 AI 스타트업 문샷AI가 최근 공개한 '키미 K3'는 2조8천억 개에 이른다. 숫자가 클수록 AI가 표현할 수 있는 관계와 패턴이 많아진다. 고양이와 개를 구분하는 것보다 인간의 언어를 이해하고, 수학 문제를 풀고, 프로그램을 작성하고, 전문 지식을 분석하려면 훨씬 복잡한 관계와 패턴이 필요하다. 더 많은 매개변수는 결국 더 복잡한 세계를 표현할 수 있는 능력이다.

물론 매개변수에 비례(比例)해서 AI가 똑똑해지는 것은 아니다. 학습 데이터의 질과 학습 방법 등도 중요하다. 게다가 모든 AI에 천문학적 숫자의 매개변수가 필요한 것도 아니다. 스마트폰이나 AI 안경 등 구글과 애플이 내놓은 온디바이스 AI의 매개변수는 30억~50억 개 정도다. 거대한 AI가 데이터센터에 있다면 작은 AI는 스마트폰, 자동차, 로봇, 안경 등에 탑재된다. 미래는 하나의 거대한 두뇌(데이터센터)가 모든 것을 처리하는 세계가 아니라 거대한 두뇌에서 배운 능력이 일상생활 속 모든 기기들로 흘러드는 세계일 것이다. 하지만 아무리 AI가 발달해도 신뢰도, 친밀도, 기억, 경험, 감정, 기대, 이해 등 인간관계의 매개변수를 대체할 수는 없다.