한국지능정보사회진흥원, 한국어 LLM 리더보드에 추론·산술 추론 지표 추가

한국어 초거대 언어 모델 리더보드 운영. 한국지능정보사회진흥원 제공.

한국지능정보사회진흥원(이하 NIA)과 업스테이지가 공동 운영하는 'Open Ko-LLM 리더보드'가 평가 지표를 추가하는 등 기능을 강화해 운영할 예정이라고 11일 밝혔다.

'Open Ko-LLM 리더보드'는 지난해 9월, 민관 협업을 통해 개설돼 학계 및 업계 다양한 참여자들로부터 큰 관심을 받고 있다. 지난 5월 말까지 참여한 LLM(초거대언어모델) 모델 수가 1천500개를 넘어선 데다, 최고 점수는 70.7점을 기록했다.

이는 세계적으로 인정받는 허깅페이스의 LLM 리더보드(최고점 81.2점)에 근접한 수치다.

NIA와 업스테이지는 Open Ko-LLM 리더보드의 지속적인 발전과 개선을 위해 우선 추론 관련 지표도 추가 운영할 계획이다.

이번 업데이트에서는 허깅페이스의 오픈 LLM 리더보드에서 사용되는 평가지표 중 '추론 능력' 및 '산출 추론 능력' 등 두 개 지표를 한국어로 최적화했다.

황종성 NIA 원장은 "NIA와 업스테이지는 한국어 LLM 발전을 위해 리더보드 평가 지표 및 체계를 지속적인 개선할 방침"이라며 "이를 통해 국내 외 AI 연구자들 사이에서 더욱 활발한 교류와 협력이 이루어질 것으로 기대하고 있다"고 밝혔다.