매일신문

한국지능정보사회진흥원, 한국어 LLM 리더보드에 추론·산술 추론 지표 추가

구글 검색 선호 출처로 추가
로봇
mWiz 이 기사 포인트

  • 가
  • 가

한국어 초거대 언어 모델 리더보드 운영. 한국지능정보사회진흥원 제공.
한국어 초거대 언어 모델 리더보드 운영. 한국지능정보사회진흥원 제공.

한국지능정보사회진흥원(이하 NIA)과 업스테이지가 공동 운영하는 'Open Ko-LLM 리더보드'가 평가 지표를 추가하는 등 기능을 강화해 운영할 예정이라고 11일 밝혔다.

'Open Ko-LLM 리더보드'는 지난해 9월, 민관 협업을 통해 개설돼 학계 및 업계 다양한 참여자들로부터 큰 관심을 받고 있다. 지난 5월 말까지 참여한 LLM(초거대언어모델) 모델 수가 1천500개를 넘어선 데다, 최고 점수는 70.7점을 기록했다.

이는 세계적으로 인정받는 허깅페이스의 LLM 리더보드(최고점 81.2점)에 근접한 수치다.

NIA와 업스테이지는 Open Ko-LLM 리더보드의 지속적인 발전과 개선을 위해 우선 추론 관련 지표도 추가 운영할 계획이다.

이번 업데이트에서는 허깅페이스의 오픈 LLM 리더보드에서 사용되는 평가지표 중 '추론 능력' 및 '산출 추론 능력' 등 두 개 지표를 한국어로 최적화했다.

황종성 NIA 원장은 "NIA와 업스테이지는 한국어 LLM 발전을 위해 리더보드 평가 지표 및 체계를 지속적인 개선할 방침"이라며 "이를 통해 국내 외 AI 연구자들 사이에서 더욱 활발한 교류와 협력이 이루어질 것으로 기대하고 있다"고 밝혔다.

mWiz
1800
AI 뉴스브리핑
정치 경제 사회 국제
고(故) 김영삼 전 대통령의 차남 김현철 김영삼대통령기념재단 이사장은 이재명 대통령의 탄핵 가능성을 거론하며, 조희대 대법원장 탄핵 추진을 ...
브리핑 데이터를 준비중입니다...
2027학년도 대학수학능력시험을 앞두고 최교진 교육부 장관이 AI 부정행위 대응 발언으로 비판을 받으며 공식 석상에 나타났다. 최 장관은 수...
브리핑 데이터를 준비중입니다..
→

많이 본 뉴스

일간
주간
월간