카카오, 자체 개발 비전 인코더 2종 공개…구글·메타 모델 성능 앞섰다

42개 벤치마크서 구글·메타·애플·알리바바 주요 모델 상회…상업적 활용 허용 오픈소스로 공개

카카오가 21일 자체 개발한 비전 인코더 '카나나-2-비전-인코더' 2종의 글로벌 공개 모델 대비 성능 평가 결과를 공개하고 있다. 연합뉴스

카카오가 21일 멀티모달 AI의 '눈' 역할을 하는 자체 개발 비전 인코더 '카나나-2-비전-인코더' 2종을 AI 플랫폼 허깅페이스에 오픈소스로 공개했다.

이번에 공개한 모델은 4억2600만 파라미터 규모의 '미디엄'과 9800만 파라미터 규모의 '타이니' 두 종류다. 카카오는 지난 13일 열린 '이프카카오(if(kakao)26)' 컨퍼런스 키노트에서 비전 인코더의 오픈소스 공개를 예고한 바 있다.

비전 인코더는 이미지 속 사물과 글자, 위치, 형태 등 시각적 특징을 추출해 언어모델에 전달하는 기술이다. 메뉴판의 음식과 가격을 읽거나 문서의 내용과 배치를 파악하는 등 멀티모달 AI의 이미지 이해 성능을 좌우하는 핵심 구성 요소다.

카카오는 일반 시각 질의응답, 영어 문자 인식·문서 이해, 한국어 문자 인식·문서 이해, 이미지 내 위치 파악·세밀한 인식 등을 포함하는 9개 영역, 총 42개 벤치마크에서 카나나 비전 인코더의 성능을 평가했다. 그 결과 두 모델은 구글의 '시그립2(SigLIP 2)', 메타의 '퍼셉션 인코더(Perception Encoder)', 애플의 'AIMv2', 알리바바의 '큐원3.5-ViT' 등 글로벌 주요 비전 인코더를 웃도는 성능을 기록했다. 이는 카카오의 자체 평가 결과다.

카카오가 공개한 자체 평가 결과에 따르면 미디엄 모델은 4개 영역 평균 60.38점을 기록해 구글 시그립2(53.65점), 메타 PE-Lang(56.12점), 알리바바 Qwen3.5-ViT(54.28점)을 웃돌았다. 한국어 광학문자인식(OCR) 및 문서 이해 평가에서는 71.6점으로 구글(62.8점)보다 8.8점 높았다.

특히 타이니 모델은 파라미터 수가 1억개 미만인 경량 모델임에도 4억개가 넘는 글로벌 모델과 경쟁력 있는 성능을 보였다. 이미지 내 위치 파악과 한국어 시험, 한국어 문자 인식·문서 이해 영역에서는 큰 성능 차이를 나타냈다.

카카오는 자체 개발 언어모델 '카나나-2'를 비전 인코더 학습에 활용해 학습 효율을 기존 대비 약 4배 높였다. 고해상도 이미지 처리에 맞춘 설계를 적용해 주요 글로벌 비전 인코더와 비교해 처리 지연 시간도 60% 이상 줄였다고 밝혔다.

카카오는 모델 개발에 다음 토큰 예측 기반 학습 방식을 적용했으며, 고해상도 이미지의 연산 부담을 줄이는 슬라이딩 윈도 어텐션과 큰 모델의 학습 성과를 작은 모델에 전달하는 증류 기법을 활용해 성능과 효율을 함께 높였다.

두 모델에는 연구·개발뿐 아니라 상업적 활용이 가능한 '카나나 오픈 라이선스'를 적용했다. 카카오는 국내외 연구자와 기업이 한국어 문서 이해와 이미지 기반 질의응답 등 멀티모달 AI 연구·서비스 개발에 활용할 수 있도록 한다는 계획이다.

다만 이번 성능 비교는 카카오 자체 평가 기준이다. AI 업계에서는 벤치마크 결과가 실제 서비스 환경과 다를 수 있다는 점을 지적한다. 일부 전문가는 "벤치마크에 사용된 모델이 실제 서비스에서 제공되는 모델과 동일한지 반드시 확인해야 한다"며 "일부 모델은 벤치마크를 위해 최적화돼 있지만, 그 과정에서 투입된 비용과 시간은 명시되지 않는 경우가 많다"고 지적했다.

카카오는 텍스트·이미지·음성을 이해하고 음성으로 답하는 옴니 모델 '카나나-o'를 개발 중이며, 비전 인코더를 비롯해 음성 인코더, 음성 디코더를 모두 자체 개발하고 있다. 노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "앞으로도 자체 AI 모델의 경쟁력을 높이고 관련 기술을 공개해 AI 생태계 발전에 기여할 것"이라고 말했다.