[아이뉴스24 정유림 기자] 네이버는 인공지능(AI) 모델 하이퍼클로바X가 한국판 AI 성능 평가 체계(KMMLU)에서 오픈AI와 구글의 AI보다 높은 점수를 기록했다고 27일 밝혔다.
KMMLU는 국내 오픈소스 언어모델 연구팀인 해례(HAE-RAE)가 이끈 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성돼 있다.
수학적 추론 능력과 같이 전세계 공통적으로 적용 가능한 광범위한 지식을 묻는 문항 비중이 약 80%, 한반도 지리·국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20%로, AI의 보편적 능력과 지역(로컬) 지식을 고르게 측정한다.
KMMLU 연구 논문에 따르면 네이버의 하이퍼클로바X(54.32)는 오픈AI의 GPT-3.5-터보(42.47)와 구글의 제미나이 프로(48.64)보다 높은 점수를 기록했다. 한국 특화 지식(Korea-Specific) 기준으로는 오픈AI의 GPT-4(54.89)보다 높은 점수를 기록했다.
오픈AI, 구글 등 미국 기술 기업들은 자사 AI 성능을 확인하기 위해 MMLU를 주로 사용한다. 다만 MMLU를 한국어로 번역하는 경우 부정확한 문항 번역과 영어권 국가만의 문화적 맥락 때문에 AI 모델의 한국어 능력을 제대로 가늠하기 어려운 한계가 있다. KMMLU는 한국어 문제들로 구성돼 국내외 AI의 한국어 이해 역량을 보다 정확하게 평가할 수 있는 것이 특징이다.
성낙호 네이버클라우드 하이퍼스케일(초거대) AI 기술 총괄은 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼 한국에서 확인한 AI의 경쟁력을 바탕으로 글로벌 시장 진출에도 속도를 낼 것”이라고 밝혔다.
댓글0