인공지능(AI)의 폭발적 성장은 그 이면에 해결해야 할 여러 문제점을 낳기도 했다. 그 중 하나가 할루시네이션(환각 현상)이다. LLM(거대 언어모델)이 방대한 데이터를 학습하면서 발생하는 오류인데, 확률적으로 근사치의 결과값을 제공한다는 트랜스포머의 구조에서는 사라지기 어려운 현상이다.
LLM을 개발 및 상용화 하는 기업들은 물론 LLM 기반으로 개인 및 기업 사용자에게 제공하는 AI 서비스 기업 모두 할루시네이션을 최소화 하는 데 큰 노력을 쏟고 있다. 최근 들어 AI 기업들이 사용하는 기술은 RAG(검색증강생성)다. RAG는 기업의 프라이빗한 데이터를 기반으로 답을 생성하는 기술로 LLM과 결합해 주로 사용한다. 기업 내 데이터에서 답을 찾기 때문에 상대적으로 할루시네이션 발생 확률이 낮고 비교적 정확한 답변을 한다.
최근에는 RAG에 기업마다의 차별화 된 기술을 더해 정확도를 더욱 높이고 있다. AI 기업 포티투마루도 LLM과 RAG에 MRC까지 결합해 시맨틱 QA(질의답변) 솔루션 ‘QA42’를 만들었다. 또한 경험 기반의 RAG 기술력을 바탕으로 ‘RAG42’ 솔루션도 내놨다.
포티투마루는 LG유플러스로부터 100억원, 한글과컴퓨터로부터 40억원의 투자를 유치했고 네이버클라우드의 투자도 이끌어냈다.
김동환 포티투마루 대표는 “기술 구조로만 보면 같은 AI 기술이겠지만 속을 보면 다른 기술”이라고 말하며 최근 투자 유치에 대한 이유를 가늠케했다. 김동환 대표에게 포티투마루의 AI 기술 이야기를 자세히 들어봤다.
LLM에 RAG와 MRC를 결합해 차별화 된 AI 솔루션을 만들어냈다.
“사업 초기에는 AI 기반의 언어 처리와 텍스트 분석을 주로 다뤘다. 이를 ‘딥시맨틱 QA’라고 표현하는데, 질문이 들어오면 정답만 제공해주는 개념이다. 또 MRC라고 하는 기계독해 기술 기반의 솔루션을 개발해왔다. MRC는 비싼 모델이 아니면서도 정확도가 높다.
* MRC(Machine Reading Comprehension)는 기계가 문서를 읽고, 이해할 수 있게 하는 기술로, 사람이 질문하면 이해한 문서 안에서 질문에 대한 답을 제공해준다.
AI가 급성장한 후 한편에서는 할루시네이션이 큰 문제로 대두됐는데, 그때 LLM에 MRC를 결합하면 정확도 높은 AI 솔루션을 만들 수 있겠다고 생각했다.
기업이 사용하는 LLM은 개인이 사용하는 것보다 정확도가 더 높아야 한다. 정확도가 98% 수준까지는 나와야 사용이 가능하다. LLM과 MRC 결합만으로도 정확도는 높아지지만 여기에 RAG를 더해 한번 더 정확도를 높였다. 특히 포티투마루의 RAG는 경험 기반의 기술경쟁력을 가지고 있다.”
경험 기반의 RAG 기술 경쟁력은 무엇인가.
“데이터 분석 능력이다. LLM도 특정 분야만 학습시켜 활용할 수도 있는데 학습량이 많아질수록 성능이 좋아진다. 하지만 RAG는 많이 학습시킨다고 성능이 높아지는 것은 아니다. LLM이 어떤 특성인지, 기업의 데이터는 어떤 특성을 가지고 있는지를 알아야 하고 산업 분야(금융, 제조, 반도체, 법률 등)마다 방법이 다르게 제시돼야 한다.
또한 데이터나 로그 분석(사용자 질의 분석)에 대한 경험도 중요하다. 1999년 엠파스에서 검색엔진을 만들 때부터 사용자 질의 특성에 맞는 검색 기술을 다뤘고 그 경험이 RAG에 적용된 것이다.
RAG는 기술적인 백드라운드도 필요한데 엔지니어링 센스도 필요하다. 가령 명동칼국수를 검색하면 명동에 있는 칼국수 집인지, 명동칼국수라는 간판이 붙은 식당을 검색하는 것인지 파악해야 한다. 또 어떤 지역의 검색 결과를 제공해야 하는가도 중요하다. 사실 이런 것은 경험해보지 않으면 파악하기 어렵다. 이런 요소들을 복합적으로 센스 있게 파악해야 한다. 기업 시스템을 파악하고 AI 솔루션을 도입하는 것도 마찬가지다.
요즘 보면 모두 기업들이 LLM에만 집중하는데, 포티투마루는 25년 간의 노하우를 바탕으로 콘텐츠와 데이터 특성 분석, 사용자 질의 분석(정확히는 질문의 의도) 등을 종합적으로 녹여낸다.”
본격적인 사업은 언제부터 시작했나.
“2017년부터다. 2015년 설립은 했지만 2017년 구글에서 트랜스포머 논문(Attention Is All You Need) 발표된 것을 보고 이거다 싶어 시작했다. 2018년부터 포티투마루의 기술은 삼성, LG, SK, KT 등 많은 대기업들이 사용했고, 그 경험 기반의 기술을 현재까지 발전시켜오고 있다.”
2022년 11월, 오픈AI가 ‘챗GPT’를 발표했다. 사용자 관점에서 보면 포티투마루 솔루션도 이와 유사하다고 보는데, 챗GPT가 공개됐을 때 어땠나.
“발표 후 얼마 동안은 멘붕이었다. LLM이 기존의 MRC 기술을 다 포함해 버릴 수도 있다고 생각했다. 하지만 테스트 해보니 할루시네이션도 나타나고 정확도도 높지 않은 등의 한계가 있었다.
생성형 AI를 제대로 사용하려면 오차 범위가 1%여야 하는데 챗GPT는 70% 정도에 불과했다. 결과적으로 챗GPT는 우리에게 기회를 줬다. 기존의 MRC 또는 RAG 기반 솔루션에 LLM을 더해 정확도 높은 AI 솔루션을 만들 수 있는 계기를 마련해줬기 때문이다.”
어떤 LLM을 사용하나.
“멀티 LLM 전략으로, 여러 LLM을 사용한다. 네이버의 경우 하이퍼클로바X와 하이퍼클로바 대시, LG같은 경우는 LG AI연구원에서 만든 엑사원, LG유플러스는 익시젠, 구글의 경우 제미나이 프로, 젬마 등을 사용한다. 고객이 원하면 챗GPT, 클로드 3 등도 사용할 수 있다. 또 자체적으로 가지고 있는 경량화 AI 모델 ‘LLM42’도 사용한다.
LLM도 보면 성능과 특성, 장단점이 다르다. 그런 차이점을 잘 파악해서 기업 고객에게 최적화 된 LLM을 사용한다.”
아직까지는 기술개발이 우선돼야 하겠지만 수익 창출도 고민될 것 같다.
“아직 규모가 크지 않지만 지속적으로 매출을 발생시키고 있다. 영국 파이낸셜 타임즈의 ‘2024 아시아-태평양 고성장 기업’에 3년 연속 선정된 것도 매출 고성장을 일궈냈기 때문이다. 참고로 2022년 기준 매출 100만달러 기업을 대상으로 선정했다. 현재 고객사가 지속적으로 늘고 있어 앞으로도 매출 성장이 이어질 것으로 보인다.”
(‘2024 아시아-태평양 고성장 기업’은 2022년 기준 매출 100만달러 기업을 대상으로 선정하며, 포티투마루는 총 매출 성장률 788%, 연평균 성장률 107.1%를 기록해 테크 부문 17위, 전체 74위에 이름을 올렸으며, 한국 AI 기업으로는 1위에 선정됐다.)
앞으로의 계획이 궁금하다.
“최근 공개된 오픈AI의 멀티모달 AI 모델 ‘GPT-4o’에 큰 관심을 가지고 있다. 기업용 멀티모달은 표, 도면 등 잘 분석하고 정리하고 그려주는 도구가 필요하다. 이에 개발 솔루션 개발을 준비하고 있다.”
조상록 기자 jsrok@chosunbiz.com
댓글0