시사위크=박설민 기자 여기저기 등장하는 인공지능(AI)을 보면서 4차 산업시대가 도래했다는 걸 온몸으로 체감한다. 그런데 우리는 AI를 전적으로 믿어도 되는 것일까. 뛰어난 능력을 보여주지만 여전히 AI는 한계가 존재한다. 환각현상부터 악용, 데이터 보안 문제 등 AI를 둘러싼 논쟁은 우리 사회에 새로운 화두를 던진다.
따라서 사용자가 AI가 어떻게 결정을 내리고 왜 그러한 결정을 내리는지 이해할 수 있어야 한다. 최근 ‘AI 투명성(Transparency)’이 주목받는 것도 이 때문이다. 이는 AI의 의사 결정 방법이 개방적이고 투명해야 한다는 개념이다. 이것을 만족할 때 안전한 AI라 할 수 있다는 것이 이 개념의 주요골자다.
하지만 현재 국내외 기업·연구기관의 AI투명성 확보는 크게 부족하다. 지난해 10월 스탠포드재단연구센터(Stanford CRFM)가 발표한 ‘AI모델 투명성 지수’ 보고서에 따르면 10개 주요 AI기업 모두 ‘투명성 부족’이라는 평가를 받았다. 투명성 지수 점수는 100점 만점에 평균 37점이었으며 최고 점수는 54점에 불과했다.
이에 전문가들은 기업과 연구기관의 올바른 AI기술 도입을 위해 AI 투명성 조건 강화 방안 마련이 필요하다고 강조한다. 기술 신뢰성 확보가 필수인 의료, 국방, 과학연구 등에 사용되는 AI에겐 투명성 확보가 필수 조건이라 볼 수 있다. 그렇다면 AI 투명성은 어떤 방향으로 적용할 수 있을까.
◇ 신뢰할 수 있는 AI의 필수 조건 ‘투명성’… 기술·산업 문제로 갈 길 멀어
7일 서울 강남 앙트레블에서 ‘TRAIN(Trustworthy AI International Network, 신뢰할 수 있는 AI 국제네트워크)’이 개최한 ‘AI 신뢰성 세미나’에 참가한 전문가들은 법적, 기술적 관점 모두를 고려한 AI 투명성이 필요하다고 강조했다.
TRAIN은 신뢰할 수 있는 AI를 위한 국제연대다. 법무법인 원, AI신뢰성 씽크포비엘 등이 중심이 돼 지난해 설립했다. 설립 목적은 AI의 등장으로 발생하는 문화 및 제도‧정책 문제에 대한 민간 차원의 공동 대응이다. 현재 한국, 중국, 베트남, 태국 등 아시아 지역 AI기업들이 연대에 참여한 상태다. 일본, 싱가포르, 말레이시아, 인도네시아 기업들도 합류 준비 중이다.
이날 세미나에서 박지환 씽크포비엘 대표는 “구글, 마이크로소프트(MS), 메타 등 글로벌 IT기업의 AI가 기술력이 부족해 인종차별, 성차별 등의 문제가 발생하는 것이 아니다”라며 “AI기술력은 충분하지만 이를 뒷받침할 신뢰성이 부족했기 때문에 이런 현상이 벌어지고 있는 것”이라고 말하며 AI 투명성 확보의 중요성을 강조했다.
하지만 AI 투명성 확보는 쉬운 일이 아니다. ‘기술적’ 측면에서 AI 투명성 확보를 어렵게 하는 요인은 ‘설명’이다. 설명은 AI가 내리는 결정에 대한 투명성 구현에 필수 조건이다. AI 대한 이용자의 불안감 해소, 상호작용하는 인간 판단을 지원하기 위해 뒷받침돼야 한다.
이때 현재 대부분의 AI는 ‘블랙박스(Black Box Model)’ 모델을 사용한다. 수백, 수천만 개가 넘는 매개변수, 레이어 기반 신경망으로 데이터를 학습·분석한 후 결과를 도출하는 방식이다. 높은 정확도의 결과는 장점이지만 그 과정은 알 수 없다. 대표적인 AI기술인 ‘딥러닝’도 마찬가지다. 데이터 입력층과 결과 출력층사이의 ‘은닉층’ 구조가 매우 복잡해 결과 도출 과정을 알 수 없다.
김수현 한국과학기술연구원(KIST) 인공지능연구단 책임연구원은 ‘시사위크’와의 통화에서 “현재 AI기술로는 결과 도출 과정에 대한 정확한 설명은 아직까지 매우 어려운 일”이라며 “특히 초거대 AI 등 AI모델의 크기와 성능이 발달하면서 이는 점점 더 어려워지는 추세”라고 말했다.
AI모델의 기술적 요인뿐만 아니라 ‘데이터 투명성’도 문제다. AI 투명성 강화를 위해선 AI학습에 사용되는 데이터가 수집되는 이유, 사용 방식을 최종 사용자가 납득할 수 있도록 설명 가능한 프로세스를 마련하는 것도 중요하다. 하지만 이 경우 기업 입장에서는 상당히 부담이 될 수 있다. 학습 데이터는 곧 AI모델의 성능과 직결되는데 이를 공개할 경우, 경쟁사들에게 영업비밀을 알려주는 것과 다를 바 없기 때문이다.
박지환 대표는 “지금까지 AI 투명성을 두고 윤리적으로 접근하는 움직임은 많았으나 실질적 논의를 위한 기술적 해결 방안은 부족했다”며 “전 세계가 AI 투명성의 중요성은 인지하지만 뚜렷한 답을 내놓고 있지는 못하는 상황에서 우리나라가 이를 인도할 수 있는 길목에 설 필요가 있다”고 말했다.
◇ 법과 기술 모두를 고려한 AI 투명성 확보가 필요
물론 AI 투명성은 단순히 AI기술 개발 과정을 공개하자는 개념이 아니다. AI 투명성은 ‘책임성’, ‘자율성’, ‘공정성’ 등 다른 AI 윤리 원칙을 구현하기 위한 전제 조건이다. 한국지능정보사회진흥원(NIA)도 ‘AI 의사결정 설명과 법·정책적 과제’ 리포트에서 “AI시스템의 불투명성으로 인한 불신을 제거하고 AI 기술에 대한 신뢰 확보가 필요하다”고 설명했다.
따라서 현재 가능한 선에서 AI연구기관 및 산업계는 AI 투명성 확보를 위한 방안 마련이 필요한 시점이다. 이를 위해 세미나에 참석한 전문가들은 ‘법’과 ‘기술’의 두 가지 관점에서 AI 투명성 확보를 위한 대책이 필요하다고 강조했다.
그렇다면 법적인 측면에서 요구되는 AI 투명성은 무엇일까. 이날 세미나에서 주제 발표를 진행한 고인선 법무법인 원 변호사는 “AI 투명성에서 중요한 것은 추적 가능성과 설명 가능성”이라며 “AI가 할 수 있는 것과 없는 것에 대해 이용자들에게 충분한 고지가 필요하고 영향을 받는 인간에 대한 권리 고지도 뒷받침돼야 한다”고 말했다.
그러면서 ‘고위험 AI’에 대해서는 △위험관리체계 수립 및 이행 △데이터 거버넌스 구축 및 데이터 관리 △기술문서 작성 △로그 관리 △투명성 및 배포자 정보 제공 △인간의 감독이 가능한 설계 및 개발 △정확성(accuracy), 견고성(robustness), 사이버 보안(cybersecurity) 등의 조건이 요구돼야한다고 강조했다. 고위험 AI란 인간의 생명, 신체의 안전 및 기본권의 보호에 중대한 영향을 미칠 수 있는 AI다.
고인산 변호사는 “가전제품만 사도 설명서가 있는 것처럼 AI시스템을 배포하기 위해선 이 AI를 제공하는 사람이 누구이고 어떤 목적으로 사용되는지, 입력 데이터는 무엇이 있는지 설명할 수 있어야 한다”며 “기능뿐만 아니라 유지 관리 조치, A/S는 어떻게 이뤄지게 되는지 답을 할 수 있는 근거가 마련돼야 한다”고 말했다.
이어 “AI 시스템 설계나 알고리즘 조직 과정과 사용 데이터 세트 등이 문서로 정리가 돼 있어야 하고 의무 관리도 필요하다”며 “인적 감독이 가능해 AI를 모니터링하고 문제가 생기면 바로 그 산출물을 폐기하거나 시스템 자체를 정지·중단할 수 있는 조치도 마련돼야 한다”고 조언했다.
다만 AI 투명성 확보는 법적 규정도 중요하지만 핵심은 연구기관과 기업이 이를 어떻게 받아들이는가에 달렸다. 아무리 관련 규정이 법적으로 문제가 없다 해도 AI산업을 저해하는 방향은 지양할 필요가 있다. 따라서 AI분야 전문가들과의 협의를 통한 기술적 관점에서의 AI 투명성 확보가 이뤄져야 한다.
이에 대해 안선호 한국산업기술시험원(KTL) AI팀장은 “사실 AI규제는 기업들 입장에서 실질적으로 방해물이 될 수도 있다”면서도 “하지만 사용자 입장에서 투명성 확보를 위한 AI규제는 자신의 정보를 보호할 수 있고 AI서비스 이용 시 발생할 수 있는 위험성을 해소할 수 있는 대응책이 될 수 있다”고 말했다.
이어 “AI시스템에 대한 투명성 확보 방향은 AI 사용 상황에 따라서 크게 ‘사회적 의미’와 ‘환경적 의미’의 두 가지 요소로 분류될 수 있다”며 “AI 투명성 확보는 어느 국가, 산업, 생활 환경에서 사용될 AI인지, 또 사용 시 사회적으로 어떤 영향을 미칠 수 있는지를 고려해 이뤄져야 한다”고 조언했다.
그러면서 “AI시스템 개발 시에는 사용된 AI모델의 정보, 사용 데이터, 데이터 흐름, API 정보, 사용자가 어떻게 사용할 수 있을지에 대한 UI 등 정보를 포함해야 한다”며 “특히 특정 AI모델을 가져다 새롭게 변형해 사용했을 때 이에 대한 문서화 및 요구사항, 정정성 정보를 포함하는 것은 대단히 중요하다”고 덧붙였다.
◇ 글로벌 시장 진출 위해선 국가별 AI 투명성 대응책도 ‘필수’
글로벌 시장 진출을 위해선 각 국가별 기준을 맞춘 AI 투명성 확보도 필요하다. 예를 들어 유럽(EU)의 경우 한국보다 훨씬 강한 기준의 AI 투명성을 요구한다. 반면 미국은 유럽이나 한국보다 법적으론 자유롭다. 하지만 각 기업들 간 가이드라인 이 존재하기 때문에 여기에 맞춘 AI 투명성 확보 방안을 마련해야 한다.
물론 AI 투명성 확보는 세계 차원에서도 시작 단계이기 때문에 구체화된 내용은 많지는 않다. 다만 현재 가장 글로벌 지침에 가까운 것은 ‘경제협력개발기구(OECD)’의 ‘AI 권고안’이다. 2019년 발표된 이 권고안은 국제사회서 마련된 최초의 AI규범이다. AI 투명성 및 설명가능성은 ‘혁신적이고 신뢰할 수 있으며 인권과 민주적 가치를 존중하는 AI’라는 원칙을 담고 있다.
세부적으로는 △사회적 불평등 감소를 위한 AI 구현 △자유, 프라이버시, 평등, 다양성 등 인간 중심 가치 존중 △AI 이해 증진 및 투명성과 설명 가능성 확보를 위한 노력 △프라이버시, 디지털 보안 등 위험성 체계적 극복△AI 시스템의 최신성 유지를 위한 개발자 책임 등을 강조하고 있다.
유럽과 미국의 AI관련 법안 및 가이드라인에서도 AI 투명성은 주요 골자다. 특히 EU AI법은 의료, 교육, 법 등 일상 생활용 AI는 투명성 및 보안 기준을 통과할 것을 규정하고 있다. 법안 적용 대상은 유럽 내 AI서비스에 대한 공급자 및 수권대리인, 배포자, 수입업자, 제품 제조자 등에게 모두 적용된다.
글로벌 시장조사업체 ‘그랜드 뷰 리서치’에 따르면 현재 유럽 AI시장 규모는 664억달러(약 91조원)로 추산되며 오는 2030년엔 3703억달러(약 510조원)에 이를 전망이다. 즉, 큰 시장을 잡기 위해선 우리 기업이 유럽 시장에 맞는 AI 투명성 확보가 반드시 뒷받침돼야 한다는 의미다.
현재 관련 분야 대응에 앞서가는 국가는 ‘싱가포르’다. 천선일 씽크포비엘 매니저는 “싱가포르 정부에서 윤리적 AI 개발을 위해 운영하는 기술 협의체인 비영리 재단 ‘AI 베리파이 파운데이션(AI Verify Foundation)’이라는 곳을 2~3년 전 출범했다”며 “이 재단에서는 AI 베리파이 툴킷을 활용, 11가지 AI 윤리 원칙에 해당하는 프로세스 체크리스트를 만들고 투명성과 관련한 8개의 항목을 자체적으로 검증해 분석한다”고 설명했다.
다만 해외 시장 진출을 목표로 하지 않는 기업 입장에선 AI 투명성 확보에 회의적일 수도 있다. 사용 데이터, 수집 방법, 개발자 등 정보를 공개해야 하기 때문이다. 또한 컨설팅 비용도 스타트업 등 소기업들에겐 적잖은 부담으로 다가올 수 있다.
이에 대해 오정익 법무법인 원 변호사는 “유럽 시장을 진출하실 계획이 있는 기업 분들은 EU AI법안 내에 자사의 서비스가 해당되는지를 먼저 판단할 필요가 있다”며 “만약 고위험 AI에 해당된다면 무료 오픈소스를 사용했다 하더라도 법안의 의무를 준수해야 한다”고 설명했다.
이어 “물론 해외 시장 진출에 아예 생각이 없으시다면 비용적 측면에서 미리 준비할 필요까지는 없을 수 있으나 사전에 대비를 하면서 AI를 개발할 필요성은 있다”며 “AI 개발 시, 주의해야할 학습 데이터, 기술, 서비스 형태 등을 고려하는 것이 현재로는 가장 좋은 방법”이라고 말했다.
댓글0