인공지능(AI)이 빠른 속도로 모든 산업에 적용되면서 기업들도 바쁘게 AI를 도입하고 있다. 하지만 편향성, 투명성 부족, 설명가능성 부족, 잘못된 정보 생성 등 여러 위험들이 발생할 수 있고 이를 관리해야 한다는 부담감 때문에 도입을 주저하고 있다.
실제 AI를 개발하고 이를 운영할 환경을 구축한 기업들은 많지만 이를 서비스화한 기업은 드문 상황이다.
그럼에도 AI 도입은 기업들에게 필수다. 김진숙 한국 딜로이트 그룹 경영자문 부문 파트너는 “이러한 리스크 때문에 AI의 도입을 늦추기 보다는 선제적으로 도입, 활용하는 것이 기업의 미래에 있어 훨씬 더 이점이 크다”고 말한다. 다만 제대로 도입하기 위해서는 ‘AI 거버넌스 수립’이 필요함을 강조한다.
기업의 AI 거버넌스 수립을 담당하고 있는 김진숙 파트너와 ‘AI 리스크는 무엇이며 이를 해결하는 방법은 무엇인지’에 대해 이야기를 나눠봤다. 김진숙 파트너는 리스크 자문 및 디지털 트랜스포메이션 분야의 전문가다. 호주의 주요 금융 기관과 컨설팅 분야에서 활동했으며 최근 한국 딜로이트 그룹 경영자문 부문 파트너로 합류했다.
― 기업들이 AI를 도입하는 데 있어 어떤 어려움이 있나.
“딜로이트에서 14개국의 전문가를 대상으로 설문조사를 진행했는데 AI 도입의 주요 장애물로 다음 세 가지를 확인했다.
첫째는 규제 준수에 대한 고민이다. 예를 들어 유럽연합(EU)의 AI 법안처럼 일부 지역에서는 구체적인 규제가 마련돼 있다. 이런 규제에 적합한 AI를 운영하려다 보니 기업들이 막연한 두려움을 느낀다.
둘째는 AI의 리스크를 체계적으로 이해하지 못하는 것이다. 기업들이 다양한 리스크를 제대로 파악하지 못해 AI에 대한 불안감이 크다.
셋째는 리스크를 관리하기 위한 체계적인 AI 거버넌스 모델의 부재다. 리스크 관리 체계를 구축해야 한다는 건 알지만 어디서부터 시작해야 할지 모르는 상황이다.
”
― AI에는 어떤 리스크가 있는가.
“두 가지로 나눠 분석할 수 있다. 첫 번째는 AI 모델 자체의 특수성에서 발생하는 위험이다. 이는 AI 알고리즘의 복잡성에 기인하는 ‘설명 가능성에 대한 위험’, 계속되는 학습을 통해 변화된 결과를 내놓는 ‘동적 위험’, 데이터가 충분하지 않을 경우 발생할 수 있는 알고리즘 및 결과의 ‘편향성 리스크’ 등을 포함한다.
두 번째는 AI의 활용 과정에서 발생하는 리스크다. 여기에는 윤리적 문제, 투명성 결여, 법적 규제 위반 등으로 인해 발생하는 리스크가 포함된다. 예를 들어 AI 기술이 잘못된 목적으로 활용될 경우 비윤리적 행위로 이어질 수 있다.
”
― 앞서 언급한 리스크만 보면 기업들이 AI를 도입하기 더 두려울 것 같다.
“두려움이 존재하는 것은 충분히 이해된다. 그러나 AI를 통해 기업이 얻을 수 있는 이점이 훨씬 더 크다는 점을 강조하고 싶다. AI를 도입하면서 발생할 수 있는 위험들을 사전에 이해하고 이를 체계적으로 관리할 수 있는 거버넌스 체계를 구축, 운영한다면 AI가 기업에 가져다주는 효과를 극대화할 수 있다. 즉, AI 도입을 아예 포기하기보다는 리스크를 선제적으로 인지, 관리하고 AI를 최대한 활용하는 방향으로 접근하는 것이 더 현명한 선택이라고 생각한다.
AI 리스크를 효과적으로 관리하기 위해서는 포괄적이고 체계적인 AI 거버넌스 프레임워크의 도입이 필수적이다. 이는 단순히 규제 준수를 넘어 AI 시스템에 대한 신뢰를 구축하고 그 잠재력을 최대한 발휘할 수 있게 하는 핵심 요소다. 따라서 기업은 AI 거버넌스를 전략적 우선순위로 삼고 지속적인 개선을 통해 AI 기술 혜택을 극대화하면서도 리스크를 최소화할 수 있을 것이다.
”
― AI 거버넌스 수립의 필요성은 이해했지만 쉽게 와닿지는 않는다.
“일단 AI 거버넌스라는 용어 자체가 생소한 것은 사실이다. 쉽게 표현을 하자면 AI로 인해 발생하는 리스크들을 관리할 수 있는 체계적인 프로세스 틀을 만들고 운영하는 것이다. 그러니까 AI 서비스의 개발, 배포 및 사용을 윤리적이고 책임 있게 관리하기 위한 하나의 프레임워크라 할 수 있다.
이러한 AI 거버넌스 프레임워크는 윤리적 고려사항과 기술적 요구사항을 균형 있게 다루며 AI 서비스에 대한 신뢰를 구축하는 데 중요한 역할을 할 수 있도록 수립돼야 한다. AI 거버넌스 구조는 크게 네 가지 항목으로 구분할 수 있다. ▲핵심 윤리 원칙 수립 ▲핵심 윤리 원칙(공정성, 투명성, 책임성 등)에 대한 가이드 라인/규제/지침 수립 ▲거버넌스 운영 관리를 위해 필요한 조직 체계 구성 및 R&R, 운영 가이드라인 수립 ▲AI 거버넌스의 지속적 운영 및 내재화를 위한 전략 수립이다.
”
― 수립하는 과정에서 발생할 수 있는 문제나 어려움은 무엇인가.
“먼저 AI 거버넌스의 범위를 정의하는 것이 어려울 수 있다. 너무 포괄적으로 정의하면 불필요한 관리 부담이 생기고 너무 좁게 정의하면 중요한 리스크를 놓칠 수 있기 때문에 균형 있는 접근 방법이 필요하다.
이와 더불어 조직 전체에 일관된 표준을 적용하는 것도 쉽지 않다. 특히 대기업의 경우 각 부서나 지역별로 AI 거버넌스가 독립적으로 운영되는 경우가 많아 통일된 기준을 적용하기가 어려울 수 있다.
기존 시스템 및 거버넌스 프레임워크와의 통합 문제도 있다. 즉 현존하는 레거시 시스템 및 프레임워크에 AI 거버넌스 프레임워크를 어떻게 잘 조화롭게 통합하고 내재화할 수 있는지가 중요한 과제라 할 수 있다. 이러한 통합 과정의 부재 시 비용 및 거버넌스 운영의 효율성 문제가 야기될 수 있다.
그리고 AI 거버넌스 뿐 아니라 AI 서비스를 제공하는 모든 기업에서 겪고 있는 어려움이 있는데 바로 AI 전문 인력의 부족 현상이다. AI 거버넌스를 효과적으로 구현하고 운영하기 위해서는 관련 전문성을 갖춘 인력이 필요한데 이런 인재를 확보하기가 사실상 쉽지 않다.
”
― 참고할 만한 AI 거버넌스 수립 사례가 있나.
“딜로이트의 AI 거버넌스 수립이 좋은 사례가 될 것 같다. AI 거버넌스 수립 단계는 크게 도입기, 안정기, 성숙기로 나눠지고 각 회사의 상황에 따라 다르다. 하지만 성숙기에 접어들기까지는 평균 약 2년 정도의 시간이 소요되는데 딜로이트는 현재 AI 거버넌스를 내재화하는 안정기 단계에 있다.
회사 내부적으로는 ‘딜로이트 AI 트러스트 카운슬(Deloitte AI Trust Council)’이라는 윤리위원회를 운영하며 AI 관련 의사결정을 책임지고 있다. AI 도입에 대한 절차도 케이스별로 상세하게 프로세스화 돼 있다. 직원들도 AI 리스크를 이해하고 대응할 수 있도록 교육 프로그램을 마련하고 가이드라인을 배포하고 있다. 이를 통해 기업 내 AI 리스크 관리 문화를 정착시키고 있다.
”
― AI 거버넌스를 수립함으로써 얻어지는 구체적인 효과도 궁금하다.
“AI 거버넌스 수립은 비용 절감, 수익성 증대, 새로운 비즈니스 모델 창출 등 여러 측면에서 효과를 제공한다. 중요한 점은 AI 거버넌스가 이러한 효과들을 직접적으로 창출하기보다는 이를 위한 필수적인 기반을 제공한다는 것이다.
비용 절감과 수익성 증대 측면에서 탄탄한 AI 거버넌스 체계는 리스크를 관리하고 AI의 잠재력을 최대한 발휘할 수 있는 환경을 조성한다. 아마존의 경우 AI와 머신러닝을 활용한 수요 예측 시스템을 통해 재고 정확도를 10~20% 향상해 연간 약 10억달러의 재고 관련 비용을 절감했다.
AI를 활용한 선제적 리스크 관리도 AI 거버넌스의 중요한 역할이다. 예를 들어 AI를 활용한 금융 규제의 정기적 모니터링을 통해 규제 변화로 인한 컴플라이언스 리스크에 선제적으로 대응할 수 있다.
새로운 비즈니스 모델 창출 측면에서는 명확한 지침과 프로토콜을 제공함으로써 기업이 AI를 활용한 새로운 아이디어를 안전하게 탐색하고 개발할 수 있게 한다. 또한 AI를 통한 고객 경험 개선과 개인화된 서비스 제공 시 발생할 수 있는 개인정보 보호 문제 등을 관리함으로써 새로운 시장 기회를 안전하게 창출할 수 있게 한다.
”
― 기업에게는 리스크가 우려되더라도 AI 거버넌스 수립이 반드시 필요하다는 생각이 든다.
“맞다. 가트너의 조사에 따르면 기업들이 AI 구현을 통해 평균적으로 15.8%의 매출 증가, 15.2%의 비용 절감, 22.6%의 생산성 향상을 경험했다고 응답했다. 이러한 성과는 적절한 AI 거버넌스 체계 하에서 AI가 안전하고 효과적으로 활용될 때 달성 가능하다.
”
조상록 기자 jsrok@chosunbiz.com
댓글0