“3년 전 국내 시장에서 주목을 받았던 인공지능(AI) 챗봇 ‘이루다’가 혐오 발언 논란으로 3주 만에 서비스를 중단해야만 했다. 안전성 확보가 선행되지 않으면 수백억을 투자해 개발한 AI 서비스가 제대로 시작조차 못할 수 있다는 의미다. 산악인들이 무사히 에베레스트를 오를 수 있게 돕는 안내인 ‘셰르파’처럼, AI안전연구소(AISI)도 국내 기업들이 무사히 서비스를 내고 해외 진출까지 할 수 있도록 돕고자 한다.”
김명주 AI안전연구소(AISI) 초대 소장은 지난 28일 경기 성남시 판교 글로벌 R&D 센터에서 조선비즈와 만나 이렇게 말했다. 한국전자통신연구원(ETRI) 산하기관인 AISI는 국내·외 AI 위험을 미리 찾고 해결방안을 마련하기 위해 윤석열 대통령이 직접 설립을 추진한 기관이다. AI 위험은 사람의 얼굴·음성을 실제처럼 조작하는 ‘딥페이크’나 관련 기술을 활용해 적대국을 대상으로 행하는 사이버 공격, 신기술로 인한 사회적 혼란 등 전 영역에 걸친 부작용을 의미한다.
김 소장은 “최근 우크라이나 전쟁에서 AI가 탑재된 드론이 자의적인 판단 하에 적을 사살하고 있다는 소식이 있었다”며 “AI에 대한 안전성을 미리 확보해 두지 않으면, 사람에게 직접적으로 위해를 가할 수도 있다는 의미”라고 설명했다. 그는 이어 “AISI는 AI와 관련해 이미 드러난 위험과 드러나지 않은 잠재적 위험에 대한 모든 대비를 하는 기관”이라고 소개했다.
AISI의 사업부서는 기술, 정책, 평가 분야로 나뉜다. 정보통신기획평가원(IITP), ETRI 파견 직원을 포함한 13명의 구성원이 각 사업부에 고루 흩어져 있다. 기술 부서는 AI 콘텐츠에 대한 워터마크 삽입 등 안전성 확보를 위한 기술 개발을 맡는다. 정책 부서는 AI 안전 확보를 위해 필요한 정책을 상급 기관인 ETRI에 제안하는 역할을 담당한다. 평가 부서는 특정 AI 서비스가 안전한 지 판단할 수 있는 기준을 마련하는 곳이다. AISI는 ETRI로부터 총 120억원의 예산을 받아 80억원은 기술 개발, 40억원은 AI 안전성 평가 기준 설립, 신규 인원 채용 등에 사용할 계획이다. AISI는 내년 말까지 직원을 30명까지 늘린다는 계획이다.
김 소장은 AI가 사람에 대해 차별적인 성향을 가지고 있는지, 사람에게 위해가 갈 수 있는 정보를 학습하는지 등의 여부를 확인할 수 있는 안전성 기준 마련을 서두른다는 입장이다. 현재 김 소장은 전국 지자체와 IT 기업에 AI 안전성 평가에 대한 의뢰를 받았고, 기준이 마련되는 대로 이를 진행할 계획이다.
김 소장은 “내년에 가장 먼저 시작할 최우선 과제는 AI 안전성에 대한 평가 기준 마련”이라며 “기준을 마련한 뒤 기업들이 출시하는 관련 서비스에 대한 안전성 평가를 진행할 예정”이라고 말했다. 그는 “AI 챗봇은 수천억개의 데이터를 학습하는데, 이 과정에서 사람이 가지고 있는 성차별, 학력 차별 등 부정적인 성향이 녹아들 수 있다”며 “만일 이 같은 부분을 개선하지 못한다면 AI 안전성을 엄격하게 따지는 유럽연합(EU) 등 글로벌 주요 시장에 진출이 어려워진다”고 설명했다.
현재 전 세계에서 AI 안전성 기준 마련에 대한 주도권을 잡기 위해 국가 간 경쟁이 치열하게 벌어지고 있다. 지난해 영국을 시작으로 미국, 싱가포르, 일본, 한국, 케냐 등 10개국에서 AI 안전연구소를 설립했다. 현재 10개국은 국제 AI안전연구소 네트워크를 함께 조직해 글로벌 규모의 AI 부작용에 대한 대비에 나섰다. 현재 각 연구소가 자국 기업에 대한 AI 서비스의 안전성 평가를 맡아 진행하는 방안이 논의되고 있다.
김 소장은 “AI 안전성 기준에 대한 주도권을 가져오기 위해 국가 간 보이지 않는 기싸움이 뜨겁다는 것을 회의 현장에서 느꼈다”라며 “네트워크 영향력 강화를 위해 가입국 기준을 강화하자는 목소리도 내부에서 나오고 있어, 한국도 AI안전연구소 없이는 글로벌 경쟁에 나서기 어려운 상황이었다”고 설명했다.
김 소장은 서울대에서 컴퓨터공학 박사를 받은 뒤 1995년부터 서울여대 정보보호학부 교수로 재직했다. 김 소장은 바른AI연구센터장, 국제AI윤리협회장, AI윤리정책포럼 위원장 등을 맡으며 안전하고 책임있는 AI 개발·활용 확산을 위해 노력해 왔다. 지난해부터 OECD GPAI(Global Partnership on AI) 엑스퍼트 멤버로 활동하며, 지속 가능한 AI 발전을 위한 국제사회 논의에도 참여하고 있다. 다음은 김 소장과의 일문일답.
─AISI에 대해 소개해달라. ‘AI 안전’이라는 개념이 뭔지.
“AI 위험은 딥페이크를 비롯한 위조 기술이나 국가 간 사이버 공격, 신기술로 인해 벌어지는 사회적 갈등·혼란, 환경오염 등 부작용을 의미한다. AI 안전은 이 같은 위험 요소가 없는 상태를 의미한다. 국내 AI 기업이 서비스를 만들 때 어떤 위험 요소가 포함돼 있는지 스스로 파악하지 못할 수 있다. AISI는 AI 서비스 개발 전·후단계에서 얼마나 안전한지 인증할 수 있는 가이드라인을 기업에 제시해주는 역할을 한다.”
─가장 먼저 시작할 프로젝트는 뭔지.
“국내에서 쓰일 AI 안전에 대한 가이드라인 마련에 착수할 예정이다. 아직 기준 마련을 진행하고 있는 상황인데, 벌써 지자체와 IT 기업에서 안전성 평가에 대한 문의가 들어오고 있다. AI 서비스가 안전성을 확보해야 EU 같이 규제가 강한 시장에서도 무리 없이 활동할 수 있기 때문이다. 국내 기업들의 원활한 AI 서비스 운영을 돕기 위해 안전성에 대한 범위를 정확히 확립할 계획이다. 추후 기준에 따라 기업에 시정 제안을 하고, 시정이 이뤄지지 않는다면 과학기술정보통신부 등 상위 기관에 보고할 방침이다.”
─AI 안전이 왜 중요한가.
“2021년 AI 챗봇 이루다가 국내에 출시됐다. 업계의 관심을 받으며 이용자가 크게 늘었지만, 혐오 발언 논란으로 ‘3주 천하’로 끝났다. AI 안전성이 확보되지 않으면 수백억을 써서 개발한 AI 서비스를 시작도 못 해볼 수 있다는 의미다. AI 서비스에 있어서 윤리에 관한 문제는 단순히 부속품이 아니라 결정적인 역할을 하는 요소다. 치열한 경쟁을 하고 있는 국내 기업들 입장에서 AI 안전성을 확보하는 과정이 어렵고 힘들 수는 있지만, 장기적인 성장을 위해서는 반드시 챙겨야 한다.”
─AI 안전성 확보 과정이 기업 활동에 지장을 줄 수도 있는데.
“AISI는 규제 기관이 아니라 AI 안전성 확보 측면에서 기업을 돕는 지원 기관 성격이 더 강하다. AI 안전성 확보가 되지 않으면 세계 시장으로 판로를 넓힐 수가 없는 만큼, 반드시 대책을 마련해야 한다. 이때 기업이 AISI의 도움을 받으면 직접 비용을 들여 찾아보지 않더라도, 해외 시장 진출을 가로막을 수 있는 잠재적인 요소를 미리 제거할 수 있다. AISI와 잘 협력하면 오히려 경영 활동을 더 원활하게 할 수 있다고 본다.”
─AI 안전성 연구에 뛰어들게 된 계기가 궁금하다.
“서울여대 컴퓨터학과 교수로 재직할 당시 서울지방검찰청 특수 3부에서 컴퓨터 범죄에 대한 자문 활동을 했다. 그때 온라인을 통한 범죄가 기하급수적으로 늘 것이라고 예상하고, 총장에게 요청해 정보보호학과를 개설한 뒤 30년 가까이 연구해 왔다. 이제 AISI 소장으로서 AI 안전에 대한 범위를 정의하는 일에 힘 쓰고자 한다.”
댓글0