스노우플레이크 “AI 시대 데이터 플랫폼, AI가 데이터 안으로 들어와야”

IT조선 2024.09.09 조회수

497

“인공지능(AI) 시대 데이터 플랫폼은 빠르고 쉽게 쓸 수 있어야 하며 보안과 규제 준수까지 갖춰야 한다. 또한 엔터프라이즈 AI 환경에서는 데이터를 AI로 보내는 것이 아니라 AI가 데이터 근처로 오는 것이 유리하다.”

최기영 스노우플레이크 한국 지사장은 9일 서울 강남구 파크하얏트 호텔에서 열린 ‘스노우플레이크 월드 투어 서울’ 기자간담회에서 ‘AI 데이터 클라우드’에 필요한 점에 대해 이와 같이 밝혔다.

스노우플레이크의 ‘월드 투어 서울’은 10일 서울 강남구 코엑스서 열린다. ‘AI 데이터 클라우드’에 대한 최신 기술과 교보문고, 넥슨코리아 등 다양한 국내외 고객 사례들이 발표될 예정이다. 특히 완전 관리형 서비스 ‘스노우플레이크 코텍스(Cortex)’와 오픈소스로 공개한 ‘폴라리스 카탈로그(Polaris Catalog)’, ‘스노우플레이크 코파일럿(Snowflake Copilot)’, 기업용 거대언어모델(LLM) 등이 소개될 예정으로 알려졌다.

최기영 스노우플레이크 한국 지사장은 “이번 ‘스노우플레이크 월드 투어 서울’ 행사는 전 세계에서 열리는 월드 투어 행사 중 세 번째로 열린다. 현재 등록자 3000여명에 이르는 큰 규모로 준비하고 있다”고 소개했다. 이어 “국내에서도 3년여 기간 동안 10대 그룹의 80% 정도를 고객으로 두는 등 세 자리 수의 고객을 확보하는 등 빠르게 성장했다”고 밝혔다.

빠른 성장의 이유로는 ‘빠르게 제공할 수 있고 쉽게 쓸 수 있고 거버넌스와 보안도 확보 가능한’ 기술적 특징을 갖추고 있다는 점을 꼽았다. 또한 ‘엔터프라이즈 AI’에 필요한 점 중 보안과 신뢰성에 대해서는 ‘데이터를 AI로 보내는’ 것이 아닌 ‘AI가 데이터로 오는’ 관점을 제시했다. 스노우플레이크의 플랫폼에서 AI 모델을 바로 활용할 수 있게 지원하는 차별화된 특징도 제공한다.

이와 함께 스노우플레이크의 또 다른 기술적 강점으로는 ‘협업’을 꼽았다. 스노우플레이크는 같은 데이터를 사용하는 여러 조직간 효과적인 협업을 위해 사용자간 데이터를 복제할 필요 없이 읽기 전용 등으로 공개할 수 있는 등 ‘데이터 공유’ 기능을 제공한다. 이를 통해 데이터를 연결해 비즈니스에서 효과를 누리면서도 보안과 규제 준수에 대한 부분도 모두 만족시킬 수 있다.

크리스티안 클레이너만 스노우플레이크 제품 담당 수석 부사장 / 권용만 기자

크리스티안 클레이너만(Christian Kleinerman) 스노우플레이크 제품 담당 수석 부사장은 “스노우플레이크는 플랫폼에서 AI 역량을 지원하는 것 뿐만 아니라 제품 안에서도 AI를 활용해 제품의 역량을 높이고 있다”고 밝혔다. 또한 최근 몇 년간 비정형 데이터에 대한 지원이 중요해지는 부분에 대해 스노우플레이크도 비정형 데이터를 SQL, 파이썬 등으로 다룰 수 있는 다양한 기능을 제공하고 있다고 설명했다. 특히, 최근에는 자연어로 문서 데이터의 내용에 대한 확인 등이 가능한 ‘도큐먼트 AI’도 제공한다고 덧붙였다.

플랫폼의 상호 운용성 측면에서는 ‘아이스버그(Iceberg)’ 프로젝트를 강조했다. 현재 아파치 재단이 관리하는 ‘아이스버그’는 데이터 분석과 처리를 단순화하고 성능과 편의성을 위한 개방형 데이터 형식이다. 특히 지난 6월 발표된 아이스버그용 오픈소스 카탈로그인 ‘폴라리스 카탈로그’는 스노우플레이크에서 엔진간 읽기 및 쓰기의 상호 호환성, 중앙집중식의 엔진 간 보안, 종속성 없이 어디서나 실행 가능한 점 등의 특징을 제공한다고 소개했다.

컴퓨트 측면에서는 지원하는 데이터 프로세싱 환경을 최근 3년간 SQL 이외에도 자바, 파이썬, 스칼라(Scala)까지 확장해 개발자들의 편의성을 높였다. 또한 ‘스노우파크 컨테이너 서비스’는 스노우플레이크 환경 안에서 도커 컨테이너 호스팅을 구현할 수 있게 하며 이 때 다양한 컨테이너에 일관적인 보안 정책을 적용할 수 있다는 점을 장점으로 꼽았다.

보안과 규제 준수 측면의 역량은 ‘스노우플레이크 호라이즌’으로 구현된다. 크리스티안 클레이너만 수석 부사장은 “이러한 역량 측면이 조직에서 스노우플레이크를 도입하는 가장 큰 이유이자 혜택이다”라고 강조했다. 또한 규제 부분의 역량 중 ‘데이터 공유’는 기업 내, 외부 조직들과의 데이터 공유를 데이터의 ‘복제’ 없이 가능하게 해 비용과 비효율성을 줄이고 복제본을 줄여 규제 준수에 대한 부담을 줄인다고 제시했다.

‘엔터프라이즈 AI’ 환경에 있어 데이터를 이동, 변환시키는 ‘파이프라인’에서는 효율과 함께 가시성 측면이 중요하게 다뤄진다. 이 부분에서 스노우플레이크는 ‘스노우파크’ 파이프라인이 아파치 스파크 기반 파이프라인 대비 성능은 4.6배 높고 비용은 35% 절감할 수 있다고 제시했다. 현재 스노우플레이크 고객들 중 매 주 스노우파크를 사용하는 고객의 비중은 50% 이상이다.

분석 측면에서는 고객들이 데이터를 다룰 때 더 나은 SQL 쿼리를 사용할 수 있게 돕는 ‘스노우플레이크 코파일럿’이 소개됐다. 크리스티안 클레이너만 수석 부사장은 “스노우플레이크 코파일럿은 고객들이 SQL 질의를 시작하는 지점을 더 높이고 현재 사용하는 SQL의 수준 또한 더 높여줄 것이다”라고 밝혔다.

이와 함께 대화형 개발 환경 ‘스노우플레이크 노트북(Snowflake Notebooks)’은 현재 프리뷰 단계로 정식 서비스는 3개월 뒤 예정이다. 하지만 이미 고객들의 10% 이상이 이를 미리 사용하고 있다.

데이터 플랫폼에서 AI 기술을 활용할 수 있게 해 주는 ‘코텍스 AI(Cortex AI)’에서는 자체 모델 뿐만 아니라 주요 파운데이션 모델과 파인 튜닝 모델들이 제공되고 있다. 스노우플레이크는 이제 ‘코텍스 AI’의 지원 모델로 ‘라마 3.1’을 공식 추가한다고 밝혔다. 여기에는 ‘라마 3.1 405B’ 모델도 포함된다. 이와 함께 추론 및 파인튜닝에 대한 최적화로 기존 오픈소스 솔루션 대비 지연시간을 3분의 1로 줄이고 처리량은 1.4배 높였다고 언급했다. 이 외에도 ‘라마 3’ 모델은 한국 리전에서 직접 제공될 것이라고 언급했다.

코텍스 AI에서 데이터에 자연어로 ‘질문’해 원하는 답을 얻을 수 있는 생성형 AI 기반 대화형 인터페이스는 ‘코텍스 서치(Cortex Search)’와 ‘코텍스 애널리스트(Cortex Analyst)’ 등 두 가지가 있다. 이 중 ‘코텍스 서치’는 비정형 문서의 검색을 기반으로 하고 ‘코텍스 애널리스트’는 SQL 구문을 기반으로 정형 데이터를 다루는 부분이 차이점이라고 소개됐다.

권용만 기자 yongman.kwon@chosunbiz.com