퀄컴은 7일(현지시각) 미국 라스베이거스에서 개막하는 CES 2025에서 온프레미스 데스크톱·벽걸이형 하드웨어 솔루션인 ‘퀄컴 AI 온프레미스 어플라이언스 솔루션’을 공개했다. 또 니어 엣지부터 클라우드까지 AI 추론을 지원하는 소프트웨어 및 서비스 묶음인 ‘퀄컴 AI 클라우드 인퍼런스 스위트’도 발표했다.
중소기업과 대기업, 산업 기관은 생성형 워크로드 등을 포함한 맞춤형 및 상용 AI 애플리케이션을 온프레미스로 실행할 수 있다. 온프레미스에서 AI 추론을 실행하면 AI 인프라를 임대할 때보다 운영 비용과 총 소유 비용(TCO)을 절감할 수 있다.
AI 온프레미스 어플라이언스 솔루션과 AI 인퍼런스 스위트를 함께 사용하는 고객사는 독점적 데이터과 미세 조정된 모델, 기술 인프라를 활용해 생성형 AI를 구현할 수 있다. 이를 통해 소매점, 패스트푸드 식당, 쇼핑 아울렛, 대리점, 병원, 공장 및 작업 현장 등 작업 흐름이 확립되고 반복적이며 자동화 가능한 대부분의 환경에서 사람과 기계 프로세스 및 애플리케이션을 자동화할 수 있다.
나쿨 두갈(Nakul Duggal) 퀄컴 오토모티브, 산업 IoT 및 클라우드 컴퓨팅 부문 본부장에 따르면 AI 온프레미스 어플라이언스 솔루션과 AI 인퍼런스 스위트는 클라우드에서만 가능했던 생성형 AI 워크로드 작업을 로컬 및 자체 서버에서 처리할 수 있다. AI 구현시 경제적인 총소유비용(TCO)이 가능하다.
두갈 본부장은 “퀄컴의 AI 온프레미스 어플라이언스 솔루션은 매장 내 어시스턴트, 직원 교육, 현장별 정보, 안전 규정 준수, 판매 및 서비스 지원 등 다양한 AI 자동화 사용 사례에서 기업과 산업의 요구에 필요한 AI 운영 비용을 절감해준다”며 “기업은 이제 개인정보 보호와 개인화, 맞춤화를 구현하는 동시에 데이터 외부 이동의 우려 없이 완벽한 통제하에 자체 모델을 활용해 생성형 AI 애플리케이션을 가속화할 수 있다”고 말했다.
퀄컴 AI 온프레미스 어플라이언스 솔루션은 가속기로 구성된 퀄컴 클라우드 AI 제품군으로 구동된다. 데이터센터 추론 서버의 접근성과 성능을 온프레미스 AI 솔루션의 전력 효율성, 무게 및 폼팩터, 데이터 보호, 개인화 및 제어 기능과 결합한 솔루션이다.
퀄컴 클라우드 AI 인퍼런스 스위트는 기업 고객과 개발자가 생성형 AI 애플리케이션을 개발하거나 퀄컴 AI 온프레미스 어플라이언스 솔루션 또는 퀄컴 클라우드 AI 가속기 기반 제품으로 이식할 수 있는 포괄적인 도구와 라이브러리를 제공한다. 또 사용자 관리·행정, 채팅, 이미지 생성, 오디오 및 영상 생성 AI 기능, 오픈AI API 호환성, RAG 등 다양한 API를 제공한다. 널리 사용되는 생성형 AI 모델 및 프레임워크와의 통합과 쿠버네티스 또는 베어 컨테이너를 통한 배포를 지원한다.
허니웰(Honeywell) 은 AI 온프레미스 솔루션과 AI 인퍼런스 스위트를 사용해 AI 워크플로우 자동화 사용 사례의 설계, 평가 및 구현에 대해 퀄컴과 협력하고 있다.
에티나는 AI 온프레미스 어플라이언스 솔루션을 기반 엔터프라이즈 구현을 위한 온프레미스 장비를 제공하는 최초의 OEM 중 하나다. 벽에 전원을 연결하는 온프레미스 AI 어플라이언스는 자연어 처리를 위한 SLM과 최대 70 파라미터의 정밀 조정된 LLM 및 LMM을 혼합해 실시간 응답을 지원하는 엔터프라이즈 AI 에이전트와 지능형 인덱스 검색 및 콘텐츠 생성과 같은 AI 워크플로우 자동화 기능을 실행한다.
IBM은 온프레미스 AI 어플라이언스뿐만 아니라 클라우드에서도 배포할 수 있는 왓슨(watsonx) 데이터 및 AI 플랫폼과 그래니티(Granite) AI 모델군을 제공하기 위해 협력 중이다. 이를 통해 자동차, 제조, 소매 및 통신 분야의 다양한 엔터프라이즈 및 산업 사용 사례를 지원한다.
라스베이거스=변인호 기자
jubar@chosunbiz.com
댓글0