한국 델 테크놀로지스(대표 김경진)는 오늘 AI에 최적화된 개방형의 풀스택 데이터 플랫폼 ‘델 데이터 레이크하우스(Dell Data Lakehouse)’에 쿼리 성능 가속화를 위한 ‘워프 스피드(Warp Speed)’ 기능을 탑재해 제공한다고 밝혔다.
델은 올해 3월 데이터 소스에 관계없이 분산된 데이터에 대규모의 동시접속이 가능한 고성능의 턴키 솔루션인 ‘델 데이터 레이크하우스’를 공개한 바 있다. 강력한 ‘스타버스트(Starburst)’ 쿼리 엔진을 채용한 이 플랫폼은 델 S3 호환 스토리지를 기반으로 설계되어 아이스버그(Iceberg)와 같은 개방형 형식의 데이터를 저장하고 쿼리할 수 있는 고성능, 고가용성 스토리지 계층을 제공한다.
빠르게 변화하는 오늘날 많은 조직들이 제한적인 예산 내에서 분석 및 AI를 위한 가속화를 실시해야 하는 과제에 직면해 있다. 데이터 레이크하우스 기술은 적은 비용으로 성능 이점을 제공하지만, 데이터 엔지니어링 및 IT 팀에서는 어떤 데이터를 최적화하고 캐싱(caching)해야 할지, 혹은 어떤 데이터를 데이터 레이크 내에 두어야 할지 결정하는데 어려움을 겪을 수 있다.
델 테크놀로지스는 이번에 ‘델 데이터 레이크하우스’에 ‘워프 스피드(Warp Speed)’를 추가했다. ‘워프 스피드’를 이용하면 쿼리 패턴을 자율적으로 학습하고 자주 액세스하는 데이터를 식별하여 최적의 인덱스와 캐시를 생성하는 동시에, 빈번하게 액세스하지 않는 데이터는 제자리에 유지시킬 수 있다.
‘워프 스피드’는 쿼리 성능 가속화와 비용 절감이라는 상충된 두가지 요구를 모두 만족시킨다. 사용자는 쿼리를 변경할 필요 없이 동일한 클러스터에서 데이터 레이크 쿼리를 3배에서 5배가량 더 빠르게 실행하는 한편 클러스터 크기를 최대 40%까지 줄일 수 있다.1) 즉 대규모 클러스터에서 더 많은 쿼리를 실행하거나, 더 작은 클러스터에서 동일한 양의 쿼리를 실행하는 것이 가능하다.
예를 들어 애널리틱스 담당자가 날짜별, 고객별로 데이터의 카피를 생성하고 재파티션을 요청했을 때 데이터 엔지니어는 ‘워프 스피드’를 통해 시간과 비용을 낭비하지 않고 빠른 응답 시간을 보장할 수 있다. 또는 데이터 규모의 성장 속도가 예산 범위를 넘어설 때 클러스터 확장을 위해 계속해서 투자하는 대신 쿼리 속도를 높여 응답 시간에 대한 SLA를 충족시킬 수 있다.
델 데이터 레이크하우스 사용 고객은 현재 새로운 워프 스피드 기능을 사용할 수 있으며, ‘파워스케일(PowerScale)’ 및 ‘델 ECS’와 같이 S3와 호환되는 델 스토리지를 데이터 레이크로 사용하는 고객들에게도 지원된다. 소프트웨어 라이선스 변경 없이 내장형으로 제공되며, 델에서 테스트와 벤치마크를 마친 SSD를 포함해 컴퓨팅 노드 구성을 수정함으로써 워프 스피드 인덱스 및 캐시를 지원한다. 이 외에도 델 데이터 레이크하우스는 새로운 업데이트에서 다음과 같은 개선 사항을 포함했다.
댓글0