글로벌 클라우드 데이터 플랫폼 기업들이 디지털 전환이 가속화되고 있는 한국 시장의 문을 두드리고 있다. 지난해 스노우플레이크에 이어 올해 데이터브릭스 등 전문기업들이 한국 시장에 진출한 가운데, 구글 클라우드도 데이터 플랫폼을 차별점으로 내세우며 경쟁에 가세했다.

한국시장 두드리는 데이터 클라우드 전문 기업

27일 업계에 따르면 최근 기업의 데이터 환경이 하이브리드·멀티 클라우드 기반으로 전환되고 있고, 이에 따른 벤더 종속 탈피와 데이터 사일로(고립) 해소를 위해 클라우드 데이터 플랫폼을 찾는 기업들이 늘고 있다.

이에 지난해 11월 데이터 클라우드 시장의 강자로 꼽히는 스노우플레이크가 국내 시장에 상륙했다. 한컴MDS, SK㈜ C&C 등과 제휴를 맺고 국내에 솔루션을 공급하던 스노우플레이크는 직접 국내 지사를 세우고 클라우데라코리아 지사장을 지낸 강형준씨를 지사장으로 선임했다. 

스노우플레이크는 기업이 보유한 모든 데이터를 하나의 플랫폼에 모아 활용할 수 있도록 하는 '데이터 클라우드'를 제공한다. 스노우플레이크 플랫폼은 ▲데이터 엔지니어링 ▲데이터 웨어하우징 ▲데이터 레이크 ▲데이터 사이언스 ▲데이터 쉐어링 ▲데이터 애플리케이션 개발·운영 등 다양한 워크로드를 지원하는 통합 아키텍처다. 지능형 인프라스트럭처로 설계돼 자동화 기능을 구현했으며, 이를 통해 데이터 센터와 클라우드간 복잡한 데이터 처리시 손실을 최소화한다. 여기에 고유 기능인 '스노우 그리드'를 통해 전세계 리전과 클라우드를 연결하며 데이터 공유 안정성과 통제성을 확보한 점이 특징이다.

스노우플레이크 관계자는 "현재 글로벌 사업을 영위하는 국내 대기업 및 이커머스, 디지털 뱅킹 등 클라우드를 쉽게 받아들일 수 있는 디지털 전문기업을 대상으로 영업을 진행하고 있다"고 말했다.

AWS, 알파벳, 마이크로소프트 등 글로벌 빅테크로부터 투자를 이끌어내며 약 47조원의 몸값을 인정받은 데이터브릭스도 이달 한국지사 설립을 공식화하며 시장 진출을 선언했다.

데이터브릭스는 데이터 웨어하우스와 데이터레이크의 장점을 통합한 '데이터 레이크하우스 플랫폼'을 제공한다. 이 플랫폼 또한 ▲데이터 웨어하우징 ▲비즈니스 인텔리전스(BI) ▲데이터 쉐어링 ▲데이터 사이언스 ▲데이터엔지니어링 ▲AI·ML 워크로드 등을 망라하는 통합 아키텍처로, 모든 데이터를 저장·관리하고 활용할 수 있다는 점이 특징이다.

또 AWS, 마이크로소프트 애저(Azure), 구글 클라우드플랫폼(GCP) 등 3대 퍼블릭 클라우드와 연계해 벤더 종속 문제를 해결하고, 오픈소스를 활용해 활용성을 높였다. 특히 데이터 웨어하우스, 데이터 레이크 플랫폼별로 상이했던 보안과 거버넌스를 하나의 체계로 관리한다는 점이 강점이다.

장경운 데이터브릭스 솔루션즈 아키텍트 팀장은 "많은 기업들이 BI 워크로드와 AI·ML 작업을 위해 데이터 웨어하우스와 데이터레이크 시스템을 각각 구축해왔으나, 이는 관리 복잡도와 비용이 증가하는 것은 물론, 데이터 조직 또한 둘로 나뉘어 가치 창출이 반감되는 문제가 있다"며 "데이터브릭스는 이러한 양분화된 플랫폼을 데이터 레이크하우스로 통합 제공하고 있다"고 설명했다.

데이터 차별성 강조한 구글 클라우드

이날 구글 클라우드는 데이터 웨어하우스와 데이터레이크를 통합한 '빅레이크'를 비롯한 데이터 관련 기술을 대거 발표했다. 구글 클라우드는 단일 플랫폼에서 데이터 저장 및 분석·관리를 지원하는 점은 동일하지만 데이터 분석엔진 '빅쿼리'의 고성능 스토리지 기술을 제공함과 동시에 연동 호환성을 강화한 점에서 스노우플레이크나 데이터브릭스와 차별성을 지닌다고 강조했다.

황경태 구글 클라우드 커스터머 엔지니어링 매니저는 "타사 데이터 분석 솔루션은 분석을 위해 데이터 이동이 필요하지만 구글 클라우드는 통합 환경을 제공한다"며 "데이터 중복저장, 불필요한 컴퓨팅 리소스 활용없이 빠르게 실현이 가능할 뿐만 아니라 저장된 데이터를 기반으로 빅레이크 내에서 바로 AI·ML 모델을 구축·실험·적용할 수 있는 환경을 제공하고 있다"고 설명했다.

빅레이크는 기존 스토리지 형식이나 시스템에 상관없이 기업이 보유한 모든 데이터를 단일 플랫폼에 저장하고 이를 관리·분석할 수 있도록 했다. 이를 통해 기업은 데이터 관리 비용을 절감하고 업무 효율성을 높일 수 있게 된다고 회사 측은 설명했다. 또 개방형 아키텍처를 구현해 구글 클라우드 내 모든 서비스와 파케이(Parquet) 등 오픈파일 형식을 지원한다.

또 구글 스토리지 기능을 다른 클라우드 벤더나 분석 엔진에서도 활용할 수 있으며, 타사 데이터 웨어하우스 시스템과 연동으로 협업도 가능하다. 향후에는 빅쿼리, 스파크, 데이터 플로우 등 모든 분석엔진을 빅레이크와 연동할 예정이다.

김정훈 구글 클라우드 데이터 애널리틱스 스페셜리스트는 "빅레이크는 구글 클라우드 데이터 전략의 핵심이며 향후 모든 툴이 빅레이크와 연동될 것"이라며 "데이터브릭스, 스노우플레이크 등 타사 솔루션과 가장 큰 차이점은 기본적 기능에 구글 스토리지 기술까지 제공한다는 점"이라고 강조했다.

김가은 기자 7rsilver@techm.kr