'디지털'이 전세계를 관통하는 키워드로 자리잡은 이후 데이터는 이른바 '4차 산업혁명시대의 원유'라고 불렸다. 모든 혁신의 시작은 결국 데이터로부터 출발한다는 의미다. 

아마존웹서비스(AWS)는 그 누구보다 먼저 이에 대한 중요성을 깨달은 기업이다. 지난 17년간 AWS는 다양한 솔루션과 서비스를 통해 많은 데이터를 축적해왔다. 최근 출시된 솔루션들 또한 데이터 통합부터 거버넌스, 활용에 초점이 맞춰져있다. 쉽게 말해 '엔드-투-엔드(E2E) 데이터 전략'을 수립해야만 디지털전환(DT) 성공을 담보할 수 있다는 의미다.

3일 서울 강남구 삼성동 코엑스에서 열린 'AWS 서울 서밋'에서 난디니 라마니 AWS 모니터링 및 관측성 담당 부사장은 "데이터는 현대 발명의 기원"이라며 "새로운 아이디어를 만들기 위해서는 E2E 데이터 전략을 수립해야 한다"고 강조했다.

난디니 부사장은 최근 글로벌 경제 상황을 '위기'라고 정의했다. 어려운 시기에 직면해 있고, 모두가 전례없는 도전과제와 압력을 체감하고 있을 정도로 작금의 세태가 좋지 않다는 것이다. 다만 그는 위기 속에 기회가 존재한다고 분석했다.

그는 "전세계적 경제환경을 보면 모두가 어려운 시기를 직면하고 있는 것이 사실"이라면서도 "손자병법에 따르면 이러한 유례없는 위기 속에는 새로운 기회가 있다"고 역설했다. 새로운 아이디어를 창출하고 이를 실현해 혁신을 도모해야 한다는 의미다.

이를 위한 필수 역량으로는 데이터 활용이 꼽혔다. 난디니 부사장은 "E2E 데이터 전략을 수립해 각 기업에 맞는 구조를 갖춤으로써 새로운 아이디어들이 창출·번창하도록 해야 한다"며 "AWS는 지난 7년간 280조에 달하는 데이터를 축적해왔고, 가장 복잡한 데이터 문제를 해결 중"이라고 말했다.

데이터 전략 수립을 위한 핵심 요소로는 ▲포괄성 ▲통합성 ▲거버넌스를 제시했다. 먼저 포괄성의 경우 데이터 활용 과정 전반을 아우르는 종합적 툴과 서비스가 존재해야 한다는 의미다. 다양한 데이터에 대한 활용 뿐만 아니라 보안, 거버넌스 통제, 확장성, 비용 효율화 등 광범위한 영역을 커버해야 한다는 것이다.

모든 데이터를 한 곳에 모아 언제 어디서든 접근할 수 있는 환경을 구축하는 '통합성'도 강조됐다. 기업이 데이터를 기반으로 비즈니스 인사트를 도출해내려면 '고립(사일로)' 없는 환경이 필수적이라는 의미다. 

이를 실현하기 위한 핵심 기술로 그는 '제로 ETL'을 지목했다. ETL은 추출(Extract), 변환(Transform), 로드(Load)의 약자로 데이터 관리에 필요한 일련의 과정을 의미한다. 즉, 특정 시스템에서 데이터를 뽑아내 원하는 형태로 다른 시스템에 옮기는 작업인 것이다. 대부분의 기업들은 ETL 툴을 활용해 이를 처리 중이다. 그러나 이는 실시간으로 변화하는 데이터를 반영하지 못할 뿐만 아니라 분석에 소요되는 시간을 지연시킨다는 치명적 단점이 존재한다.

앞서 AWS는 미국 라스베가스에서 열린 'AWS 리인벤트' 행사를 통해 해결책을 제시한 바 있다. 바로 '오로라 제로 ETL(Zero ETL) 인터그레이션 위드 아마존 레드 시프트(Aurora zero-ETL intergration with Amazon Redshift)'다. 이는 '아마존 오로라' 데이터베이스(DB)에서 레드시프트로 데이터를 옮길 시 파이프라인을 연결해 자연스러운 데이터 이동을 지원하는 점이 골자다.

난디니 부사장은 "통합을 통해 데이터를 쉽게 이동시키고, ETL을 아예 없애는 여정을 이미 시작했다"며 "AWS의 새로운 투자는 제로 ETL로 신속하고 쉽게 모든 데이터를 연동할 수 있는 것"이라고 설명했다.

마지막으로 강조된 거버넌스 전략은 분류, 검색, 공유, 권한 부여, 관리 등 기업이 필요한 모든 기능을 통합 제공해 데이터 중심 의사결정을 돕는 '아마존 데이터존'이 핵심이다. 웹에서 데이터 분류 체계를 정의하고, 거버넌스 정책을 구성할 수 있다. 또 머신러닝(ML) 기능을 통해 데이터 출처와 유형 등을 수집 제안한다.

그는 "기업 내에서 데이터 분류, 검색, 공유, 관리가 가능한 도구를 아마존 데이터존이 제공한다"며 "데이터에 대해 누가 권리를 갖고 있는지, 어떤 역할을 할 수 있는 빠르게 확인하도록 지원해 거버넌스 구축에 큰 힘이 될 것"이라고 말했다.

이어 "종단간 데이터 전략 구축을 통해 데이터를 이동, 저장, 실행하고 나아가 거버넌스를 구축하는 그림을 그리고 있다"며 "이를 통해 혁신적 클라우드 전략을 시도할 것"이라고 부연했다.

김가은 기자 7rsilver@techm.kr