"데이터 역량이 미래에 살아남기만 하는 기업과 번영을 구가하는 기업의 가장 큰 차이가 될 것이다. 데이터 엔드투엔드 전략을 기반으로 머신러닝(ML)과 인공지능(AI)를 구현하는 것이 미래를 결정짓는 핵심이다." 

스와미 시바수브라마니안 AWS ML 부사장은 2일(현지시간) 미국 라스베이거스에서 열린 'AWS 리인벤트(re:Invent) 2021' 행사에서 이같이 말했다.

현재 AWS가 보유하고 있는 모든 서비스들의 공통점은 '데이터'를 기반으로 한다는 점이다. AWS는 그간 전세계 1위 클라우드 서비스 기업으로 자리하며 다양한 서비스를 통해 방대한 데이터를 축적해왔다. 특히 AWS는 사일로(고립) 상태에 있는 데이터를 클라우드를 통해 한 곳에 모아 새로운 가치를 창출해야 한다고 강조해왔다.

스와미 부사장은 16년전 입사한 후 엔드투엔드 데이터 여정에 경력을 쏟은 인물이다. 개발자로 일할 당시 'AWS 다이나모 데이터베이스(DB)'를 설계하기도 했다. 현재 AI·ML 부문을 맡기 전까지 DB쪽을 전담해왔다.

이날 스와미 부사장은 디지털 전환의 핵심인 AI·ML 또한 데이터를 근간으로 해야 한다고 강조했다. DB, 데이터레이크, 데이터 웨어하우스, 데이터 분석 등 모든 부분이 유기적으로 돌아가야 사용자가 원하는 수준의 AI·ML 기능이 구현된다는 것이다.

그는 "더 나은 통찰력과 가치창출을 위해서는 사일로 상태 데이터를 클라우드로 옮기고 AI와 ML을 적용해야 한다"며 "현대화된 엔드투엔드 전략을 바탕으로 미래의 다양한 데이터와 사용사례를 충족할 수 있어야 하고 저장, 접근, 분석, 시각화, 예측에 이르는 하나의 파이프라인을 구축해야 한다"고 말했다.

본격적 '머신러닝 민주화' 나선다

이날 AWS는 전날 아담 셀립스키 AWS 최고경영자(CEO)가 공개한 '아마존 세이지메이커 캔버스'의 구체적 성능을 소개하고 5가지 추가 기능을 발표했다. 

회사 측은 "이번 추가 기능들은 ML을 위한 데이터 준비 및 수집, 모델 학습 속도 가속화, 추론을 위한 컴퓨팅 유형과 규모 최적화를 통해 사용자가 쉽게 ML을 활용할 수 있도록 확장 지원하는데 방점을 두고 있다"고 설명했다.

AWS는 그간 '머신러닝 민주화'를 주창하며 머신러닝 서비스인 아마존 세이지메이커의 진입장벽을 지속적으로 낮춰왔다. 

이번 아마존 세이지메이커 캔버스는 노코드 ML 솔루션으로 코딩이나 ML 경험이 없는 일반 현업자들도 자동화된 ML을 활용해 코딩없이 ML 모델을 구축하고 학습시킬 수 있다. 특히 ▲아마존 레드시프트 ▲아마존 S3 ▲스노우플레이크 ▲온프레미스 데이터 저장소 ▲컴퓨터 내 파일 등을 데이터 저장소로 지정하면 사용자가 데이터를 시각적으로 분석할 수 있는 사용자 인터페이스(UI)를 제공한다. '드래그앤드롭' 방식으로 데이터셋을 결합하고 모델을 교육할 수 있으며 새로운 데이터가 더해지면 자동으로 결과값을 업데이트 한다.

ML 모델 학습에 필수적인 데이터 레이블링을 완전 관리형으로 제공하는 '아마존 세이지메이커 그라운드 트루스 플러스' 서비스도 함께 공개됐다. 그라운드 트루스 플러스는 고도화된 데이터 레이블링을 위한 데이터보안, 개인 정보 보호 및 규정 준수 요구 사항을 충족할 수 있는 자격을 갖춘 전문 인력을 아웃소싱 형태로 제공한다. 또 ML 모델을 기반으로 하는 사전 레이블링, 인간 레이블링에 대한 기계 검증, 보조 레이블링 기능을 포함하는 다단계 레이블링 워크플로우를 통해 시간과 비용을 절감하는 점이 특징이다. 뿐만 아니라 데이터 레이블링 작업에 대한 시각화 대시보드를 지원해 ML 모델의 구축, 학습 및 배포를 지원한다.

이외에도 ▲범용 노트북 내에서 데이터 엔지니어링, 분석 및 기계 학습 워크플로우 액세스를 지원하는 '아마존 세이지메이커 스튜디오' ▲자동화된 코드 컴파일을 통해 딥러닝 모델 학습을 가속화하는 '아마존 세이지메이커 트레이닝 컴파일러' ▲ML 모델 구동에 적합한 컴퓨팅 인스턴스 및 구성을 자동 선택하는 '아마존 세이지메이커 추론 추천기' ▲서버없이 추론 요청 수에 따라 컴퓨팅 용량을 자동으로 확장 및 종료해 비용을 절감하는 '아마존 세이지메이커 서버리스 추론' 등도 함께 공개됐다.

브라틴 사하 AWS 머신러닝 담당 부사장은 "새롭게 공개된 아마존 세이지메이커 도구를 활용해 새로운 이용자 그룹을 포섭하는 한편 기존 고객을 위한 추가 기능을 제공하고 있다"며 "이를 통해 기업 고객이 ML 여정 전반에 걸쳐 데이터를 보다 간편하게 통찰력으로 전환하고, 구축 시간을 단축하고, 성능을 개선하고, 비용을 절감할 수 있도록 지원하겠다”라고 말했다. 

김가은 기자 7rsilver@techm.kr