스노우플레이크, 엔비디아 '쿠다-X' 라이브러리 통합...'ML 모델 개발 효율화'

스노우플레이크는 엔비디아와 협력해 스노우플레이크 플랫폼에서 머신러닝(ML) 워크플로우를 직접 가속화할 수 있게 한다고 19일 밝혔다.

이는 스노우플레이크 ML에 오픈소스 라이브러리인 엔비디아의 '쿠다-X'를 사전 탑재한 것으로 스노우플레이크 고객들은 GPU 가속 알고리즘을 ML 워크플로우에 즉시 활용할 수 있게 된다. 전체 ML 모델 개발 라이프사이클이 단순해지고 효율화되면서 데이터 사이언티스트들은 코드 수정을 하지 않아도 주요 파이썬 라이브러리 기반 모델의 개발 속도를 높일 수 있게 된다.

스노우플레이크는 기업이 보유한 데이터세트의 규모가 빠르게 확장하며 생산성 유지 및 효율적인 비용 관리를 위한 GPU 가속의 중요성이 커지고 있다고 진단했다. 엔비디아 벤치마크에 따르면 엔비디아 A10 GPU는 랜덤 포레스트에서 약 5배, HDBSCAN에서는 최대 200배까지 CPU 대비 속도 향상을 보였다. 이번 통합에 따라 엔비디아 쿠다-X 데이터 사이언스 생태계에서 제공되는 '엔비디아 cuML', '엔비디아 cuDF 라이브러리'를 스노우플레이크 ML에서 활용할 수 있다. 라이브러리의 개발 사이클을 별도의 코드 변경 없이 단축할 수 있다.

엔비디아 고객들도 쿠다-X 데이터 사이언스 생태계에서 스노우플레이크 컨테이너 런타임을 직접 활용할 수 있다. 스노우플레이크 컨테이너 런타임은 대규모 ML 개발을 위한 사전 구축 환경으로 고난도 연산 작업을 효율적으로 처리할 수 있게 한다. 기업이 수백만건의 제품 리뷰와 같은 대규모 테이블 데이터를 처리하고 클러스터링하는 시간을 CPU 기준 시간 단위에서 GPU 기반 분 단위로 단축하는 식이다. 컴퓨터 유전체학 연구에서도 GPU 수준을 높여 방대한 고차원 시퀀스 분석 속도를 높이고 분류 작업을 신속하게 해 인사이트 도출에 집중할 수 있게 한다.

스노우플레이크는 전통적인 ML 모델 개발부터 엔터프라이즈급 LLM 배포에 이르기까지 고객이 고도화된 GPU 가속 도구를 활용할 수 있도록 협력 관계를 넓혀나갈 계획이다.

크리스티안 클레이너만 스노우플레이크 제품 담당 수석부사장은 "스노우플레이크는 기업이 쉽고 안전한 환경에서 데이터와 AI를 최대 성능으로 활용하는 것을 목표로 한다"며 "쿠다-X 라이브러리를 스노우플레이크 플랫폼에 통합함으로 데이터 사이언티스트가 인프라 관리에 쓰는 시간을 줄이고 비즈니스 인사이트 도출과 성과 창출에 집중할 수 있게 될 것"이라고 말했다.

팻 리 엔비디아 엔터프라이즈 전략 파트너십 부문 부사장은 "엔비디아 cuDF와 cuML 라이브러리를 스노우플레이크 ML 플랫폼에 직접 통합해 고객은 기존 파이썬 워크플로우 그대로 가속 컴퓨팅을 활용할 수 있게 됐다"며 "이를 통해 기업들은 더욱 쉽게 AI 개발에 집중할 수 있어 개발 속도가 획기적으로 향상될 것"이라고 전했다.

임경호 기자 lim@techm.kr