엔씨소프트가 28일 출시한 K팝 팬덤 플랫폼 '유니버스' 뒤에는 최첨단 정보기술(IT)이 숨어있다. 엔씨소프트는 아티스트가 등장하는 콘텐츠의 품질을 향상시키고, 팬들에게 색다른 경험과 즐거움을 선사하기 위해 인공지능(AI) 음성 합성, 캐릭터 스캔, 모션캡처 등 최고의 기술들을 집약했다.

엔씨소프트는 이런 기술들을 활용해 다양한 콘텐츠를 계속해서 개발하고, 유니버스를 통해 선보일 예정이다.

'최애'와의 대화, AI 음성 합성 기술로 구현

이용자는 유니버스를 통해 아티스트의 생생한 목소리를 들을 수 있다. 특히 '프라이빗' 콘텐츠에서는 원하는 시간과 상황에 맞춰 아티스트의 전화를 받는 것도 가능하다. 엔씨소프트의 AI 음성 합성 기술로 만든 아티스트의 AI 보이스 덕분이다.

엔씨소프트 AI센터 산하 스피치 AI 랩에서는 2016년부터 음성인식 및 음성합성 기술에 대한 연구개발(R&D)을 꾸준히 진행해 왔다. 최근 전세계 AI 기술의 주류를 이루는 종단간 문자음성합성(End-to-End TTS) 기술 연구에 일찍부터 매진해 사내 AI 방송, 게임 튜토리얼 영상 제작 등 여러 응용 분야에 적용을 시도하며 기술을 발전시켜왔다.

엔씨소프트는 스피치 AI 랩 산하 음성합성팀은 자체 개발한 개인화 음성 합성 엔진과 뉴럴 보코더 기술 'VocGAN'으로 구현한 아티스트의 목소리를 유니버스에 담았다. 'VocGAN'은 기존 뉴럴 보코더의 성능을 뛰어넘어, 실제 음성과 구분하기 어려운 수준의 고품질 음성을 빠르게 생성할 수 있다.

엔씨소프트는 최소 20분에서 1시간 분량의 개인별 음성 데이터만으로도 자연스러운 음성을 생성할 수 있는 개인화 음성 합성 기술을 보유하고 있다. 특히 딥러닝 음성 합성 기술은 AI 시스템을 통해 아티스트의 합성음을 생성하는 중 발생 가능한 오류를 스스로 점검하고, 이를 자동 교정해 더 좋은 합성음을 생성한다.

이 기술을 통해 만들어진 합성음은 각 아티스트들이 가진 목소리 톤, 발화 스타일 등의 특징을 담고 있어 아티스트가 실제로 말하는 것과 같은 착각을 불러올 만큼 유사하다.

엔씨소프트는 지난해 10월 음성 인식 및 합성 분야에서 가장 권위있는 국제학회 인터스피치2020에서 'VocGAN'을 발표하기도 했다.

3D 스캔 스튜디오가 아티스트 뮤직비디오 만든다

유니버스의 '스튜디오'는 아티스트의 뮤직 비디오 등 인터랙티브 콘텐츠를 제작할 수 있는 공간이다. '스튜디오'에서는 아티스트의 외모와 움직임을 꼭 닮은 캐릭터를 만나볼 수 있다.

이 캐릭터에도 엔씨소프트의 첨단기술이 숨어있다. 엔씨소프트는 아티스트의 얼굴 특징을 더 세밀하게 표현하기 위해 캐릭터 스캔 기술을 활용했다. 캐릭터 제작을 위해 참여하는 모든 아티스트들은 엔씨소프트 사내 3D 스캔 스튜디오 전신 부스에서 촬영을 진행했다. 

전신 부스는 360도 원형으로 146대의 DSLR카메라가 설치돼 있다. 동시에 146장의 사진 촬영이 가능해 외형의 미묘한 특징까지 한번에 포착할 수 있다. 이렇게 촬영한 아티스트의 사진은 2D 이미지를 3D로 변환하는 기술인 'Photogrammetry' 방식 스캔 기술을 거쳐 정교한 3D모델로 재탄생하게 된다.

센서를 몸에 부착한 사람의 동작과 표정을 캐릭터의 움직임과 표정으로 표현해주는 모션캡처 기술도 '유니버스'를 한층 빛나게 한다.

엔씨소프트는 지난 2016년 모션캡처 스튜디오를 구축했다. 모션캡처 스튜디오 촬영 공간은 15x10x4m 규모를 자랑한다. 최고급 1600만화소 모션캡처용 카메라 100대 시스템과 관련 전문 인력 등 국내 최고의 R&D 환경을 갖추고 있다.

최대 12인의 연기자를 동시에 캡처해 아티스트의 안무와 캐릭터의 모션을 접목했다. 또 실제 아티스트들의 동작뿐 아니라 손가락의 세밀한 움직임까지 캡처해 생동감있게 캐릭터에 담았다. 최근 화제가 된 바 있는 '너를 만났다 시즌2' 역시 엔씨소프트의 모션캡처 스튜디오에서 가상현실(VR)로 추억 속 인물을 되살리기도 했다. 

허준 기자 joon@techm.kr