NC AI, '몬스터 사운드' 생성 및 변환 AI 선보인다

엔씨소프트의 AI 자회사 NC AI는 글로벌 음성·언어 기술 학회인 인터스피치(INTERSPEECH) 2025에서 몬스터 사운드 생성·변환 AI 기술을 공개했다고 17일 밝혔다. 

NC AI는 이번 학회에서 몬스터 사운드에 특화된 고품질 음색 변환 모델의 구조와 학습 기법을 상세히 다룬 논문과, 이를 웹 기반 실시간 변환 시스템으로 구현한 데모 구축 사례 논문 등 총 2편을 발표한다. 현장에서 방문자가 마이크를 통해 말을 하거나 사운드를 업로드하면 즉각 특정 몬스터의 울음이나 포효 같은 음색으로 변환되는 체험형 데모가 제공된다. 온라인 데모 페이지도 공개해 현장에 오지 못한 이들도 이 첨단 기술을 체험할 수 있다.

NC AI 측은 이번에 선보이는 기술이 대규모 MMORPG에서 몬스터 사운드 제작 방식을 바꾸는 도약이라고 평가했다. CD 수준(44.1kHz)으로 음성을 분석, 캐릭터 고유의 거친 숨소리나 날카로운 포효까지 놓치지 않고 담아낸 뒤, 원래 음성 내용은 유지하면서도 원하는 스타일만 정확하게 덧입힌다는 것이 회사 측의 설명이다.

또 목소리의 '무슨 말을 하는지'와 '어떤 느낌으로 말하는지'를 동시에 인식해 대사뿐 아니라 웃음, 포효, 숨소리 같은 비언어적 요소까지 자연스럽게 변환한다. 금속성 울림이나 두꺼운 숨소리 같은 질감을 주파수별로 정밀 복원하고 0.005초마다 강약 변화를 반영, 기계적인 소리가 아닌 실제 생물이 내는 것 같은 살아 있는 울림을 구현한다.

이는 기존 사운드 디자이너들이 각 몬스터와 상황별 변주음을 일일이 수작업으로 제작하기 위해 필요했던 시간과 비용을 줄여줄 수 있을 것으로 기대된다. 인간 음성의 폭넓은 주파수 스펙트럼을 그대로 확장, 몬스터 특유의 다이내믹하고 복잡한 음색과 질감 변화를 정교하게 재현할 수 있게 되는 셈이다.

이와 함께 공격성, 위압감, 유쾌함 등 캐릭터 성격을 반영하는 스타일 속성까지 세밀하게 조절할 수 있다. 동일 몬스터라도 전투나 감정 상태에 따라 완전히 새로운 음향을 자동 생성할 수 있다.

이 음색 변환 기술은 NC AI가 개발한 생성형 사운드 이펙트(SFX) 저작 툴인 '사운드 팔레트(Sound Palette)' 핵심 엔진으로도 활용된다. 사운드 팔레트는 크리에이터가 원하는 분위기와 음색을 입력하면 즉시 수백가지 변주 사운드를 생성해낸다. 

조남현 NC AI 오디오 AI 팀장은 "NC AI는 국내 멀티모달 AI 분야를 대표하는 연구 전문 조직으로서, 방대한 게임 오디오 데이터와 첨단 AI 모델링 기술, 뛰어난 사운드 디자인 전문성을 융합해 이번 몬스터 사운드 변환 기술을 완성했다"며 "앞으로도 AI를 활용해 창작자의 상상력을 현실로 구현하고, 디지털 콘텐츠 산업 전반에 혁신적인 오디오 경험을 제공하는 데 기여할 것"이라고 강조했다.

한편 인터스피치는 국제 음성커뮤니케이션협회(ISCA)가 주최하는 세계 최대 규모 음성 및 언어 기술 학회다. 매년 전세계 음성 연구자와 산업 관계자가 모여 최신 연구 결과와 혁신 기술을 공유한다.

허준 기자 joon@techm.kr