이스트소프트는 AI 휴먼 영상 제작 및 오토 더빙 서비스 '페르소닷에이아이'에 다화자 보이스 클로닝과 스크립트 편집 기능을 추가했다고 17일 밝혔다. 

페르소닷에이아이는 이번 업데이트에서 오토 더빙 서비스인 AI 비디오 트랜슬레이터 기술력을 한층 강화했다. 영상 속 여러 인물의 음성을 한 번에 더빙하고, 이와 함께 K-콘텐츠의 특성을 살릴 수 있도록 관련 기술을 고도화했다. 

그중 핵심은 다화자 보이스 클로닝이다. 영상 속 화자의 음성을 인식하고 복제하는 기능을 기존의 1명에서 10명까지 확대했다. 이에 따라 복수의 인물이 등장하는 인터뷰나 토론 영상 번역에서도 자연스럽고 일관된 결과물을 얻을 수 있게 됐다. 

아울러 한국어 대화의 특성을 반영한 AI 학습 모델도 적용해 한국어 음성 인식 정확도를 끌어올렸다. 립싱크 기술도 대폭 개선했다. 입술 움직임 패턴 및 주변 상황을 분석해 더욱 정밀한 결과물을 생성해 내는 독자적인 AI 모델을 개발했다.  

정의정 이스트소프트 AI 엔진 플랫폼실장은 "2인 이상의 대화에서도 화자를 정확히 구분하고 각자의 음색과 어투를 자연스럽게 유지하는 것이 이번 기술 고도화에 핵심"이라며 "헤이젠, 신세시아 등 글로벌 경쟁사와 차별화된 기술적 강점을 갖추게 됐다"고 설명했다. 

오토 더빙 콘텐츠의 완성도를 높일 수 있는 스크립트 편집 기능도 추가했다. AI 비디오 트랜슬레이터에서 생성한 번역 스크립트를 사용자가 수정할 수 있는 환경을 제공해 문화적 맥락이나 전문 용어 등 AI가 놓칠 수 있는 부분을 보완할 수 있도록 했다. 해당 기능은 모바일 환경도 지원한다.

또 이스트소프트는 기술 고도화에 따라 AI 비디오 트랜슬레이터 서비스 이용 비용도 조정했다. 다른 글로벌 서비스보다 경쟁력 있는 가격으로 서비스를 제공해 트레져헌터, 순이엔티, 와프, 셀레이블 등 대형 다중 채널 네트워크(MCN) 사업자를 고객으로 영입했다고 회사 측은 설명했다. 

이스트소프트는 페르소닷에이아이의 팀 단위 협업을 더욱 효율적으로 지원하기 위해 ▲팀 단위 협업을 위한 팀 플랜 ▲멤버 초대 및 권환 관리 시스템 ▲크레딧 공유 메커니즘 ▲협업 워크플로우 등 팀 요금제를 출시하고 다양한 정책과 기능을 추가했다. 

김생근 이스트소프트 PERSO SaaS 센터장은 "이번 업데이트는 한국 크리에이터들의 글로벌 진출을 더욱 가속할 것"이라며 "현재 3000만 구독자를 보유한 50개 이상 파트너 채널과 협력 중이며 올해 상반기 중 이를 500개 채널, 총 1억 구독자 규모로 확대할 계획"이라고 했다.

임경호 기자 lim@techm.kr