"한 세련된 여성이 네온사인과 간판으로 가득한 도쿄 거리를 걷고 있다. 그녀는 검은색 가죽 재킷, 긴 빨간색 드레스, 검은색 부츠를 신고 검은색 지갑을 들고 있으며, 선글라스를 쓰고 빨간 립스틱을 바르고 있다. 그녀는 자신감 있고 자연스럽게 걷는다. 길은 축축하고 반사된 화려한 조명이 거울 효과를 만들어 내며, 많은 보행자가 걸어다니고 있다."
오픈AI가 이처럼 간단한 명령어를 입력하면 60초 분량의 비디오를 만들어주는 새로운 생성형 AI 모델 '소라(Sora)'를 공개했다. 실제 생성된 동영상을 보니 마치 영화의 한 장면처럼 자연스럽고 디테일이 살아있다. 언어 뿐만 아니라 물리법칙까지 이해한 소라는 생성형 AI 활용 범위를 텍스트와 이미지 위주에서 영상까지 확장하는 계기가 될 전망이다.
생성형 AI 기술, '비디오'로 확장
15일(현지시간) 오픈AI는 텍스트-투-비디오(text-to-video) 모델인 소라를 공개하며 "여러 캐릭터와 특정 유형의 동작, 복잡한 장면 등 최대 1분 길이의 동영상을 빠르게 제작할 수 있다"며 "언어에 대한 깊은 이해를 갖고 있어 프롬프트를 정확하게 해석하고 생생한 감정을 표현하는 매력적인 캐릭터를 생성할 수 있다"고 밝혔다.
소라는 AI 챗봇인 'GPT' 모델과 마찬가지로 트랜스포머 아키텍처를 기반으로 개발됐다. 오픈AI 측은 소라를 이미지 생성 AI '달리(DALL-E)'와 GPT 모델에 대한 과거 연구를 기반으로 개발했다고 설명했다. 소라는 동영상과 이미지를 '패치'라는 작은 데이터 단위 모음으로 표현하며, 각 패치는 GPT 토큰과 유사한 방식으로 작동한다.
오픈AI 측은 소라가 프롬프트를 통해 요청한 내용 뿐만 아니라 실제 세계에서 이런 사물들이 어떻게 존재하는 지 물리학적으로 이해하고 있다고 설명했다. 소라는 텍스트로 동영상을 생성할 수 있을 뿐만 아니라, 정지 이미지를 가져와 동영상으로 생성할 수도 있다. 또 기존 동영상의 길이를 확장하거나, 누락된 프레임을 채울 수도 있다.
오픈 AI는 "소라는 실제 세계를 이해하고 시뮬레이션할 수 있는 모델의 기반이 될 것"이라며 "이는 일반인공지능(AGI)을 실현하는 데 중요한 이정표가 될 것으로 믿는다"고 전했다.
'소라'의 약점은?
다만 오픈AI 측은 아직 이 모델에 약점이 존재한다고 밝혔다. 복잡한 장면의 물리법칙을 정확하게 시뮬레이션하지 못하고, 인과관계를 이해하지 못하는 경우도 발생한다. 예를 들어 사람이 쿠키를 한 입 베어 무는 장면 뒤에 쿠키에 물린 자국이 없을 수 있다는 설명이다. 또 왼쪽과 오른쪽을 혼동하거나, 특정 카메라 궤적을 따라가는 동안 발생하는 이벤트에 대해 시간 순서를 헷갈리기도 한다.
현재 오픈AI는 일부 시각 예술가, 디자이너, 영화 제작자 등 크리에이티브 전문가들에게 소라에 대한 접근 권한을 부여하고 피드백을 받고 있다고 전했다. 특히 오픈AI는 소라가 AI 시스템의 결함과 취약점을 찾는 '레드팀'을 통해 안전성 테스트를 거치고 있다는 점을 강조했다. 이런 식의 동영상 생성 서비스가 가짜뉴스나 딥페이크 등에 악용될 가능성이 있기 때문이다.
오픈AI 측은 "소라를 오픈AI 제품에서 사용하기에 앞서 몇 가지 중요한 안전 조치를 취할 예정"이라며 "레드팀원들과 협력해 잘못된 정보, 혐오 콘텐츠, 편견 등을 테스트할 것"이라고 전했다. 또 "소라가 언제 동영상을 생성했는 지 알 수 있는 도구도 개발 중"이라며 "향후 이 모델을 오픈AI 제품에 배포할 경우 C2PA 메타데이터를 포함할 게획"이라고 덧붙였다.
오픈AI는 텍스트 분류기를 통해 극단적인 폭력, 성적인 콘텐츠, 혐오 이미지, 유명인 초상 이미지, 타사 지적재산권(IP) 등을 요청하는 텍스트 프롬프트를 입력하지 못하도록 막고 있다. 또 이미지 분류기를 개발해 생성된 모든 동영상 프레임을 검토해 사용자에게 표시되기 전에 사용 정책을 준수하고 있는지 확인하고 있다고 전했다.
소라는 마이크로소프트 검색 서비스 '빙(Bing)' 등에 통합돼 제공될 것으로 전망된다. 오픈AI 측은 "연구 진행 상황을 조기에 공유해 외부 전문가들과 함께 작업하며 피드백을 받고 있다"며 "곧 출시될 AI 기능을 대중에게 알리기 위해 노력할 것"이라고 밝혔다.
남도영 기자 hyun@techm.kr