[독점제휴=MIT테크놀로지리뷰] 그 거 알아? 내가 텍사스 상원의원 테드 크루즈가 티나 터너에게 노래하며 환호하는 민망한 동영상을 방금 입수했거든. 그와 경쟁하는 한 정치인은 크루즈 임기 중에 이 비디오를 공개하면 재미를 볼 수 있을 것이다. 트럼프 대통령이 이것을 본다면 그를 ‘댄싱 테드’라고 부를지도 모른다.

인정한다. 내가 그 비디오를 만든 장본인이다. 사실 이 비디오를 만드는데 특별한 편집 기술이 필요하지 않았다. 바로 이게 문제다. 나는 마치 실제 같은 얼굴바꾸기(face-swap)를 디지털로 하려고 머신러닝 기반의 소프트웨어를 다운받았다. 그 결과 크루즈의 축 처진 눈이 가라오케에서 립싱크하는 배우 폴 루드 얼굴에 복사됐다. 완벽하진 않지만 몇몇 사람들을 속이기에는 충분했다(이 비디오는 ‘technologyreview.com/cruzrudd’에서 감상할 수 있다).

이렇게 사진을 이용한 사기는 새로운 기술이 아니다. 하지만 AI가 이 판도를 완전히 바꿀 것이다. 이전에 이 기술을 사용하려면 수만 달러(약 수천만원)가 필요했다. 따라서 최근까지는 고예산 영화에서만 ‘영상 속 얼굴바꾸기(Video Face-swap)’ 기술을 사용했다. 하지만 AI가 등장하면서 지금은 괜찮은 컴퓨터만 있다면 누구나 몇 시간 안에 가짜 영상을 만들 수 있다. 미래에 머신러닝 기술이 한 단계 더 발전한다면, 아마도 오점을 찾기 힘들만큼 더 정교한 속임수를 구현해낼 수 있을 것이다.

이처럼 기술 발전은 정치계에 떠도는 진실과 허구의 경계를 점차 흐리게 할 것이다. 이미 인터넷은 가속화했고, 가짜 소셜미디어 계정을 통한 가짜정보 보급이 더욱 심각해지고 있다. 많은 사람들이 시중에 떠도는 여러 ‘대안적 사실’과 ‘음모론’을 믿고 있다.

실제 가짜뉴스는 지난 미국 대선에 많은 영향을 끼쳤다. 이와 비슷하게 스리랑카와 미얀마에서도 가짜뉴스가 민족 간 갈등을 일으키고 있다.

마치 사실인 것처럼 만들어진 가짜 영상이 널리 퍼지고 있다고생각해보자. 정치적인 내용의 영상일 수도 있고, 특정 인종에 대한 모욕이나 적절하지 않은 행동이 담긴 영상일 수도 있다. 물론 이 모든 것은 가짜다.뉴욕주립대 교수이자 ‘가상현실: 인터넷이 말했다고 해도 어떻게 당신은 그것이 진짜인지 알 수 있나?’의 저자인 찰스 세이피는 “딥페이크(Deepfakes)가 잘못된 정치 담론을 만들 가능성이 있다”고 말했다(딥페이크는 딥러닝과 페이크의 합성어로 인공지능으로 영상을 합성하고 조작하는 기술을 말한다). 이어 세이피는 2014년에 책을 출간한 뒤로 얼마나 많은 기술이 진보했는지 놀랐다고 말했다. 그는 “기술은 ‘사실’에 대한 우리의 인식을 놀랍도록 빠른 속도로 바꿔놓고 있다”고 덧붙였다.

우리는 아무것도 믿지 못하는 시대에 들어서고 있다. 진짜처럼 보이는 뉴스 영상도 실제 ‘뉴스’를 보여주는 것인지 아무도 알 수 없다. 우리는 누구를 믿어야 할까?

진짜 가짜
쉽게 가짜정보를 생산해내는 몇몇 기술은 대부분 뛰어난 접근성을 갖고 있다. 스마트폰을 사용해 누구나 영상을 캡쳐할 수 있고, 고사양 컴퓨터 그래픽 툴은 훨씬 저렴해졌다. 여기에 AI 기술이 더해지면 원하는 대로 왜곡, 리믹스, 합성이 가능해진다. AI는 단순히 더 나은 버전의 포토샵이나 아이무비가 아니다. AI는 컴퓨터에게 세상이 어떻게 보이고 들리는지를 학습시켜 확실한 복제품을 만들어 내는 기술이다.

나는 누구나 공짜로 다운받아 얼굴을 바꿀 수 있는 프로그램인 ‘오픈 페이스 스왑’을 이용해 크루즈의 클립 영상을 만들었다. 단 고성능 그래픽 칩이 내장된 컴퓨터가 있어야 가능하다. 또 ‘페이퍼스페이스’ 같은 클라우드 머신러닝 플랫폼을 이용해 가상 기기에 접근할 수 있어야 한다. 한 시간에 몇 센트(약 몇 십원)꼴로 투자하면 가상 기기에 접근할 수 있는 권한도 빌릴 수 있다. 그 다음 두 개 영상을 넣고 몇 시간만 기다리면 된다. 그동안 알고리즘이 자동적으로 각 인물의 외모와 얼굴 움직임을 파악하고 비교한다. 어떻게 보면 이 작업이 일종의 예술처럼 보이기도 한다. 만약 선택한 두 영상이 완전 다른 영상이라면 코와 귀, 턱이 마구 뒤섞인 결과물을 받게 될지도 모른다.

그러나 다시 한 번 말하지만 이 과정 자체는 매우 쉽다.

얼굴바꾸기 기술은 포르노를 제작하려고 처음 등장했을 것으로 예상한다. ‘딥페이크’라는 아이디로 레딧(Reddit)을 사용하던 한 사용자는 머신러닝을 이용해 유명 배우 얼굴을 성인영화 속 배우 얼굴에 바꿔 넣었다. 그리고 이 영상을 마치 유명배우의 포르노 유출처럼 꾸며 ‘서브레딧(Subreddit)’에 게시했다. 또 다른 레딧 사용자가 누구나 사용할 수 있는 인터페이스를 만들어냈고, 결국 딥페이크 포르노가 급증하는 결과를 초래했다. 또 배우 니콜라스 케이지는 자신이 출현하지도 않은 영화에 자신이 등장하는 영상이 끊임없이 생겨나는 황당한 일을 겪기도 했다. 심지어 레딧처럼 악명 높은 사이트도 검열 받지 않은 포르노를 전면 금지하고 있다. 그러나 이런 현상은 인터넷에서 어둠의 경로를 통해 계속해서 퍼지고 있다.

‘오픈 페이스 스왑’은 인공 신경 네트워크 기술을 사용한다. 방대한 양의 표본자료를 학습시킨 ‘깊은’ 인공 신경 네트워크는 수십만개 사진들 중 원하는 사람의 사진을 찾아주며 다양한 분야에서 유용하게 쓰일 수 있다. 또 사진을 조작하고 합성하는데 사용되기도 한다.

오픈 페이스 스왑은 깊은 신경 네트워크가 사람 얼굴을 인코딩 하도록 훈련시킨다(데이터를 압축할 때와 과정이 비슷하다). 이후 결과물을 디코딩하면 전체 얼굴을 구현해낼 수 있다. 이 트릭을 사용하면 한 얼굴을 인코딩한 데이터를 다른 얼굴에 디코딩할 수 있다. 이런 방식으로 신경 네트워크는 놀랍도록 정확한 결과물을 만들어 낼 수 있고, 한 얼굴이 다른 사람의 표정과 행동을 똑같이 따라할 수 있게 만든다. 하지만 이 과정으로 탄생한 비디오는 어딘가 불안정해 보일 수도 있다. 그러나 오픈 페이스 스왑은 자동으로 이미지 끝 부분을 흐릿하게 처리하고, 색감을 비슷하게 맞춰 더 진짜처럼 보이게 만든다.

비슷한 기술로 새로운 목소리를 만들어내는 것도 할 수 있다. ‘라이어버드’라는 스타트업은 오바마와 트럼프 목소리를 완벽하게 꾸며낸 데모 음성을 공개해 주목받았다. 라이어버드는 나중엔 허가를 받은 사람들만 이 기술을 사용할 수 있게 제한할 것이라고 말했다. 그러나 모든 사람이 그렇게 양심적이지만은 않다.

가짜 이미지나 비디오를 구별해낼 수 있는 몇 가지 방법이 있다. 이 중 하나는 가짜 이미지 제작에 사용됐을 것 같은 이미지 원본을 웹에서 찾는 방법이다. 더 기술적인 접근 방법으로는 디지털 파일이나 이미지, 또는 영상 픽셀에서 일어난 변화를 감지하는 것이 있다. 나아가 시각적으로 자연스럽지 못한 부분을 찾아내는 방법도 있다. 예를 들어 그림자가 없어야 할 곳에 있다든지, 물체 사이즈가 비정상적이라든지 하는 것을 집어내는 식이다.

이 분야에서 유명한 전문가이자 다트머스대 교수인 해니 페리드는 어떻게 여러 장면들이 3D로 재건되는지 직접 보여줬다. 그는 영상 속 작은 픽셀 변화를 사람의 맥박 변화와 비교해 설명했다. 이 작은 변화만으로도 진짜 사람과 컴퓨터가 만들어낸 가짜 사람을 충분히 구별해낼 수 있다고 말했다. 뉴욕주립대(SUNY) 교수로 활동하는 그의 제자는 불규칙적인 눈 깜박임으로 AI가 만들어낸 가짜 얼굴을 구분할 수 있다는 것을 증명하기도 했다.

하지만 일반 사람들 대부분은 이런 수사를 진행하기 힘들고, 페이스북에 올라온 모든 사진과 비디오를 검토하는 것 또한 불가능하다. 이러한 속임수가 점점 만연하면서 자동 분석 기술에 대한 중요성이 커지고 있다. 딥러닝 기술은 가짜 정보를 만들어 내기도 하지만 가짜 이미지나 영상을 찾아내는 역할도 할 수도 있다는 사실을 알았다. 가짜 정보를 찾기 위한 이런 노력은 아직 시작 단계이며, 앞으로 얼마나 ‘진짜 같은’ 가짜가 생겨나는지에 따라 그 과정은 더욱 힘들어질 수 있다.

속임수 네트워크
AI 분야에서 최근에 가장 주목받고 있는 아이디어 중 하나는 더 실제 같은 가짜를 만들어 내려고 신경망이 스스로 경쟁하도록 하는 것이다. ‘생성적 적대 신경망(GAN)’이라고 부르는 이 연구는 두 개 신경망을 사용한다. 하나는 진짜 사진 또는 영상을 식별할 수 있게 훈련돼 있고, 다른 하나는 시간이 흐르면서 상대를 능가하는 방법을 배운다. GAN은 놀라울 정도로 실제 같은 가짜 사진들을 만들어 낼 수 있다.

단순히 사람 얼굴을 복사하고 바꾸는 것을 넘어 GAN은 낮과 밤을 바꾸거나 상상 속 유명인들을 실제처럼 만들어 낼 수 있다. 전체적인 장면과 사람을 실제와 가깝게 합성할 수 있다. GAN은 아직 완벽하지 않지만 계속 발전하고 있으며 최근 가장 이슈가 되고 있는 연구 분야 중 하나다(MIT 테크놀로지 리뷰는 GAN을 2018년 10대 혁신 기술로 선정하기도 했다).

단 이 기술이 디지털 수사를 피하기 위한 수단으로 사용될 수 있다는 점이 우려된다. 미국 국방부 소속 첨단연구 프로젝트 단체는 이번 여름 연구원들을 초대해 특별한 이벤트를 진행했다. 일부는 GAN을 사용해 가짜 영상을 만들고, 나머지는 그것을 수사하는 형식의 콘테스트였다.

페리드는 “GAN은 법의학 기술에 반하는 기술이기 때문에 법의학 커뮤니티 사이에서 특히 어려운 과제로 꼽힌다”며 “결국 어떤 쪽이 승리할 것인지는 지켜봐야 할 것이다”라고 덧붙였다.

이것이 끝이다
만약 조심하지 않는다면, 이것은 세상 종말을 초래하거나 최소 종말과 비슷한 결과를 내놓을 것이다. 지난 4월 BBC 뉴스는 러시아와 북대서양조약기구(NATO)가 핵전쟁을 시작했음을 알렸다. 아나운서는 독일 프랑크푸르트와 마인츠가 미사일에 공격당했다는 소식을 시청자들에게 전했고, 미사일 발사 영상을 함께 공개했다. 이 영상은 메시지 앱인 ‘왓츠앱’으로 처음 퍼지기 시작했다.

이것이 가짜 영상이라는 것이 알려지면서 BBC는 해당 방송을 철회했다. AI로 만든 영상은 아니었지만 가짜 영상의 위력을 알리기에 충분했고, 얼마나 빠른 속도로 루머가 퍼질 수 있는지 보여줬다. AI 프로그램이 급증하면서 실제 같은 가짜 영상을 만드는 것이 더욱 쉬워졌다.

우리가 가짜 뉴스에 속지 않는다고 해도 이는 정치적으로 심각한 결과를 초래할 수 있다. 언제부턴가 우리는 사진을 보면 이것이 포토샵을 한 것인지 아닌지 의례적으로 의심한다. AI가 만들어 낸 가짜 정보가 계속 늘어난다면 우리는 온라인에서 공유되는 모든 것에 대해 더 큰 의심을 품게 될 것이다. 나아가 이는 합리적인 정치 토론을 쇠퇴시키는 데에 기여할 것이다.

문학 평론가 미치코 카쿠다니는 올해 발행한 저서 ‘진실의 죽음(The Death of Truth)’에서 대안적 사실, 가짜 뉴스, 그리고 현대 정치의 광기가 지난 수십 년간 지속됐던 문화적 흐름이 정점에 도달했음을 보여준다고 말했다. 카쿠다니는 AI가 만들어낸 극도로 현실적인 가짜 정보들은 ‘객관적 현실’이라는 개념을 크게 흔들고 있다고 설명했다.

‘민주주의 데이터(Data for Democracy)’의 연구원 르네 디레스타는 “기술이 발전하기 이전에도 가짜 정보는 합법적 자료에 대한 신뢰를 약화시킨다는 점에서 문제가 있었다”라고 말했다.

그는 트위터에서 확산되는 가짜 정치 캠페인에 대해 연구한 최초 인물이기도 하다. 새롭게 생겨나는 기술이 가진 가장 큰 문제점은 해커들이나 정치 공작원, 또는 익명의 사람들로 인해 잘못 사용되는 것이 아니다. 존재하는 모든 사실 정보에 대한 진실성과 객관성을 약화시킨다는 데 있다. 진짜 속에서 가짜를 구별해낼 수 없게 된다면 사람들은 결국 존재하는 모든 것의 진실 여부에 대해 의문을 갖게 될 것이다. 정치인들은 자신들의 책임 회피 수단으로 이러한 현상을 악용하고 있다.

트럼프 대통령은 이러한 ‘가짜 뉴스’ 개념을, 그를 비난하는 미디어를 공격하는 데에 역이용했다. 그는 2016년 선거운동 당시 유출됐던 자신의 여성 폄하 영상이 디지털 기술로 위조 된 것이라고 주장했다. 지난 4월 러시아 정부는 그들의 군사적 행동을 정당화하려고 영국이 시리아에서 발생했던 화학공격에 대한 영상 증거를 조작했다고 고발했다. 물론 이것은 사실이 아닌 것으로 밝혀졌다. 하지만 워낙 정교한 속임수들이 등장하면서 진짜 정보에 대한 사람들의 신뢰가 급격하게 낮아졌다. 미얀마와 러시아는 새로운 법을 제정해 가짜 뉴스를 금지하고 있다. 하지만 두 나라 모두 정부에 대한 사람들의 비판을 단속하는 역할로만 사용하고 있을 뿐이다.

점점 더 많은 권력자들이 이러한 AI 사기에 대해 인지하고 있다. 하지만 이 때문에 명백한 범법행위가 담긴 영상 증거임에도 불구하고 GAN이 만든 가짜 정보로 여겨져 묵살되는 사례가 발생할 수 있다.

진실은 언제나 존재할 것이다. 하지만 당신이 이것을 구별해낼 수 있을까?

<이 기사는 테크M 제66호(2018년 10월)에 게재됐습니다.>