[독점제휴=MIT테크놀로지리뷰] 마리아 포코비가 웹캠 스위치를 켠 뒤 그의 노트북을 내게 밀어준다. 내 얼굴이 나를 응시하고 있는데 표정에 따른 얼굴 윤곽을 지도화한 하얀 선에 격자무늬가 뒤덮여 있다. 이와 나란히 여섯 가지 “핵심 감정”인 행복, 놀라움, 혐오, 두려움, 분노, 슬픔을 추적하는 그늘진 윈도가 있다. 내 표정이 바뀔 때마다 각각의 감정 옆에 있는 측정 바가 마치 내 기분이 오디오 신호인양 변동한다. 몇 초 뒤 윈도에서 굵은 녹색 글자가 번쩍인다. 근심. 포코비를 돌아볼 때 그가 한눈에 내가 생각하는 것을 정확히 알고 있음을 감지한다. 환영의 미소를 짓는 세련된 포코비는 스페인 발렌시아에 있는 감성연구소 설립자이자 세계적으로 탁월한 사업가다. 그가 실리콘밸리에 왔을 때 사무실조차 임대하지 않았다. 단지 캘리포니아 써니베일의 플러그앤플레이에 있는 협업공간에서 테이블을 잡았을 뿐이다. 그러나 그가 내게 보여준 기술은 조용한 정치혁명에서 최전선에 있다. 세계 선거진영에서는 유권자에게서 무언의 감정을 꿰뚫어 보려고 감성연구소를 이용하고 있으며, 신경과학에 정통한 다른 마케터들도 고용하고 있다.

올봄에 미국 페이스북 사용자들이 그들의 성향과 흥미, 정치적 선호도를 포함한 소셜네트워크에 올린 정보가 유권자 겨냥 회사인 캠브리지 애널리티카에 유출됐음을 알게 됐을 때 광범위하고 격렬한 항의가 있었다. 이게 어느 정도로 효과적이었는지는 확실치 않지만 이 회사 알고리즘은 2016년 도날드 트럼프의 역전승을 부채질하도록 도왔을 것이다.

그러나 5월에 폐업한 캠브리지 애널리티카는 라틴 아메리카의 최근선거에서 주요 정당과 함께 일한 포코비 같은 야심찬 데이터 과학자들보다 시대에 뒤쳐져 있었다. 사람들이 페이스북에 올린 데이터를 분석해서 선거진영 메시지에 대한 사람들의 수용력을 측정하는 오늘날 “신경정치학적인” 컨설턴트들은 유권자의 자발적인 반응, 즉 주요 뇌 영역에서의 전기 자극과 찰나의 찡그림, 질문에 대해 심사숙고할 때 순간적인 주저함 같은 반응을 관찰함으로써 그들의 감정을 분류할 수 있다고 말한다. 이 전문가들은 유권자들이 자신도 모르게 만들어내는 신호를 가지고 유권자의 의향을 점치는 것을 목표로 한다. 후보 조언자라면 이 생물학적 데이터를 사용해서 투표결정에 영향을 미치도록 시도해볼 수 있다.

비록 선거운동 조직에서는 인정하기길 꺼려할지라도 정치관계자들은 선거진영에서 이에 대한 구매가 늘고 있다고 말한다. 컨설턴트이자 ‘브레인인플루언스: 뉴로마케팅으로 소비자를 설득하고 확신시키는 100가지 방법’ 저자인 로저 둘리는 “자금이 많은 선거진영이 비록 꽤 있을 법해 보이긴 해도 자신들이 뉴로마케팅 기술을 사용하고 있음을 인정하는 일은 드물다”고 말했다.

2016년 트럼프나 클린턴 선거운동에서 뉴로마케팅을 사용했는지는 확실하지 않지만 알려진 바에 따르면, 캠브리지 애널리티카의 모회사이자 트럼프를 위해 일했던 SCL은 유권자들이 후보자가 진실하다고 느꼈는지에 대해 말했는가를 평가하려고 얼굴 분석을 사용해왔다.

그러나 미국 선거운동에서 뉴로마케팅을 사용한 것을 인정하지 않을지라도 “그들은 뉴로마케팅에 관심이 있으며, 정치는 피를 보는 스포츠다”고 얼굴표정 코딩 전문가이자 2012년 멕시코 대통령 앤리케 페냐 니에토 선거운동에서 조언했던 힐이 말했다. 공화당 전략가이자 조지 부시, 존 맥케인, 엘리자베스 돌을 고객으로 둔 프레드 데이비스는 미국에서 이런 기술 활용이 다소 제한적일지라도 선거진영은 만약 뉴로마케팅이 자신들이 우위를 점하게 해준다고 생각한다면 이것을 사용하려 할 것이라고 말했다. “정치가에게 이기는 것보다 중요한 것은 없다”고 그는 말한다.

이런 경향은 2018년 미국 중간선거를 바로 앞두고 수많은 의문을 불러일으킨다. 컨설턴트들은 유권자를 겨냥하거나 표심을 흔들려고 신경학적 자료들을 얼마나 잘 활용할 수 있을까? 그리고 만약 이들이 주장하는 만큼 훌륭하다면 우리는 우리의 정치적 결정이 정말 우리 자신의 것이라고 믿을 수 있을까? 민주주의 자체가 압박감을 느끼기 시작하는 것일까?

무언의 진실
두뇌와 안구, 안면을 스캔해 사람들의 진정한 욕망을 캐내는 것은 디스토피아처럼 보일 수도 있다. 하지만 이것은 오랜 정치적 전통인 유권자들의 마음을 제대로 맞추는 것에 대한 산물이다.

십년이 넘는 동안 선거진영은 어떤 음악을 듣는지, 무슨 잡지를 읽는지 같은 소비자 선호도에 대한 데이터베이스를 조사해 왔다. 컴퓨터 알고리즘 도움을 받아 목표 대상에 대한 정보를 활용해 이들에게 호소해왔다. 만약 SUV를 모는 중년 여성이 공화당에 투표하고 교육에 신경 쓰는 경향이 있다고 알고리즘이 보여준다면, 이런 버튼들을 누르도록 의도적으로 공들여 만든 선거진영 메시지를 이런 중년여성층이 받을 가능성이 있다.

생체인식공학이 점점 더 강수를 두고 있다. 공학자들은 유권자가 종종 표현하지 못하거나 표현하길 꺼리는 진실에 접근할 수 있다고 말한다. 뉴로컨설턴트들은 노벨 경제학상 수상자인 심리학자 대니얼 카니먼을 인용하길 좋아한다. 그는 “시스템1”과 “시스템2”의 사고를 구분했다. 시스템1은 “약간의 노력이나 의식적인 조절 감각 없이 자동적이고 즉각적으로 작동하며”, 시스템2는 의식적이고 심사숙고를 수반하며 더 오래 지속된다.

“이전에는 모든 사람들이 시스템2에 집중했다”고 폴란드 심리학자인 라팔 오메는 설명한다. 그는 자신의 회사인 뉴롬이 유럽과 미국 선거진영에 조언해왔다고 말한다. 지난 10년간 오메는 소비자와 유권자들이 가진 시스템1에 대한 편향을 조사하는데 온 노력을 기울였다. 이는 오메가 그들이 무엇을 말하는지 듣는 것 만큼이나 중요하다고 생각하는 것이다. 이는 그의 사업에 매우 도움이 됐다. 그의 고객들이 계속해서 돌아올 만큼 그 결과에 충분히 감명받았기 때문이라고 말한다.

많은 뉴로컨설턴트 선구자들은 소위 말하는 “신경초점 그룹(neuro-focus groups)”을 중심으로 전략을 세웠다. 연구에서 12명에서 100명의 사람들을 참여시킨 다음, 기술자들이 사람들의 두피에 EEG 전극를 붙이고 그들에게 후보나 선거운동 광고 비디오 장면을 보여준다. 초단위로 피험자들이 비디오를 볼 때 두피감지기가 두뇌의 어떤 부분이 활성화되는지 드러내는 전기 자극을 포착한다.

멕시코시티 신경생리학자인 제이미 로마노 미챠는 “우리가 분석할 수 있는 것 중 하나는 주목과정이다”고 말한다. 그의 이전 기업인 뉴로폴리스티카는 정치적 선거진영에 두뇌 기반 서비스를 제공하는 선두 업체 중 하나였다. 로마노 미챠는 망양체 활동을 감지하려고 피험자 두피에 전극을 붙였다. 망양체는 뇌간의 한 부분으로서 누군가가 얼마나 매혹됐는지를 추적한다. 만약 피험자가 정치 광고를 보고 망양체 활동이 15초 내에 급상승했다면 이것은 메시지가 해당 시점에서 그들의 주의를 제대로 끌었다는 것을 의미한다.

다른 뇌 영역도 중요한 단서를 제공한다고 로마노 미챠는 말한다. 대뇌피질 왼쪽에서 일어나는 전기활동은 사람들이 정치적 메시지를 이해하려고 열심히 일하고 있음을 보여준다. 오른쪽에서 일어나는 유사 활동은 메시지의 의미가 잘 이해되는 정확한 순간을 알려준다. 이런 종류의 통찰로 선거진영은 예를 들면, 가장 매혹적인 순간을 처음에 놓거나 사람들의 주의를 딴 데로 돌리는 부분을 잘라버리는 식으로 메시지에서 매력을 최대한으로 개선할 수 있다.

뇌영상화는 신경정치학계에서 일부로 남아있다. 하지만 뉴로 컨설턴트 대부분은 이것만으로는 충분치 않다고 말한다. 로마노 미챠는 “EEG는 의사결정과정에 대한 매우 일반적인 정보를 제공한다”며 “어떤 사람들은 EEG로 우리가 사람들 마음에 들어갈 수 있다고 말하는데, 나는 아직은 가능하지 않다고 생각한다”고 말한다. 몇몇 컨설턴트들은 유권자의 진실한 감정과 열망에 도달 하는 더 저렴하고 신뢰할 만한 도구가 있다고 주장한다.

도처에 전극
사실 EEG 스캔은 현재 생체측정기술에서 뷔페식 중 하나일 뿐이다. 로마노 미챠 역시 적외선에 가까운 안구추적기와 안와골 주변 전극을 사용해 “눈의 빠른 동작”을 추적하고 있다. 이 같은 미세한 안구 움직임은 선거광고를 보는 사람의 주의집중을 나타낸다. 다른 전극은 사람 피부 표면에서 전기적 활동을 측정함으로써 자극에 대한 대략적인 기준을 제공한다.

물론 TV를 보고 페이스북을 검색하는 모든 사람에게 전극을 꽂을 수는 없다. 그러나 그럴 필요도 없다. 소규모 신경중점 그룹에 대한 실험 결과를 사용해 표본으로 추출되지 않은 유권자에게 영향을 줄 수 있다. 예를 들어 바이오데이터가 밝혀내길 50세 이상의 자유당 여성은 불법이민에 대한 광고를 볼 때 두려움을 느낀다고 한다면, 이런 공포심에 불을 지피길 원하는 선거진영은 비슷한 인구통계학적, 사회적 프로필을 가진 수백만의 사람들에게 동일한 메시지를 광고할 수 있다.

감성연구소에서 포코비 같은 접근법에는 단 한 명의 비디오 플레이어와 전면 웹캠만 필요하다. 지원자가 온라인으로 그의 정치적 포커스 그룹에 등록하면, 그는 지원자가 노트북이나 전화로 볼 수 있도록 광고나 후보자 비디오를 보낸다. 이들이 내용을 소화할 때 그는 이들의 안구 동작과 얼굴 표정에서 미세한 변화를 추적한다.

“우리는 얼굴에서 미세표정을 읽기 위한 알고리즘을 개발했고, 사람들이 느끼는 감정을 실시간으로 번역한다”고 포코비는 말한다. “매번 사람들은 ‘나는 경제가 염려스럽다’고 당신에게 말한다. 그러나 정말 당신을 움직이는 것은 무엇인가? 내 경험에 따르면 그건 큰 것이 아니다. 그건 당신 곁에 있는 작은 것들이다.” 후보자의 부적절하게 주름진 이마 같은 작은 무언가가 우리가 알지 못하는 사이에 우리 인식에 영향을 끼칠 수 있다. 포코비는 그의 얼굴분석 소프트웨어가 “6가지 보편적 감정, 101가지 2차적 감정, 그리고 8가지 기분”을 감지하고 측정할 수 있다고 말한다. 이는 모두 사람들이 메시지나 후보자에 어떻게 반응하는지 알고싶어 하는 선거진영의 관심을 끄는 것들이다. 그는 또 사람바다에서 개개인의 얼굴에서 감정적 반응을 추적하는 군중분석 서비스를 제공한다. 이건 선거진영이 후보자가 연설할 때 방의 온도를 측정할 수 있다는 얘기다.

ERL의 소프트웨어는 미국의 저명한 심리학자인 폴 에크만이 개발한 안면 동작 코딩 시스템(FACS)을 기반으로 구축됐다. 포코비 알고리즘은 웹캠으로 들어온 얼굴 이미지를 50개 이상의 “동작 단위”인 특정 근육 그룹의 움직임으로 재구성한다. 예를 들어 뚜렷한 동작 단위군은 특정 감정과 일치한다. 뺨과 바깥 입술 근육이 동시에 수축하는 것은 행복을 드러내는 반면, 눈썹을 낮추고 위쪽 눈꺼풀을 올리는 것은 분노를 드러낸다. 포코비는 방대한 얼굴 표정 데이터베이스로부터 많은 표준 이미지를 보여줌으로써 그의 시스템이 각각을 인식하도록 훈련시킨다.

신경과학자 리사 펠드먼 배럿 같이 에크먼 시스템(Ekman’s system)에 대한 일부 비판자들은 얼굴 표정이 반드시 감정적 상태와 상관관계가 있는 것은 아니라고 주장해왔다. 그럼에도 불구하고 다양한 연구들이 적어도 몇몇 연관성을 보여주고 있다. 오하이오주립대가 한 2014년 연구에서 인지과학자들은 21개의 “뚜렷한 감정”을 정의했는데, 이는 우리 대부분이 얼굴 근육을 움직이는 일관된 방식에 기초했다.

포코비는 그의 연구가 후보자를 위한 이미지 정제 도구로도 작용한다고 말한다. 그는 후보자 표정이 유권자를 혼란스럽고, 역겹고, 화나게 만드는 정확한 순간을 포착하려고 후보자 비디오를 분석한다. 그러면 정치가들은 이런 정보를 활용해 다른 감정적 접근법을 연습할 수 있는데, 시청자에게 바람직한 반응을 이끌어 낼 때까지 포코비 연구 기반을 사용해 직접 조사할 수 있다. 포코비가 조언한 한 선거진영에서 후보자는 희망적이고 긍정적인 메시지를 담은 TV광고를 녹화하고 있었다. 하지만 테스트 상영에서는 계속해서 끔찍한 평가를 받았다. 그 후보자가 자신도 모르게 분노와 혐오감을 표출한 것을 포코비가 분석하기 전까지 그 광고가 보여준 형편없는 성과는 미스테리였다. 일단 무슨 일이 일어나고 있는지 깨닫자마자 그는 자신의 발표를 개선시킬 수 있었고, 대중으로부터 더 나은 반응을 얻을 수 있었다.

요즘 뇌 스캔 분석에 전념하는 몇몇 사람들은 더 간단하고 더 저렴한 기술을 추구하고 있다. 오메는 2008년 재정 위기 이전에 국제적인 고객들이 현장에서 두뇌 연구를 수행하려고 해 폴란드에서 다섯 명의 남자를 기꺼이 실어 날랐다고 말한다. 그러나 불경기 뒤에는 그 사업은 거의 망해버렸다.

그 결과 오메는 시간과 공간, EEG 전극에 구애받지 않는 다른 전략을 개발했다. 그가 만든 새로운 접근법은 사회심리학자인 안토니 그린왈드(Anthony Greenwald)가 무의식 성향 연구에서 사용한 것에서 비롯됐는데, 안토니는 오메가 풀브라이트 장학금으로 미국에 방문했을 때 멘토가 됐다. 오메는 아이코드(iCode)라고 부르는 그의 스마트폰 기반 테스트가 전통적인 설문지나 포커스 그룹에서는 결코 드러나지 않는 은밀한 정치적 성향을 드러내준다고 말한다.

오메의 설문조사 응시자가 기본 응답 시간을 평가받고자 보정 질문에 답하기 시작한다. 예를 들어 습관적으로 느린 사람은 1000분의 585초 “단위 시간”을 지속할 수 있는 반면, 더 빠른 사람은 1000분의 387초가 걸릴 수 있다. 정치가 이미지가 화면 위에 보이고, 각각 이미지가 “신뢰성”, “친숙함”, “나의 가치 공유” 같은 단일 속성과 짝을 이룬다. 응시자는 “예” 또는 “아니오”를 눌러 각각에 동의하는지 여부를 표시한다.

테스트가 진행되면서 앱은 어떻게 응답하는지 뿐만 아니라 얼마나 빨리 화면을 터치하는지와 어떤 리듬으로 타이핑 하는지도 추적한다.흥미로운 것은 사람들이 질문에 어떻게 반응하느냐가 아니라 처음에 얼마나 머뭇거리는지 라고 오메는 말한다. “망설이는 수준을 측정할 때 우리는 어떤 대답은 긍정적이지만 망설인 것이고, 어떤 것은 긍정적이고 즉각적임을 알 수 있다”며 “우리는 당신이 [기준치에서] 얼마나 벗어났는지를 측정한다. 이 편차가 핵심이다”고 그는 말한다.

오메는 비밀협약을 인용하며 현 정치인 고객들에 대해 자세히 논하는 것을 거절한다. 그러나 그는 거의 900명을 대상으로 한 아이코드 조사에서 2016년 힐러리 클린턴 패배를 선거 전에 예견했다고 자진해서 말한다. 1년 내내 클린턴은 전통적인 여론조사에서 트럼프를 편안하게 앞섰다. 그러나 오메가 실험 대상자들에게 클린턴이 그들의 가치를 공유하는지 물었을 때, 그들은 종종 대답하기 전에 유별나게 오랫동안 망설였다. 오메는 2016년에 가치를 공유한다는 느낌이 사람들을 투표하도록 동기를 부여하는 큰 요소임을 알았다(이전 선거에서는 “강력함”과 “리더”가 핵심이었다). 그래서 테스트 결과는 그에게 클린턴 승리에 대한 심각한 의구심을 불러 일으켰다. 그는 만약 클린턴 선거진영이 선거 전에 그의 연구 중 하나를 수행했다면 자신의 취약성을 깊이 이해하고 행로를 수정할 수 있었을 것이라고 주장한다.

오메는 비슷한 곤경에 처한 다른 후보들을 도와왔다고 말한다. 그의 실험 중 하나는 유럽의 한 고객이 훌륭한 지지기반을 갖춘 반면, 그들은 후보가 이길 것이라 가정했기 때문에 많은 지지층이 밖에 나가서 투표할 동기가 없었음을 보여주었다. 이런 지식으로 무장한 그 선거진영은 지지층을 투표에 참여시키려고 다시금 분투했다. 그 고객은 결국 간신히 이겼다.

인생에서 가장 큰 거짓말
하지만 TV광고나 유세연설에 대한 사람들의 자발적인 반응을 측정하는 것이 그들이 궁극적으로 어떻게 투표할 것인지를 말해 주는가? “실용 측면에서 볼 때 그것은 꽤 명확하지 않은 현실에 대한 과대광고다”고 엑세터대 정치학 교수이자 ‘당신의 두뇌는 정치를 위해 만들어졌다’ 저자 대런 슈라이버는 말한다. “이러한 도구 기능을 과신하기가 쉽다.” 지금까지 인지 테스트는 엇갈린 결과를 낳았다. 대조적 연구에 따르면 암묵적 태도는 사람들이 어떻게 투표할지 예측하지 못한다.

정치 태도에 대한 뇌 스캔 실험을 시행해온 슈라이버는 이 기술이 걱정스럽다는 것을 인정한다. 민주주의는 이성적인 행위자가 존재하며, 모든 방면에서 정보를 흡수하고, 이성적인 결론을 내릴 수 있음을 가정한다. 만약 뉴로컨설턴트가 사람들의 깊은 내면의 생각을 캐내고, 그들의 투표 의사를 변화시킨다고 주장하는 것이 반만큼이라도 옳다고 한다면 민주주의에 대한 가정은 의문시된다. “우리는 여러 가지 면에서 민감하며 우리의 민감성에 대해서 알지 못한다”고 슈라이버는 말한다. “우리가 알지 못하는 여러 방식으로 행동을 조종할 수 있다는 사실은 정치적 담론에 많은 영향을 미친다.” 만약 선거진영이 유권자도 모르게 그들을 후보자쪽으로 밀어붙인다면, 한때 이성적 견해를 교환하던 정치적 논의가 민주적인 이상과는 훨씬 거리가 멀어지며 자동적으로 소규모 충돌로 바뀔 것이다. 슈라이버는 “공황에 빠질 때라고는 생각하지 않는다”며 “그렇다고 이에 대해서 낙관적일 수 있다고 생각하지도 않는다”고 말한다.

오메는 유권자들이 충분한 상식이 있다면, 뉴로컨설턴트 전략에 대항해 스스로 예방접종을 할 수 있다고 주장한다. “나는 망설임을 측정한다. 나는 당신이 망설일 때만 당신의 마음을 바꿀 수 있다. 만약 당신이 확고한 신념가라면 나는 아무 것도 바꿀 수 없다”고 그는 말한다. “만약 당신이 조종당하는 것이 두렵다면 배워라. 많이 배울수록 당신의 태도는 더 확고하고 견고해지며, 다른 사람이 당신을 설득하기가 더 어려워진다.”

이것은 지극히 합리적인 충고다. 하지만 궁금하다. 나는 포코비를 만난 뒤, 데모 비디오를 보는 내 얼굴을 소프트웨어가 추적할 수 있도록 감정연구소에 로그인했다. 그 비디오는 웃는 아기에 대한 것이었고, 나는 입꼬리가 올라가는 것을 느꼈다. 그 뒤에 컴퓨터는 내가 어떻게 느꼈는지를 물었다. 나는 “행복”을 클릭했다. 나는 엄마다. 나는 아기를 사랑한다. 그러나 내 감정 분석이 도착했을 때 내 얼굴에 행복에 대한 흔적이 거의 없었음을 보여주었다.

결과를 생각해보면서 감정 소프트웨어가 옳았다는 것을 깨달았다. 나는 정말로 전혀 행복하지 않았다. 나는 그 테스트를 밤늦게 받았고 지쳐 있었다. 컴퓨터는 내겐 익숙하지 않은 방식으로 나를 바라보았다. 나는 멕시코 대통령 선거진영의 이전 고문이었던 댄 힐이 내게 했던 말이 생각났다. “인생에서 가장 큰 거짓말은 우리가 우리 자신에게 하는 것이다.”

<이 기사는 테크M 제67호(2018년 11월)에 게재됐습니다.>