한없이 진짜에 가까운 가짜
12/11/2019
/ 박평종

“어떤 바보가 진짜 돈을 만들었지?” 초현실주의 삽화가 모리스 앙리(Maurice Henri)의 <사전꾼들>에서 이 모리배 집단의 우두머리가 부하들이 만든 가짜 돈을 집어 들며 하는 말이다. 이 말에 담긴 의미를 풀어보면 다음과 같다. 우선 이 집단의 목적은 가짜 돈을 만드는 데 있다. 따라서 진짜 돈을 만들 경우 그들의 행위는 실패다. 그런데 정말 그럴까? 가짜 돈은 진짜와 구별이 어려울 정도로 진짜와 흡사해야 한다. 누가 보더라도 가짜 티가 나면 가짜 돈으로 기능하지 못한다. 그래서 진짜에 한없이 가까워야 한다. 단 진짜와 같아서는 안 된다. 물론 아무리 잘 만들어도 가짜 돈이 진짜가 될 수는 없다. 위의 예에서도 마찬가지다. 이 ‘바보’가 만든 돈은 우두머리의 눈에 진짜처럼 보인다 할지라도 결코 진짜가 될 수 없다. 한편 우두머리의 눈을 속인 그 자는 ‘바보’가 아니라 ‘달인’이다.

그럼 그 자는 어떻게 ‘달인’이 됐을까? 가짜 돈을 만드는 자가 있고, 그것이 진짜인지 가짜인지 판별하는 자가 있다. 만드는 자는 속이려 하고 판별하는 자는 속이지 못하게 제어하려 한다. 즉 그들은 각자의 영역에서 최대치의 능력을 이끌어 내고자 한다. 그렇다면 능력의 최대치가 발휘됐을 때 어떤 결과가 나올까? 가짜를 만드는 자의 능력이 극대화될 때 판별자는 무능한 자가 된다. 반대로 판별자의 능력이 최대치가 될 경우 만드는 자가 무능해진다. 말하자면 두 축의 능력은 정확히 중간에서 만나야 한다. 그럼 능력의 절반만 발휘해야 할까? 전혀 그렇지 않다. 그 경우 두 바보만 남게 된다. 핵심은 각자 최대치의 능력을 발휘하는 과정에서 서로가 발전한다는 것이다. 판별자를 속일 수 있을 만큼 뛰어난 가짜를 만들고자 할 때 판별자의 식별력은 높아지고, 그렇게 능력이 뛰어난 판별자를 다시 속이려 하는 과정에서 가짜 생산자의 능력도 발전하는 셈이다.

딥러닝을 활용한 이미지 합성 기술인 딥 페이크(Deep fake)가 논란이 되고 있다. 이 기술은 적대적 생성 신경망(Generative Adversarial Networks), 소위 GAN이라 불리는 알고리즘이 기반이다. 오바마의 가짜 연설문 영상으로 화제가 되기도 했으며, 최근에는 유명 배우들의 가짜 포르노 영상으로 논란의 중심에 서있다. 이 알고리즘은 2014년 이안 굿펠로우(Ian Goodfellow)가 개발한 모델로 지도학습(Supervised Learning)에 기초한 기존의 기계학습 방식을 비지도학습으로 전환함으로써 딥러닝이 도약하는 계기를 마련해주었다고 평가받는다. 여기서 핵심은 서로 적대적인 두 축이 기계학습을 주도한다는 점이다. 학습의 원리는 의외로 간단한다. 분류 모델과 생성 모델의 두 단계가 있다. 인간의 뇌를 모방한 컴퓨터 신경망은 우선 진짜 데이터를 진짜로 분류하도록 학습하고, 이미지 생성자(Generator)가 만든 가짜 데이터는 가짜로 분류하도록 학습한다. 다음은 생성 모델로 학습목표는 분류 모델을 속이는 것, 말하자면 판별자(Discriminator)가 진짜와 가짜를 구분할 수 없을 정도로 유사한 가짜 데이터를 생산하는 것이다. 이 과정이 무수히 반복되면 생성자의 능력은 극대화되어(판별자와 더불어) 진짜 같은 가짜를 생산할 수 있게 된다. 정리하자면 GAN에서 생성자와 판별자는 서로 적대적 경쟁을 통해 발전하며, 이 과정 자체가 곧 딥러닝인 셈이다. GAN은 꾸준히 진화하여 이제 <사전꾼들>의 두목처럼 가짜를 진짜라고 믿을 만큼 정교해졌다. 삽화는 재밌지만 현실은 무섭다.

가짜를 만드는 목적은 속이기 위함이다. 그리고 누군가를 속이는 주체는 늘 인간이었다. 그런데 이제 기계가 인간을 속이는 시대가 왔다. GAN의 생성자는 가짜를 생산하기 위한 알고리즘이고, 판별자의 ‘적대적’ 협력을 통해 그 목적을 탁월하게 수행한다. 딥 페이크, 한없이 깊은 속임수의 세계가 펼쳐지고 있다. 인간이 기계가 파놓은 속임수의 깊이를 헤아릴 수 있을지 전망은 어둡다.

 

박평종 (중앙대학교 인문콘텐츠연구소 연구교수)