청출어람 청어람
03/31/2021
/ 박평종

이미지 생성 알고리즘이 빠르게 진화하고 있다. 가장 주목을 끄는 모델은 생성적 적대신경망(Generative Adversarial Network, 이하 GAN)으로 2014년에 처음 발표된 후 놀라운 성장을 거듭해 왔다. GAN의 원리를 적용하여 이미지 생성에 활용한 알고리즘은 매우 많고 분야도 다양한데, 그 중 하나가 TPGAN(Two-Pathway GAN)이다. 이 알고리즘은 측면 사진에서 정면 사진을 정확히 합성해 내는 ‘신기’에 가까운 솜씨를 보여주었다. 이것이 어떻게 가능할까?

대부분의 인공지능이 그렇듯이 이 알고리즘도 사람의 사고 과정을 모방한다. 사람이 측면 얼굴에서 정면 얼굴을 유추해 내는 과정을 응용하는 것이다. 사람은 우선 관찰을 통해 측면 정보를 탐색한다. 당연히 별 소득은 없다. 하지만 불확실한 정보를 추론의 재료로 삼아 얼굴에 대한 사전 지식과 비교한다. 정면 얼굴에 대한 지식은 예컨대 두 눈은 평행상태로 놓여있고 코는 수직으로 얼굴의 중앙에 위치하며, 입은 코의 아래쪽에 자리 잡고 있다는 등이다. 이를 바탕으로 정면 얼굴에 대한 전반적인 구조를 추정하는 것이 가능하다. 다음에는 정면의 디테일을 추정하여 얼굴의 전반적인 형태를 산정한다. 옆에서 본 눈이 둥근 형태인지 길게 늘어진 형태인지, 코가 뾰족한지 뭉툭한지, 코와 입의 간격은 어느 정도인지 등 구체적인 세부를 추정하는 것이다. 물론 사람의 기억은 부정확하여 얼굴의 모든 형태를 정확히 상상을 통해 얻어내기란 쉽지 않다. 그래도 어느 정도 근사치에 도달할 수는 있다. 목격자의 기억에 의존하여 몽타주를 그럴싸하게 그려내는 경우처럼 말이다.

어쨌든 TPGAN도 이런 프로세스를 따른다. 전체경로(Global Pathway)라 불리는 첫 단계에서는 얼굴의 전체 구조를 추정하고, 두 번째 단계인 국부경로(Local Pathway)에서는 얼굴의 부분적인 디테일이 전체 구조에 부합하도록 합성을 진행한다. 이 둘을 통합시켜 최종 결과물을 얻어내는데 여기서 GAN의 기본 구조인 생성자(Generator)와 판별자(Discriminator)의 역할이 중요하다. 생성자는 위의 두 경로에서 추출한 데이터를 통합하여 정면 얼굴의 픽셀값을 계산한다. 판별자는 생성자가 산출한 데이터가 얼마나 실재와 가까운지 비교를 통해 식별을 진행한다. 당연히 초기 단계에서 측면사진과 정면사진은 확연히 다르다. 그런데 이 과정이 ‘무수히’ 반복되면 사정은 달라진다. 예컨대 생성자가 ‘처음에’ 제시한 정면사진은 판별자의 눈에 완전히 다른 사람처럼 보일 것이다. 그래서 “다시 만들어 와”라고 돌려보낸다. 생성자는 종전의 실수를 만회하기 위해 좀 더 그럴듯한 정면사진을 만들어온다. 이 과정이 무수히 반복되면서 생성자가 제안하는 정면사진은 실제 얼굴에 가까운 근사치로 수렴한다. TPGAN의 개발자들은 이 알고리즘이 측면사진으로부터 인물의 동일성(Identity)을 유지하는 정면사진을 생성해 냄으로써 합성을 통해 안면인식의 가능성을 입증했다고 자평했다. 그렇다면 활용범위도 넓다. CCTV는 증명사진처럼 ‘정확히’ 인물의 정면을 포착하는 경우가 드물어 인물 식별에 애를 먹는 경우가 많다. 그런 점에서 TPGAN은 예컨대 범죄용의자의 인물 식별에 효과적일 수 있다.

GAN의 원리를 처음 고안한 이안 굿펠로우는 2014년의 논문에서 생성자와 판별자의 관계를 위조지폐범과 경찰의 관계로 설명했는데, 2016년 신경정보처리시스템학회(NIPS)에서 발표한 GAN에 관한 튜토리얼에서는 학생과 교사의 관계에 가깝다고 언급한 바 있다. 말하자면 학생(생성자)이 제출한 답안(생성 데이터)을 교사(판별자)가 검사하는 과정을 통해 학생의 능력이 향상된다는 것이다. 실상 이 ‘검사 과정’은 지겹게 되풀이되므로 사람에게는 고역일 수밖에 없다. 그런데 기계는 지치지도 않고 자존심 상하는 일도 없으며, 정답이 나올 때까지 같은 행위를 반복할 수 있다. 고생 끝에 낙이 온다 했던가. 판별자로부터 무수히 ‘fail’을 맞아가며 유급을 거듭하다 결국 ‘pass’를 따내고야 마는 생성자의 노력은 사람의 눈에 가상해 보이기도 한다. 뭐 어차피 인간이 시킨 일이긴 하지만. 어쨌든 사람의 사고를 모방했지만 사람의 능력을 넘어서는 이 알고리즘은 한편으로 대견한 측면이 있다. 청출어람 청어람이라고나 할까.

박평종 (중앙대학교 인문콘텐츠연구소 연구교수)