[IT열쇳말] GAN(생성적 적대 신경망)

진짜 같은 가짜를 만드는 AI

가 +
가 -

GAN 창시자 이안 굿펠로우 <출처: 이안 굿펠로우 트위터>

“우리는 적대적 과정을 통해 생성 모델을 평가하는 새로운 프레임워크를 제안한다.”

2014년 등장한 한 논문은 인공지능(AI) 업계를 뒤집어 놓았다. 지도 학습 중심의 딥러닝 패러다임을 비지도 학습으로 바꿔놓았기 때문이다. GAN(Generative Adversarial Network), 우리말로 생성적 적대 신경망이라고 불리는 연구 결과다. 구글 브레인에서 머신러닝을 연구하고 있는 이안 굿펠로우(Ian Goodfellow)가 NIPS 학회에서 발표한 뒤로 GAN을 기반으로 한 다양한 후속 연구와 사례들이 나타나고 있다. 딥러닝의 대가이자 페이스북 AI 연구팀 리더인 얀 르쿤(Yann Lecun) 교수는 GAN을 최근 10년간 머신러닝 연구 중 가장 혁신적인 아이디어로 꼽았다. 무엇보다 진짜 같은 가짜를 쉽고 빠르게 만들 수 있다는 점에서 기술이 널리 확산되고 있다.

 

진짜 같은 가짜를 만들어내는 기술

GAN은 생성적 적대 신경망이라는 이름처럼 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 모델은 ‘생성자(Generator)’와 ‘감별자(Discriminator)’로 불리는데 상반된 목적을 갖고 있다. 생성자는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성한다. 실제에 가까운 거짓 데이터를 생성하는 게 목적이다. 감별자는 생성자가 내놓은 데이터가 실제인지 거짓인지 판별하도록 학습한다. 생성자의 거짓 데이터에 놀아나지 않는 게 목적이다. 이안 굿펠로우는 생성자를 위조지폐범에, 감별자를 경찰에 비유했다. 생성자는 감별자를 속이지 못한 데이터를, 감별자는 생성자에게 속은 데이터를 입력받아 학습한다. 이 과정이 반복되면서 위조지폐가 정교해지듯 점점 더 실제에 가까운 거짓 데이터를 만들 수 있게 되는 셈이다.

| GAN의 학습 과정 원리 <출처: 네이버랩스>

2014년 GAN 논문이 처음 발표된 뒤로 다양한 후속 연구가 발표되고 있다. 학계에서 GAN이 차세대 딥러닝 알고리즘으로 주목받는 이유는 기존 지도 학습 방식에서 벗어나 비지도 학습의 초석을 다졌기 때문이다. 대부분의 AI 연구는 지도 학습 방식으로 이뤄진다. 사람이 정답을 알려주는 방식의 학습이다. 해당 이미지가 고양이인지 개인지 태그를 달아주는 등 AI가 학습할 수 있는 방식으로 데이터를 가공하는 과정이 필요하다. AI 세계 뒤에선 데이터에 일일이 라벨을 붙여주는 인간의 수작업이 벌어지고 있는 셈이다.

이처럼 지도 학습 방식의 한계는 대량의 데이터를 정제 과정 없이 처리할 수 없다는 점과 이 과정에서 인간의 개입이 필요하다는 점이다. 반면 GAN은 인간이 정답을 알려주지 않아도 경쟁 과정 속에 스스로 학습한다. 대량의 데이터를 AI 스스로 학습하기 때문에 파급 효과가 더 큰 셈이다. 특히 생성 모델을 통해 직접 이미지나 음성을 만들어낸다는 점에서 다른 지도 학습형 알고리즘과 차별화된다.

 

다양한 적용 사례

GAN은 주로 이미지 생성에 활용된다. 실제 이미지를 학습해 거짓 이미지를 만들어낸다. 엔비디아는 2017년 유명인 20만명의 사진을 학습시켜 실존하지 않는 사람들의 사진을 무한대로 만들어낼 수 있는 기술을 선보였다. 사람의 눈으로는 실존 인물인지 가상 인물인지 판별하기 어려운 수준의 사진이다. 과거에는 전문가가 포토샵 등을 이용해 일일이 작업해야 가능했던 일을 더 빠르고 쉽게 작업을 할 수 있게 됐다. 엔비디아가 발표한 논문은 사람뿐만 아니라 침실, 화분, 소파, 버스 등의 사물도 AI가 실제처럼 만들어낼 수 있다는 걸 보여준다. 또 GAN을 활용해서 간단한 스케치만으로 제품 디자인 시안을 생성해주거나 유명 화가의 그림처럼 만들어주는 일도 가능해졌다. 저해상도 사진을 고해상도로 만드는 등 손상된 이미지를 복원할 수도 있다.

| GAN을 통해 유명인 사진을 바탕으로 만들어진 허구의 인물 <출처: 엔비디아>

GAN은 영상 합성에도 활용된다. 지난 2017년 8월 미국 워싱턴대학교 연구진은 버락 오바마 전 미국 대통령의 가짜 영상을 만들어 화제가 됐다. 오바마 전 대통령의 연설 영상에서 음성을 따서 이 음성에 맞게 입 모양을 내도록 학습시켜 합성해 실제로는 존재하지 않는 영상을 만들어냈다. GAN은 음성 합성에서도 성과를 내고 있다. IBM 등은 특정 인물의 목소리, 말투, 화법 등을 학습시켜 실제 사람의 음성을 만들어내는 연구를 하고 있다.

| 버락 오바마 전 미국 대통령의 가짜 영상 <출처: 워싱턴대학교>

| Teaser – Synthesizing Obama: Learning Lip Sync from Audio <출처: 유튜브>

텍스트 생성 분야에서도 GAN이 활용된다. MIT의 한 연구진은 수천개의 이미지와 시를 쌍으로 학습시켜 AI가 이미지를 보고 시를 만들어내도록 하는 연구를 진행했다. 30명의 영문학 전문가를 포함한 500명에게 AI가 만든 시와 인간이 쓴 시를 구별하도록 했는데, 영문학 전문가 중 60%만 AI가 쓴 시를 선별해냈다. 나머지 심사자들은 이보다 못한 결과를 나타냈다. 이안 펠로우는 ‘엔비디아 GPU 테크놀러지 콘퍼런스(GTC2017)’에서 “GAN에게 특정한 문장 스타일이나 화법을 공부시키면 이를 학습해 사용자보다 훨씬 풍부하고 정교한 언어를 사용할 수 있다”라고 말했다.

| 캠브리지 컨설턴트가 엔비디아의 기술을 활용해 만든 빈센트 AI <출처: 엔비디아>

| GAN을 활용해 간단한 스케치만으로 시제품을 디자인할 수 있다. <출처: Berkeley AI Research (BAIR)>

국내에서도 GAN을 활용한 여러 서비스가 등장하기 시작했다. 네이버는 GAN을 적용한 몰입형 웹툰을 선보였다. 네이버 웹툰 ‘마주쳤다’는 독자의 사진을 활용해 웹툰 이미지로 생성했으며 독자가 웹툰 속 주인공이 되는 경험을 제공했다. 네이버 ‘D2 스타트업 팩토리(D2SF)’에 입주한 스타트업 알레시오는 GAN을 응용해 태아의 입체 초음파 사진을 생후 아기의 얼굴로 변환해주는 서비스를 준비 중이다.

| GAN을 활용한 네이버 웹툰 ‘마주쳤다’ <출처: 네이버랩스>

 

‘딥페이크’ 등 악용 사례에 대한 우려도

GAN은 진짜 같은 가짜를 생성해준다는 점에서 높은 활용성이 기대되지만 악용 가능성에 대한 우려도 만만치 않다. 실제와 구별되지 않는 거짓이 현실을 압도할 수 있기 때문이다. 현재도 GAN을 활용한 ‘딥페이크’ 포르노 영상들이 유통되면서 부작용을 낳고 있다. 유명 연예인들의 얼굴을 포르노 영상에 합성한 영상들이 GAN을 바탕으로 정교해지면서 디지털 성범죄가 무분별하게 벌어지고 있다. 과거에도 이미지, 영상 합성 등으로 인한 문제가 없었던 건 아니지만 가짜 콘텐츠를 쉽고 빠르게 대량으로 찍어낼 수 있다는 점에서 이전과 다른 파괴적 영향력을 가질 수 있다.

이는 가짜 뉴스 문제와 궤를 같이한다. 가짜 뉴스 역시 인간 역사와 함께해 온 문제지만, 기술의 발전에 따라 가짜 뉴스의 생산 속도와 양이 기하급수적으로 늘면서 이전과 다른 사회적 파급력을 갖게 됐다. 텍스트보다 신뢰성 있는 이미지, 음성, 영상들이 실제와 가깝게 만들어져 조작될 경우 가짜 뉴스 문제는 더욱 심각해진다. IT 자문기관 가트너는 ‘2018년 이후 주목할 10대 디지털 기술 전망’을 발표하면서 2020년이 되면 사람들이 실제 정보보다 AI가 만든 허위 정보를 더 많이 접하게 될 것이라고 전망했다.

| AI의 부작용에 대한 우려 때문에 기술의 윤리성에 초점이 맞춰지고 있다. <출처: 픽사베이>

최근 기술의 윤리성에 초점이 맞춰지는 이유도 여기에 있다. AI 기술의 부작용에 대한 우려가 늘면서 글로벌 IT기업들은 AI 윤리 규범을 내놓고 있다. 마이크로소프트는 2017년 자사의 AI 연구 인력을 위한 ‘AI 디자인 원칙’과 ‘AI 윤리 디자인 가이드’를 소개했다. AI가 효율성을 극대화하되 인류를 위협하지 않고 인류 발전에 기여해야 하며 투명성을 갖추고 기술이 신뢰에 기반해야 한다는 내용을 담고 있다. 같은 해 1월 미국 캘리포니아주 아실로마에 테슬라 최고경영자 일론 머스크, 알파고를 개발한 데미스 허사비스 등이 모여서 ‘아실로마 AI 원칙’을 발표했다. 국내 기업 중에는 카카오가 ‘알고리즘 윤리 헌장’을 2018년 1월 발표했다.

 

※ 참고자료

  • 구본권, 『‘진짜 같은 가짜’ 무한경쟁 결과는 ‘식별 불가능한 가짜’』 (한겨레, 2018.05.28)
  • 황민규, 『구글·페이스북이 반한 AI 창시자 “밑그림만 그려도 실사와 똑같은 디자인 만들어”』 (조선비즈, 2017.05.11)
  • 박종훈, 『현실 같은 가짜를 상상으로 만들어 내는 새로운 인공지능 ‘GAN’』 (정보통신기술진흥센터 주간기술동향 1824호, 2017.11.29)
  • James Vincent, 『Nvidia uses AI to make it snow on streets that are always sunny』 (THE VERGE, 2017.12.05)
  • Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, 『Generative Adversarial Networks』 (NIPS, 2014)
  • Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros, 『Image-to-Image Translation with Conditional Adversarial Networks』 (Berkeley AI Research (BAIR) Laboratory University of California, Berkeley, 2016)

이 글은 ‘네이버캐스트→테크놀로지월드→용어로 보는 IT’에도 게재됐습니다. ☞‘네이버캐스트’ 보기

네티즌의견(총 0개)