트렌드

실감나는 AR 게임 구현을 위한 기술은 어디까지 왔을까

2018.12.31

요즘 TvN에서 방송하고 있는 ‘알함브라 궁전의 추억’이 연일 화제다. 현빈과 박신혜라는 굵직한 배우도 흥행에 크게 한 몫 하고 있지만, 드라마에서 그려내는 증강현실(AR) 게임도 인기 상승에 기여하고 있다. 현실과 가상현실을 오가며 다양한 IT 기술로 시청자에게 새로운 볼거리를 제공한다.

드라마 알함브라 궁전의 추억은 주인공이 AR 기반의 게임을 하면서 펼쳐지는 이야기다. 드라마의 주 배경은 스페인 남부에 위치한 도시 ‘그라나다’. 극 중 현빈이 운영하는 회사에서 개발한 스마트렌즈를 착용하면, 현실과 같은 가상현실이 실제 공간에 덧그려 보여진다. 2018년 그라나다에서 15세기 아르곤 병사를 만날 수 있다.

출처=알함브라 궁전의 추억 드라마

| (출처=드라마 ‘알함브라 궁전의 추억’)

현빈은 이 드라마에서 스마트렌즈를 착용하고 실제인 것처럼 칼을 휘두르며 병사와 싸운다. AR 속 검에 맞으면 피도 흘린다. 현실과도 같은 생생한 게임을 즐기려면 어떤 기술이 필요할까. AR 기술은 단순히 디스플레이 기술 뿐만 아니라 컨트롤러, 공간인식, 컴퓨터 비전등 연관된 기술들이 필요하다. 드라마처럼 AR 게임을 실감나게 하려면 어떤 기술이 필요한지 따져봤다. (AR게임과 스마트렌즈 관련 기사는 이곳에서)

| 드라마에서 주인공이 이 스마트렌즈를 착용하고 게임을 한다.

| 드라마에서 주인공이 이 스마트렌즈를 착용하고 게임을 한다.  (출처=드라마 ‘알함브라 궁전의 추억’)

1. 컨트롤러

가상현실 기술이나 증강현실 기술을 사용할 때 사용자의 입력을 받거나 혹은 반대로 피드백을 주는 방식으로 가장 많이 사용되는 것이 바로 컨트롤러다.

Windows Mixed Reality Controller (출처 Microsoft)

| Windows Mixed Reality Controller (출처=마이크로소프트)

컨트롤러는 사용자의 동작으로 바로 전달하는데 효과적이다. 뿐만 아니라 진동을 통해서 사용자들에게 피드백을 전달하거나 할 수도 있다. 드라마에서처럼 칼이나 총을 쥐는 동작은 컨트롤러를 사용하면 비교적 쉽게 구현 할 수 있다. 다만, 드라마에서처럼 컨트롤러가 없이 맨손에서 갑자기 칼이나 총이 튀어 나오려면 또 다른 방식의 기술이 필요하다.

| 손에서 검이 만들어진다.

| 아무것도 없는 손에서 검이 튀어나온다. (출처=드라마 ‘알함브라 궁전의 추억’)

컨트롤러 없이 사람의 손 자체를 인식하는 방법에는 주로 적외선을 사용한다. 대표적인 것이 바로 립모션이다. 립모션은 크기도 작고 개발도 용의하기 때문에 한 때 많은 관심을 받았다. 그러나 립모션의 한계는 분명하다. 즉 립모션이 설치되어 있는 환경에서만 동작한다. 고정된 환경에서만 사용할 수 있다.

립모션 (출처: leapmotion.com)

| 립모션 (출처=립모션 웹사이트)

증강현실 장치에서 바로 사용자의 손을 바로 인식하는 기술도 함께 발전하는 이유다. 가장 대표적인 것이 바로 마이크로소프트의 홀로렌즈다.

홀로렌즈는 상단에 있는 적외선 카메라 4개를 사용해 사용자의 손을 바로 인식할 뿐만 아니라 제스처(동작이나 움직임)까지 인식한다. 홀로렌즈를 사용할 경우 사용자는 별도의 컨트롤러 없이 바로 자신의 손을 바로 인식시킬 수 있으며, 눈에 보이는 홀로그램 선택하고 기능들을 별다른 컨트롤러 없이 동작 시킬 수 있다.

홀로렌즈에 내장된 다양한 센서 (출처 Microsoft)

| 홀로렌즈에 내장된 다양한 센서 (출처=마이크로소프트)

2. 공간인식

AR 게임을 제공하기 위해서 또 하나 꼭 필요한 기술은 바로 공간인식이다. 구글 글래스와 같이 단순하게 정보를 제시만 하는 경우라면 큰 문제가 없겠지만, 게임을 하거나 혹은 산업용으로 특별하게 설계된 콘텐츠라면 특정 위치에 정확하게 정보를 표현 할 수 있어야 한다. 이럴 때 필요한 기술이 바로 공간인식 및 실내 위치인식이다.

| 드라마 '알함브라 궁전의 추억'

| 특정 공간에서 특정 행위를 해야만 무기를 받을 수 있다. (출처=드라마 ‘알함브라 궁전의 추억’)

드라마에서 현빈이 퀘스트를 수행할 때 필요한 특정 녹슨 검을 구하기 위해서 화장실로 찾아가는 장면이 나온다. 이때 필요한 것이 바로 공간인식 기술이다. 정확하게 주어진 공간안에 가상의 물건들을 배치하는 것은 생각보다 어려운 기술이다. 그래서 기존에는 위치를 나타내는 마커 등을 미리 설치해 두는 방식을 활용하거나 적외선 혹은 레이저를 활용해서 공간을 인식하는 방법 등을 사용했다.

바이브와 같은 기존 가상현실 장비에서는 마커를 활용하는 방법을 선택했다. 홀로렌즈에서는 적외선 카메나를 활용한 공간 인식 기술을 더했다. 홀로렌즈에서는 사용자의 제스처, 그리고 공간인식 등에 모두 적외선 기술을 사용한다. 별도의 마커 없이 공간 인식이 가능한 장점이 있는 반면 반대로 공간의 인식하고 계산하는데 별도의 처리가 필요한 단점이 있다.

마커를 이용한 공간 인식은 사전에 셋팅된 환경에서만 사용 가능하다. (출처: roadtovr.com)

| 마커를 이용한 공간 인식은 사전에 셋팅된 환경에서만 사용 가능하다. (출처=roadtovr.com)

물론 드라마속 장면들처럼 도시전체를 완전하게 인식하는데에는 현재 기술로는 한계가 분명하다. 드라마속 장면들 같은 자유도를 얻기 위해서는 좀 더 정밀한 공간 인식 기술과 더불어서 실내나 지하 등에서도 자유롭게 위치를 인식할 수 있는 방법 등이 추가적으로 필요하다.

3. 컴퓨터 비전

이슬람 장수 공격 장면. 주변의 지형지물을 활용하고 있다.

| 이슬람 장수 공격 장면. 주변의 지형지물을 활용하고 있다. (출처=드라마 ‘알함브라 궁전의 추억’)

알함브라 궁전의 추억 1편에 보면 동상으로 서 있던 이슬람 장수가 뛰어내려와서 현빈을 공격하는 장면이 나온다. 여기서 재미있는 사실은 주차 되어 있는 현실의 차량위로 뛰어내리자 차량이 찌그러들고 유리가 깨지는 효과를 볼 수 있다. 물론 실제로 차량이 부셔진건 아니고 현빈의 눈에만 그렇게 보였다.

이런 것들을 가능하게 하기 위해서는 증강현실 내에서 주변 사물을 정확하게 인식하고 사물의 종류에 따라서 다른 효과를 보여 줄 수 있어야 한다. 이렇게 실시간으로 주변의 사물을 인식하는 기술은 최근 가장 활발하게 개발되고 또 활용되고 있는 분야이다.

일반적으로는 영상처리를 기반으로 하는 기술도 있지만 최근에는 이 분야에서도 딥러닝 기반의 기술들이 자리잡고 있어서 미리 학습해 놓은 개체들을 빠르게 인식시키는 것도 가능할 뿐만 아니라 속도나 정확도도 실용 가능한 수준으로 다 올라왔다. 이 분야는 게임 뿐만 아니라 자율주행 자동차, 스마트 CCTV 이외에도 드론에서의 액티브 트레킹 등 다양한 분야에서 활용되고 있다.

| YOLO를 활용한 실시간 사물인식 장면(출처 pinterest.co.kr)

| YOLO를 활용한 실시간 사물인식 장면(출처=핀터레스트)

우리가 어릴적 보았던 영화적 상상력들이 하나씩 현실이 되고 있다. 알함브라 궁전의 추억에서 우리의 눈을 즐겁게 했던 현란한 기술들도 마냥 없는 이야기들을 지어낸 것도 아니다. 아마도 드라마속에서 우리가 신기해하며 보던 것들을 직접 즐길 시간도 그리 먼 미래는 아닐 것이라는 생각이 든다.


글쓴이 : 김영욱. 한국마이크로소프트 공공사업부에서 기술전략가로 일하고 있으며 최근에는 Microsoft AI와 클라우드와 관련해서 일하고 있다. 회사 밖에서는 소문난 밀덕으로 알려져 있으며 전쟁사와 IT를 엮어서 ‘War of IT’라는 책을 집필 하기도 했다. 개인 블로그로 영욱닷컴(http://YoungWook.com)을 운영하고 있다.

bloter@bloter.net

블로터는 블로거(BLOGGER)와 리포터(REPORTER)가 결합된 말입니다. 블로거의 전문적 분석능력과 리포터의 현장취재력이 결합된 소셜시대의 새로운 저널리스트를 꿈꿉니다. # Twitter : @bloter_news # Facebook : facebook.com/bloter.net