단 ‘0.5초’ 유령 표지판에 속은 테슬라 오토파일럿

가 +
가 -

테슬라의 자율주행시스템 ‘오토파일럿’이 스치듯 깜빡이는 가짜 광고판에도 반응한다는 연구 결과가 나왔다. 향후 해커들이 인터넷에 연결된 도로 위 디지털 광고판 등을 악의적으로 해킹해 교통체증 및 사고를 유발할 가능성이 제기돼 주목된다.

이스라엘 네게브 벤구리온대 연구팀은 지난 2년간 반자율주행 시스템을 속이기 위한 ‘유령(Phantom)’ 이미지 실험을 진행해왔다. 그리고 최근 연구 결과에서는 비디오형 광고판에 주입된 단 몇 프레임의 가짜 표지판만으로도 오토파일럿을 속일 수 있었다고 밝혔다.

실험 영상을 보면 야간주행 중 15초 분량, TV 크기의 햄버거 광고에서 ‘STOP’ 표지판이 스치듯(0.5초) 표시된 후 사라진다. 만약 인간이 사전 정보 없이 광고를 봤을 땐 놓칠 수 있는 장면이지만 오토파일럿(HW3 버전)은 이를 정확히 확인 후 차량을 멈춘다.

0.5초간 STOP 표지판이 표시되는 광고와, 이를 인지해 멈추는 오토파일럿 차량 / 자료=나시벤닷컴

다음 실험은 실내 주차장에서 같은 광고 영상에 약 0.1초간 속도제한 표지판을 띄웠을 때(회색빛으로 대비를 낮춘) 모빌아이 630 PRO(ADAS) 탑재 차량의 반응이다. 애초에 고속 주행이 불가능한 주차장임에도 센서는 찰나의 제한 속도 표지판을 인지해 반응하는 모습을 보여준다.

역시 짧게 스치는 속도제한 표시에 반응하는 모빌아이 ADAS / 자료=나시벤닷컴

벤구리온대 연구진은 “이것은 버그가 아니다”라고 말한다. 그보단 훈련되지 않은 개체까지 탐지하는 머신러닝 모델의 근본적 결함이란 설명이다. 인간은 찰나의 깜빡임이나 엉뚱한 곳에서 등장하는 표지판이 가짜임을 바로 눈치챌 수 있지만, 현재 차량용 인공지능의 경우 도로 표식에만 집중하므로 그것이 나타나는 환경과 지속성은 간과할 수 있다는 얘기다.

한편으론 다른 센서가 가짜 표지판을 감지하지 못하더라도 시각적 투영을 실제로 간주하고 안전을 위해 일단 차량을 제어하는 시스템 알고리즘의 한계이기도 하다. 따라서 자율주행 인공지능 학습 모델을 개선하고 업그레이드하는 것으로 가짜 표지판 인식 문제는 해결될 수 있다.

다만 연구진은 이런 유형의 공격이 갖는 잠재적 위험성에 대해 경고했다. 과거 복잡한 소프트웨어적 접근, 전파 조작 등의 고도의 기술이 필요했던 차량 해킹과 달리 가짜 물체를 투영하고, 광고판을 조작하는 행위는 상대적으로 접근 장벽이 낮고 비용도 적게 든다.

벤 나시(Ben Nassi) 벤구리온 연구원은 “기존의 차량 해킹은 법의학적 증거를 남기며 복잡한 준비를 필요로 했다”며 “반면 팬텀 공격은 순수한 원격 공격이 가능하고 특별한 전문지식도 필요하지 않다”고 말했다.