기만적인 알고리즘, ‘규제’가 필요해

가 +
가 -

알고리즘 세상을 형상화한 이미지.

21세기형 ‘보이지 않는 손’, 알고리즘

우리는 알고리즘 세상에 살고 있다. 알고리즘은 상상하는 것보다 광범위하게 우리 삶에 관여한다. 아니, 관장한다. 인터넷 서핑을 하다가 마주치는 광고, 아마존이 추천하는 책, 넷플릭스가 우리 눈앞에 보여주는 영상 모두 알고리즘이 작용한 결과다. 알고리즘의 영향력은 온라인 세상에 국한되지 않는다. 실제 세상에서는 더 크고 중대한 영향을 미친다. 과거 사람이 했던 의사결정을 알고리즘이 맡게 된 사례는 무수히 많다. 알고리즘은 21세기 버전의 ‘보이지 않는 손’이라고 해도 과언이 아니다.

기만적인 알고리즘

문제는 알고리즘이 기만적이라는 데 있다. 우리는 흔히 알고리즘이 공정하고 중립적이라고 믿는다. 최선의 판단은 편견에서 거리를 둘 때 나오고, 알고리즘은 사람과 달리 편견 없이 작동하리라는 믿음이다. 진실은 믿음과 다르다. 미국 비영리 탐사보도 매체 <프로퍼블리카>는 2016년 기사 ‘기계의 편견’을 통해 알고리즘의 기만적인 현실을 적나라하게 고발했다. 기사 내용은 충격적이다. 미국 법원은 피고인의 재범 가능성을 판단하는 데 알고리즘을 사용하는데, 이 알고리즘이 흑인에 대해 차별적이고 편견이 엿보이는 판단을 내렸다는 것이다. 이 판단은 법원이 피고인의 형량, 보석금 액수 등을 결정하는 데 막대한 영향을 미쳤다.

기만적 알고리즘의 4계층

알고리즘은 어떻게 우리의 믿음을 배반하고 기만적이 되는 걸까. 미국의 수학자 캐시 오닐은 지난 7월16일(현지시간) <가디언> 기고문을 통해 우리에게 거짓말을 하는 나쁜 알고리즘에는 4가지 계층이 있다고 분석했다.

캐시 오닐이 강의하는 모습. (출처=플리커)

▲캐시 오닐. (출처=플리커. CC.BY. Mathematical Association of America)

계층1. 의도하지 않은 기만

가장 상단에는 의도하지 않은 기만이 있다. 즉 알고리즘이 문화적 편견을 의도치 않게 그대로 반영하며 생기는 문제들이다. 예를 들어보자. 구글에 주로 흑인이 많이 사용하는 이름을 검색하면 범죄와 관련된 광고를 마주할 가능성이 커진다. 이는 구글 엔지니어들이 인종차별을 의도한 검색 알고리즘을 만들었기 때문이 아니다. 검색 알고리즘이 검색 데이터를 기반으로 학습하며 사회의 편견을 답습한 결과다.

계층2. 방치로 인한 기만

다음 계층은 방치로 인한 기만이다. 가령 어떤 알고리즘 프로그램은 최저임금을 받는 노동자가 윤택한 삶을 꾸리기 어렵게끔 업무 일정을 짠다. 저임금 노동자에게 불규칙한 업무 시간을 배치해 그들이 야간학교에 다니거나 규칙적으로 자녀를 돌보는 것을 방해하는 식이다. 이는 나쁜 의도에서 나온 기만이 아니다. 다만, 이들을 거대한 기계 속 하나의 부품으로 보고, 알고리즘을 설계하는 단계에서 이들을 무시했기 때문에 생긴 결과다. 또 다른 예는 구글의 인종차별적인 이미지 자동 태그 기능이다. 흑인 사진에 이 기능을 사용했을 때 고릴라 태그가 붙는 일이 발생했다. 자동 태그 기능을 수행할 알고리즘을 설계할 때 다양한 범주에서 제대로 작동하는지 시험해야 했는데 이를 간과해 생긴 기만이다.

계층3. 불쾌하지만 합법적인 기만

세 번째 계층은 불쾌하지만, 불법은 아닌 기만이다. 지난 5월 페이스북의 내부 보고서가 유출됐다. 페이스북 호주지사에서 일하는 관리자의 지시로 만들어진 이 보고서엔 페이스북이 청소년 사용자의 감정 상태를 실시간 모니터링해, 감정이 불안정한 청소년들을 광고사들에 알렸다는 내용이 담겨 있다. 불쾌하지만, 딱 잘라 불법이라고 규정할 수 없는 사례다. 알고리즘이 자동차 보험 가입자의 성향을 파악해 보험료를 달리 적용한 일도 있다. 이 알고리즘은 사람들의 쇼핑 성향을 분석해 가격을 비교해가면서 꼼꼼하게 따지지 않을 것 같은 성향의 사람들에겐 더 높은 보험료가 적용되게끔 했다.

계층4. 의도적이고 불법도 마다하지 않는 기만

마지막 계층에는 의도적인 기만이 자리하고 있다. 의도를 가지고 비도덕적으로 설계된 알고리즘, 때로는 엄연한 불법도 마다치 않는 알고리즘이 여기에 해당한다. 테러리스트나 범죄자가 아닌 시민 활동가를 타깃으로 한 감청 도구들, 우버가 경찰관의 단속을 피하기 위해 만든 알고리즘 ‘그레이볼’ 프로그램, 2015년 만천하에 드러난 폭스바겐의 배기가스 배출 조작 알고리즘 등. 불법적으로 시민과 소비자를 기만하는 알고리즘의 사례는 지금까지 밝혀진 것만도 여럿이다.

“규제가 필요하다”

전문가들은 이제 기만적 알고리즘에 ‘규제’가 필요하다고 이야기한다.

유럽에선 이미 알고리즘의 의사결정 규제에 대한 법제화가 이뤄졌다. 2016년 4월 유럽연합(EU)은 ‘일반개인정보보호규정(GDPR)’을 통과시켰다. GDPR은 AI 시대 알고리즘 규제에 대한 중요한 전환점으로 평가받는다. GDPR의 효력은 2018년 5월부터 유럽 전역에서 발효된다.

벤 슈나이더맨 사진.

▲벤 슈나이더맨. (출처=메릴랜드대학교 홈페이지)

미국에서도 알고리즘 규제에 나서야 한다는 전문가 목소리가 나오고 있다. 컴퓨터과학자 벤 슈나이더맨은 지난 5월 열린 앨런 튜링 협회 대담에서 ‘국립 알고리즘 안전위원회’를 만들자고 제안했다. 알고리즘 안전위원회는 알고리즘에 의한 피해를 조사하고, 이에 책임져야 할 주체가 누구인지 결정하는 일을 맡는다. 국립 교통 안전위원회가 교통사고를 조사하듯 국가적 차원에서 기만적 알고리즘을 조사·관리하자는 것이다.

벤 슈나이더맨은 “이미 주식 시장에서의 가격 설정, 항공기의 오토파일럿 모드, 보험금 계산 등이 알고리즘의 손에 넘어갔다”라며 “미래에는 자율주행차 제어, 의료 진단 등 더 중요한 일에 (알고리즘이) 사용될 것”이라면서 국립 알고리즘 안전위원회의 필요성을 이야기했다.

캐시 오닐은 벤 슈나이더맨의 제안을 반겼다. 그는 “(기만적 알고리즘과 그 이면에 있는 거대 기업에 맞서) 우리가 뭉쳐야 할 때”라면서 “우리를 해할 가능성이 있는 알고리즘들이 공정하고 합법적으로 작동하는지 알려줄 증거를 요구해야 한다”라고 강조했다. 이어 “문제가 발견됐을 때는 무거운 벌금을 매겨 기업들이 기만적 알고리즘을 이용해 돈을 벌 생각을 애초에 못하게끔 만들어야 한다”라고 덧붙였다.

이같이 알고리즘에 대한 전문가들의 우려 섞인 경고와 실제 알고리즘 규제를 법제화하려는 움직임이 활발하다. 이제 우리도 알고리즘이 시민과 소비자를 기만하고 있지는 않은지 감시해야 한다. 또 알고리즘의 기만적 의사결정을 규제하기 위한 실질적 행동이 무엇인지 질문할 때다.