옛 유튜브 알고리즘 담당자가 밝힌 추천 시스템의 비밀

가 +
가 -

flickr. Rego Korosi. CC BY.

상황을 하나 상상해보자. 당신이 궁금한 정보가 있어 유튜브에 키워드를 검색했다. 검색 상단에 오른 동영상 중 관심이 가는 썸네일을 클릭한다. 영상을 시청한다. 자연스럽게 ‘다음 동영상’ 목록에 오른 것을 시청한다. 그 후 또 한번 ‘다음 동영상’을 추천받아 시청한다. 이 과정을 반복한다.

위 상황은 우리가 유튜브에서 콘텐츠 추천 시스템을 접하게 되는 지점을 보여준다. 검색 결과 상단에 오르는 것, 그리고 ‘다음 동영상(Up next)’ 목록에 오르는 것. 이 두 가지는 모두 유튜브가 구성한 추천시스템에 의해 작동되며 이용자가 서비스를 계속 이용하도록 유도한다.

동영상 산업에서 콘텐츠 추천 시스템은 서비스의 성패를 좌우하는 핵심이 된다. 특히 유튜브는 계속해서 개인화 혹은 맞춤화를 강조해왔다. 이용자의 선호를 잘 파악하고, 양질의 콘텐츠를 제시해 이용자 편의를 추구한다는 것이다. 그렇다면 유튜브는 어떤 항목을 기준으로 콘텐츠 추천 시스템을 작동시킬까. 누구나 한번쯤 궁금해봤을 법한 문제다. 하지만 ‘기술’, ‘인공지능’, ‘알고리즘’ 같은 용어들이 더 이상의 궁금증을 막곤 했다.

의문은 계속해서 제기돼 왔다. 윤리적으로 도저히 납득하기 어려운 사건들이 연이어 터졌기 때문이다. 자살한 사람이 촬영된 ‘로건 폴’ 채널의 영상은 수백만건의 조회수를 기록했고, 디즈니 애니메이션 주인공을 소재로 한 자극적인 콘텐츠가 문제가 될 뿐만 아니라 폭력·테러에 관한 영상들도 항상 문제가 됐다. 그때마다 유튜브는 ‘구글의 머신러닝과 자동 알고리즘 시스템을 철저히 강화하겠다’라는 대응만 밝혀 비난을 샀다.

(사진=The Guardian)

“유튜브 추천 알고리즘은 사람들이 온라인에서 더 많은 시간을 보내도록 왜곡돼 있다.”

전 유튜브 추천시스템 담당자가 <가디언>에 추천 알고리즘 방식에 대한 의혹을 폭로했다. 기욤 샤스로 전 유튜브 엔지니어팀 직원은 구글에서 3년간 근무했으며 2013년에 해고당했다. 그는 유튜브의 추천 시스템이 결코 민주주의적이고, 진실에 가깝고, 균형적인 것을 최적화한 형태로 작동하지 않는다고 주장했다. 가장 우선순위는 시청 시간이다. 그는 자신이 일했던 엔지니어팀에서 사람들이 유튜브 내에서 동영상 시청 시간을 연장해 광고 수입을 늘리도록 하는 시스템을 계속해서 실험했다고 밝혔다.

앞서 설명했듯 유튜브는 이용자들에게 알고리즘에 관련한 어떠한 데이터도 공개하지 않는다. 이용자는 특정 동영상이 어떤 알고리즘을 통해 홍보됐는지, 유튜브의 추천 시스템 작동에 의해 홍보된 동영상이 어떤 성과를 얻었는지 전혀 알 수 없다. 때문에 유튜브가 알고리즘 내에서 편향된 추천 시스템을 작동시켰다거나 왜곡된 알고리즘 패턴을 적용했는지에 대한 추측도 할 수 없는 상황이다.

기욤 샤스로는 단순한 폭로에 그치지 않았다. 그는 지난 2016년을 시작으로 유튜브의 추천 알고리즘의 작동을 추측할 수 있는 데이터를 수집하기 시작했다. 웹사이트를 개설하고 스스로 설계한 프로그래밍을 통해 유튜브의 데이터를 수집했다. 이후 그가 수집한 데이터와 <가디언>이 손을 잡았다. <가디언>은 지난 2월2일 기욤 샤스로의 데이터베이스로부터 분석한 결과를 그의 인터뷰와 함께 보도했다.

기욤 샤스로의 유튜브 추천 데이터 웹사이트 화면 갈무리. 주제별로 가장 많은 추천을 받은 영상과 키워드 데이터를 제시한다.

#기욤 샤스로의 데이터 수집

기욤 샤스로는 유튜브의 완벽한 데이터 샘플을 긁어올 순 없음을 이미 알고 있었다. 때문에 2가지 추천 데이터를 단순히 스냅하는 방법을 선택했다. 유튜브의 초기 검색 결과에서 제공되는 리스트와 다음 동영상으로 추천하는 영상 리스트다. 수천번의 작업을 통해 기욤 샤스로는 유튜브가 특정 주제에 대해 추천 컨베이어 벨트에 올리는 데이터군을 수집할 수 있다는 것을 경험했다.

작업 과정은 이렇다. 그는 지난 대통령 선거 당시 도널드 트럼프 후보와 힐러리 클린턴 후보에 관한 유튜브 추천 시스템 작동을 주제로 잡았다. 먼저 각 후보 이름을 검색해서 나오는 결과 중 상위 5개 비디오를 수집하고, 해당 동영상을 클릭한 후 다음 동영상으로 추천하는 비디오 리스트를 캡처했다. 기욤 샤스로는 유튜브가 추천한 다음 동영상이 어떤 성격의 비디오인지를 분석하는 작업까지 프로세스를 반복했다.

이를 통해 기욤 샤스로가 공개한 대선후보 관련 데이터 리스트는 총 8052개다. 몇 가지 규칙이 있었다. 기욤 샤스로는 균형 있는 데이터를 수집하기 위해 개인화 시스템 작동을 최대한 방지해야 했다. 그는 자신의 검색 결과를 균형 있게 하기 위해 각 후보의 이름을 번갈아가며 한 번씩 검색했다. 또한 동영상 시청기록에 영향을 받지 않기 위해 추천된 다음 동영상으로 넘어가는 과정을 거치지 않았다.

#<가디언>의 분석

유튜브 검색 결과 및 추천 동영상

동영상을 시청하면 오른쪽에 ‘다음 동영상(Up next)’ 리스트를 제안한다.

<가디언>은 기욤 샤스로가 공개한 8052개 모든 동영상과 그중 가장 많이 추천된 상위 1천개의 동영상을 집중 분석했다. 각 개별 비디오에 대해 동영상의 성격도 분석했다. 추천된 동영상의 성격이 각 당을 지지하는지 여부를 판별하기 위해 내용 및 제목을 조사했다. 그 결과 전체에서 3분의 2에 해당하는 동영상 콘텐츠가 특정 후보에게 유리하게 작동하는 내용이었음을 판단했다. 총 643개의 편향 콘텐츠 중 551개가 트럼프를 지지하는 성격을 나타냈다. 나머지 3분의 1에 해당하는 추천 동영상은 선거와 무관하거나 정치적으로 중립적인 것으로 분석했다.

<가디언>은 전체 영상을 ‘추천 횟수’에 따라 순위를 매기는 작업도 했다. 검색 동영상 옆에 다음 동영상으로 추천된 횟수를 1회당 1추천으로 계산했다. 이에 따라 상위 추천 동영상 25개와 추천수가 많은 상위 유튜브 채널 10개를 추렸다. 대부분 중립적이라기보다는 특정 후보에 대한 성향을 드러내는 것들이다. 그중 몇 개 리스트는 아래와 같다. 제목을 통해 성향을 유추할 수 있다. (링크가 걸려있지 않은 것은 해당 보도 전후로 계정이 삭제됨)

Trump supporter leaves CNN anchor speechless
– Must Watch!! Hillary Clinton tried to ban this video
– Can Donald Trump win the presidential election?
– Busted! Bill Clinton’s Face When Trump Brings Up The Rape Allegations is Priceless.
BREAKING!!! JULIAN ASSANGE “DEAD MAN SWITCH” Goes Off after EXPOSING Hillary Clinton?

<가디언>은 정치 관련 데이터베이스 분석업체 그래피카와도 분석한 내용을 공유했다. 그래피카는 유튜브의 추천 동영상 데이터를 2016년 선거에서 활동한 트위터 계정 데이터와 통합하는 작업을 했다. 그 결과 51만3천개가 넘는 트위터 계정에서 기욤 샤스로가 공개한 유튜브 추천 동영상 중 적어도 1개 이상의 링크를 트윗했다는 것을 발견했다. 특히 그중 3만6천개 계정은 1개 이상의 링크를 10번 이상 트윗했다. 졸 켈리 그래피카 전무는 “선거 이전 수개월간 정치 요원들이 관리하는 수천개의 트위터 계정에서 유튜브 동영상이 업데이트됐다”라며 “가장 많은 연결이 있었던 건 도널드 대통령 후보를 지지하는 계정이었다”라고 밝혔다. <가디언>은 “해당 트윗 계정 중 가장 활동적으로 나타난 19개 계정은 동영상 링크를 1천번 이상 트윗했다”라며 “이는 자동화된 활동의 증거”라고 주장했다.

#결론은?

위의 데이터 분석 결과를 통해 얻을 수 있는 주장은 2가지 정도로 추려진다.

  1. 유튜브 추천 알고리즘 시스템이 편향되거나 음모론적 동영상 위주로 작동한다. 이는 유튜브 시스템의 초점이 ‘체류 시간’에 가있다는 것을 의미한다.
  2. 외부 세력이 유튜브 추천 알고리즘을 작동시킬 가능성이 있다. 특정 세력이 자신의 콘텐츠를 이슈화시킬 경우 추천 동영상에 자주 등장할 경우의 수가 높다.

유튜브 측은 이에 대해 ‘동의하지 않는다’는 의사를 밝혔다. 유튜브 대변인은 “8천여개의 샘플이 유튜브가 대선 기간 추천한 정확한 데이터가 될 수 없다”라며 “우리의 검색 및 추천 시스템은 사람들이 검색하는 내용, 시청가능한 동영상의 수, 사람들이 해당 동영상을 클릭한 수 등을 반영한다”라고 말했다. 예상된 답변이다. 자극적인 동영상에 대해서도 동일한 답변을 내놓았다.

알고리즘에 대한 의혹은 결말 없는 게임처럼 느껴진다. 기욤 샤스로는 유튜브 내부에서도 변경에 대한 시도는 있었다고 설명했다. 그는 “체류시간에만 집중된 유튜브 추천 시스템은 필터버블과 가짜뉴스를 발생시킬 수밖에 없었다”라며 “비슷한 생각을 가진 사람들과 유튜브 동영상의 품질과 다양성 개선을 위한 알고리즘 수정방안을 제시했지만 매니저들에 의해 채택되지 않았다”라고 밝혔다. 유튜브는 같은 대답을 반복하고, 대중과 언론은 계속해서 같은 의문을 제기하고 있다. 변화가 어디서부터 시작되고 답을 찾을 수 있을지는 지켜보는 수밖에 없어보인다.

네티즌의견(총 4개)