요약정리

페이스북이 ‘김치녀’와 ‘한남충’을 달리 보는 이유

2019.11.29

“만약 오늘 아침 제가 ‘OO’이가 입은 옷이 촌스럽다고 얘기를 했어요. 그리고서 페이스북 계정에는 ‘OO이 오늘 정말 예쁘지 않냐’고 올려요. 말만 보면 칭찬이니 인공지능(AI)은 맥락을 알 수 없지만, 당사자는 ‘따돌림’이라는 걸 알겠죠.”

유동연 페이스북 콘텐츠 정책 매니저는 11월28일 서울 역삼동 페이스북코리아 본사에서 열린 ‘커뮤니티 규정 집행 현황 미디어 설명회’에서 “혐오발언이나 집단 따돌림은 맥락과 의도가 중요해서 AI 의존도가 낮은 편이다”라며 이같이 말했다.

| 유동연 페이스북 콘텐츠 정책 매니저

페이스북은 커뮤니티 규정에 따라 콘텐츠를 검토한다. △혐오발언을 비롯해 △자살 및 자해 관련 데이터 △아동 나체 이미지 및 아동에 대한 성착취 △불법 무기 및 의약품 거래 △테러 선동 등을 유해 콘텐츠로 지정하고 있다.

AI는 유해 콘텐츠 판별 작업을 손쉽게 돕는다. 페이스북은 지난 5년 간 AI에 지속적인 투자를 한 결과 자동으로 유해 콘텐츠를 감지하고 삭제하는 횟수가 높아지고 있다고 설명했다.

페이스북에 따르면 지난 3분기 기준 가짜계정 17억개 중 99.7%를 사전에 차단했다. 성인의 나체 이미지 또는 성적인 행위를 담은 3억300만개 게시물 중 98.4%를 미리 제한했다. 이외에도 페이스북과 인스타그램에 올라오는 대부분의 유해 콘텐츠는 AI가 90% 이상을 잡아내고 있다.

혐오발언(80.1%)과 따돌림·집단 괴롭힘(16.1%)의 사전감지 비율은 다른 항목보다 낮은 편이다. 특히 따돌림의 경우에는 당사자의 판단이 중요하게 작용한다. 유 매니저는 “맥락이 중요한 콘텐츠는 검토자의 힘을 빌리고 있다”라고 말했다. 페이스북은 전세계 1만5천여명 규모의 유해 콘텐츠 전담 검토인력을 갖추고 이 같은 작업을 진행하고 있다.

페이스북의 혐오발언 분류법

혐오발언의 사전감지 비율은 점차 높아지고 있다. 페이스북은 혐오발언으로 판별된 텍스트와 동일한 문자열 혹은 이미지를 식별하는 매칭 기능, 혐오발언 콘텐츠의 공통적인 문구나 패턴의 유사성을 평가하는 머신러닝 식별 기능(classifiers) 등 감지 기법을 통해 혐오발언을 제재하고 있다. 일부 사례의 경우 2019년 2분기부터 특정 게시물을 자동으로 삭제해오고 있다.

그런데 페이스북이 혐오발언을 판단하는 기준은 무엇일까. 국가인권위원회에서 발행된 ‘혐오표현 리포트(2019)’에 따르면 혐오표현의 개념은 대체로 ①어떤 속성을 가진 특정 집단을 대상으로 하고 ②특정 집단에 대한 부정적인 편견과 고정관념을 바탕으로 대상 집단이나 그 구성원을 모욕·비하·멸시·위협하거나 그에 대한 차별폭력을 선전·선동하는 언동을 일컫는다. ③대상집단에 대한 물리적 공격이 아닌 언어 등을 사용한다는 요소도 있다.

페이스북은 ‘인종, 민족, 국적, 종교, 성적 취향, 성별 또는 성적 정체성, 심각한 신체적 장애 또는 질병과 같이 보호되어야 할 특성을 이유로 타인을 직접적으로 공격하는 것’을 혐오발언으로 정의하고 있다.

예를 들어 “기독교를 싫어한다(I hate Christianity)”라는 말은 허용되나 “나는 기독교인이 정말 싫다(I fuckin hate Christians)”라는 말은 유해 콘텐츠로 분류된다. 유 매니저는 “종교적 신념에 대한 비판과 기독교인들에 대한 공격은 다르다”라고 말했다.

아래는 페이스북이 든 예시다. 페이스북 기준으로 허용되는 것은 O로, 허용되지 않는 혐오발언은 X로 표시했다.

  • 인도사람들은 강간을 밥 먹듯이 한대=X (도덕적 결함의 일반화)
  • 난 양성애자들이 정말 구역질 나=X(역겨움 또는 불쾌감이 담긴 표현)
  • 국수주의는 정신병이다=O(사상에 대한 비판)
  • …결혼 생각 없는 ‘한녀’는 상관없겠지=O(여자 자체를 일반화한 것이 아니라, 신념에 대한 비판이므로 가능. 보호받아야 할 특성을 공격한 것이 아니면 혐오발언에 해당하지 않는다.)
  • 쪽바리=X(특정 국적 사람을 비하하는 단어)
  • 한남충=X(한국 남성 전체를 지칭)
  • 김치녀=O(특정 행태를 보이는 여성을 지칭)

그간 페이스북은 혐오발언을 판단하는 잣대가 모호하다는 비판을 받아왔다. 페이스북 관계자는 “‘김치녀’는 차단하지 않고 ‘한남충’은 삭제해 ‘블루일베’라는 비판이 나왔다”라며 “규정에 따라 김치녀는 특정 행동을 하는 여성을 비방하는 것이고, 한남충은 전체 한국 남성을 지칭하기 때문에 한남충을 혐오발언으로 분류했던 것”이라고 설명했다.

유 매니저는 “다만 (김치녀 페이지도) 커뮤니티 규정을 어기면 게시물이 삭제될 수 있고, 게시물 삭제가 누적되면 페이지가 없어질 수 있다”라고 덧붙였다.

또 따돌림과 집단 괴롭힘의 경우는 여러 형태로 나타날 수 있어, 개별 사안에 따라 판단해야 한다고 강조했다. 유 매니저는 “받아들이는 당사자의 생각이 중요하다. 페이스북은 사용자 의견을 중요하게 생각한다”라고 말했다.

이어 “페이스북은 정치·사회·문화적인 트렌드를 잘 반영하기 위해 지속적으로 (규정을) 개정하고 있다”라며 “커뮤니티 규정 한 줄을 추가하는 데도 6개월여가 걸릴 정도로 깊이 고민하고 있다”라고 말했다.