트렌드

미 국방부, ‘사악한 웹 정보’ 찾아주는 검색엔진 개발

2015.02.11

‘무기 거래 정보를 웹에 올린 사람은 누구일까?’ ‘불법 성매매 정보는 어느 지역에서 먼저 올라왔을까?’

미국방위고등연구계획국(DARPA)이 위 질문의 답을 찾을 수 있는 검색엔진 ‘메멕스’(Memex)를 만들었다. 웹에 올라온 마약거래, 인신매매, 성매매같은 불법정보를 찾아 경찰과 사법기관에 정보를 주기 위해서다.

메멕스를 개발한 크리스 화이트 박사는 2월9일 <CBS>와의 인터뷰에서 “인터넷은 우리가 생각했던 것보다 훨씬 크다”라며 “구글, MS, 야후 등이 만든 검색엔진은 전세계 웹 콘텐츠 중 5%만 보여주고 있다”라고 말했다. 그러면서 그는 “임시 웹페이지, 대화형 웹페이지, 불법 콘텐츠를 유통하는 웹사이트 등은 검색에서 제외되고 있다”라고 밝혔다.

일반 검색엔진은 사용자나 광고 등을 고려해 검색 알고리즘을 만든다. 메멕스는 그러한 제약에서 벗어나 좀 더 많은 내용을 찾게 돕는다. 심지어 사회에 해를 끼치는 콘텐츠를 검색해주는데, DARPA는 이를 “사악한 웹 정보(Dark Web)를 찾아준다”라고 표현했다. 이러한 정보는 일반 사용자들에게 필요 없을 수도 있지만 경찰관 등에게는 유용하다.

경찰관이 마약 거래 사이트를 발견하고 관련 e메일을 찾아냈다 치자. 이전에는 e메일 주소에 얻은 단서나 키워드를 검색엔진에 입력해 필요한 정보를 찾았다. 그런 식으로 다른 단서를 꼬리물기 식으로 계속 검색했다.

메멕스는 반복적인 검색을 하지 않게 돕는다. 하나의 단서가 다른 콘텐츠와 어떻게 연결됐는지 그래프로 보여주기 때문이다. 크리스 화이트 박사는 “5개의 정보에 함께 연동된 500개의 정보를 동시에 볼 수 있다”라며 “메멕스는 수백만건 자료를 수집해 정보를 연결한다”라고 설명했다.

memex_03

▲메멕스 예시 화면. 검색한 데이터가 어떤 데이터와 연결됐는지 찾아준다.(사진 : CBS 60미닛 오버타입 동영상 갈무리)

memex_02

▲메멕스 예시 화면(사진 : CBS 60미닛 오버타입 동영상 갈무리)

메멕스는 지리 정보를 활용하기도 한다. 특정 콘텐츠가 어느 지역에서 만들어졌는지, 어디서 많이 유통되는지 시각적으로 확인할 수 있다. <사이언티픽 아메리칸>은 미국 뉴욕 사법당국이 성폭력 용의자를 검거할 때 실제로 메멕스 검색엔진을 활용했다고 전했다.

memex_04

▲메멕스 예시 화면. 지리 정보를 확인해 콘텐츠가 생성된 위치를 파악할 수 있다(사진 : CBS 60미닛 오버타입 동영상 갈무리)

메멕스 프로젝트는 2014년에 처음 출범했으며, 이번에 외부에 구체적인 시스템을 공개했다. 메멕스라는 이름은 ‘메모리(Memory)’와 ‘인덱스(Index)’를 합성한 말이다. 대학을 포함한 17개 단체가 메멕스 프로젝트에 합류해 시스템을 만들고 있다.

댄 코푸먼 DARPA 정보혁신부 디렉터는 <CBS>와의 인터뷰에서 “많은 사람들이 인터넷은 좋다고 생각한다”라며 “하지만 그 중 기생충처럼 인터넷을 악용하는 사람들이 있으며, DARPA는 그들을 내쫓으려 한다”라고 설명했다.

j.lee.reporter@gmail.com

오픈소스 기술, 프로그래머의 삶 그리고 에듀테크 분야에 관심이 많습니다. 작은 변화라도 실행하고 노력하려는 사람들을 응원하고, 그러한 분들의 이야기를 더 많이 나누고 싶습니다 :)