‘세계는 로마로 통한다’는 속담은 이제 ‘세상은 모두 검색으로 향한다’라고 바뀌어야 한다. 온 세상이 검색 열풍에 휩싸여 있는 요즘, 사람들은 왜 그토록 검색에 열광하는 것일까? 또한 검색은 언제 어떻게 시작된 것일까?
 
= 인터넷 속 태고(太古)적 이야기 =

많은 사람들이 세계 최초의 검색엔진으로 ‘아키(Archie)’를 꼽는다. 1990년에 등장한 ‘아키’는 맥길대학(McGill University)에 재학 중이던 앨런 엠티지(Alan Emtage)에 의해 개발되었다. FTP(File Transfer Protocol)를 통해 필요한 파일을 주고 받던 시절에 FTP 서버를 검색해 주었던 것. 1993년에 등장한 ‘베로니카(Veronica; Very Easy Rodent Oriented Net-Wide Index to Computerized Archives)’는 고퍼(Gopher) 서버에 올려진 자료를 검색하는 검색엔진이었다. 

본격적으로 검색엔진이 발전하게 된 계기는 월드와이드웹의 등장이었다. 사실상 검색엔진의 역사는 월드와이드웹과 궤를 같이 한다고 해도 과언은 아니다. 지금은 인터넷과 거의 동일한 의미의 용어로 쓰이고 있는 ‘월드와이드웹(World Wide Web)’은 1989년 유럽입자물리연구소(CERN; the European Laboratoty for Particle Physics)의 연구원인 팀 버너스리(Tim Berners-Lee)에 의해 제안되었다. 방대한 양의 연구 자료를 원활하게 공유할 수 있는 보다 효과적인 방법이 필요했기 때문이다. 하이퍼텍스트(Hypertext) 등 획기적이고 편리한 개념이 도입된 월드와이드웹은 연구 자료 공유라는 초기의 목적을 넘어 일반 사용자들을 통해 급속히 영역을 확장하기 시작했다.

‘월드와이드웹 원더러(Wide Web Wanderer)’는 메사추세츠 기술연구소(Massachisetts Institute of Technology)의 연구원으로 재직 중이던 매튜 그레이(Matthew Gray)가 개발한 검색 로봇이었다. 웹을 돌아다니며 정보를 수집했던 초기 인터넷 시절의 검색엔진이다. 1994년에 등장한 ‘웹크롤러(www.webcrawler.com)’는 지금도 존재를 확인할 수 있는 초기의 검색엔진이다. AOL, 익사이트(Excite) 등에 거듭 인수되었던 웹크롤러는 현재는 인포스페이스(InfoSpace)라는 회사가 운영하고 있으며, 메타 검색 서비스로 제공되고 있다.
 
= 우리 모두 알고 있는 검색엔진 이야기=

우리가 이름을 들어서 알만한 검색엔진들이 등장하기 시작한 것도 1994년 부터였다. ‘Go get it!’이라는 문구로 유명했던 ‘라이코스(Lycos)’는 1994년 카네기멜론대학(Carnegie Mellon University)의 마이클 몰딘(Michale Mauldin)이 개발한 검색엔진이다. 당시로서는 매우 방대한 정보를 색인해 놓아 초기 인터넷 사용자들의 시선을 사로 잡았다. 그러나 라이코스는 초기의 영광을 이어가지 못한 ‘비운의 스타’였다. 1999년 스페인의 포털인 ‘테라’에 125억 달러에 인수되었던 ‘라이코스’는 2004년에는 그 1/100에도 못 미치는 1억 달러에 한국의 다음커뮤니케이션에 인수되고 만다.

1996년에 등장한 ‘알타비스타(AltaVista)’는 등장과 동시에 많은 사용자들의 열광적인 환영을 받은 검색엔진이었다. 디지털이퀴프먼트사(Digital Equipment Corp.; DEC)에서 운영했던 이 검색엔진은 DEC가 개발한 64비트 알파칩을 통해 그 때까지 존재했던 어떤 검색엔진보다도 빠른 속도로 많은 웹페이지들을 검색해 주었다. 또한 한 개의 단어 뿐 아니라 몇 개의 단어가 모인 문구를 검색해 주는 기능이나 유즈넷 검색, 다양한 상세검색 기능 등으로 1990년대 후반까지 검색의 최강자로 군림할 수 있었다. 

그러나 알타비스타 역시 수익모델이라는 명제 앞에서 자유롭지는 못했다. 모기업인 DEC가 1998년 컴팩에 인수된 이후 개발자 이탈, 투자 축소 등 여러가지 일을 겪으며 점차 사람들의 기억 속에서 잊혀져 갔다. 현재 알타비스타는 야후의 자회사인 오버추어에 편입되어 있으나, 검색 사용자들에 있어서는 ‘추억의 이름’으로 남겨져 있는 듯 하다.

 
= 인터넷의 대명사 ‘야후’와 검색의 제왕 ‘구글’
 
급속히 팽창하는 월드와이드웹을 누비는 검색로봇들 사이에서 인터넷의 대명사라는 자리를 차지한 서비스는 사람이 손으로 정리한 월드와이드웹 여행 가이드인 ‘야후(Yahoo)’였다. 야후는 1994년에 스탠포드 대학원(Stanford University)생이었던 제리양(Jery Yang)과 데이비드 파일로(David Filo)가 자신들이 수집한 웹사이트 목록을 교과과정별로 나누어 정리해 놓았던 ‘Jerry and Daivd’s Guide to the World Wide Web’에서 비롯되었다. 모아 놓은 웹사이트 목록을 학교의 서버를 통해 다른 학생들과 공유했던 것이 거대한 기업 야후의 시작이었던 셈. 야후는 검색로봇이 아닌 사람의 수작업을 통해 생성되는 디렉토리(Directory) 서비스의 시초이자 대표라고 할 수 있다. 

그런 까닭인지 야후는 검색로봇 개발에는 별 관심을 보이지 않았다. 오픈텍스트, 알타비스타, 잉크토미, 구글 등 다른 회사에서 개발한 검색엔진을 이용했던 것. 야후가 검색엔진 개발을 시작한 시기는 2003년 무렵으로, 키워드 광고의 성공으로 검색이 ‘황금알을 낳는 거위’로 부상하기 시작한 바로 그 때 부터였다. 2003년 키워드 광고 업체인 오버추어(Overture)를 인수하고 자체 검색엔진을 개발하기 시작했다. 2005년에는 플릭커(www.flickr.com), 딜리셔스(www.del.icio.us) 등을 잇따라 인수하며 차세대 인터넷 왕좌를 놓고 구글과 치열하게 경쟁하고 있는 중이다.

2006년 현재 전 세계에서 가장 주목받고 있는 기업 중 하나인 ‘구글(www.google.com)’은 1998년에 혜성같이 나타난 검색엔진이었다. 야후의 창업자들과 마찬가지로 스탠포드 대학원에 재학 중이던 세르게이 브린(Sergey Brin)과 레리 페이지(Larry Page)가 개발한 이 검색엔진은 ‘검색’이라는 행위를 ‘단지 필요한 것을 찾는 일’에서 ‘모든 생활의 시작’으로 변화 시킨 놀라운 힘을 발휘하게 된다. 구글이 도입한 ‘페이지랭크(PageRank)’는 많이 링크된 정보에 우선 순위를 주는 독특한 순위 결정 방식으로단시간에 사람들의 마음을 사로 잡기 시작했다. 

구글은 검색 기능만큼이나 독특한 수익모델로도 유명하다. 웹사이트를 가진 기업이나 개인은 누구나 구글의 검색 광고를 내 걸고 사용자와 함께 수익을 내는 광고 모델인 ‘애드센스(AdSense)/애드워즈(AdWords)’가 그것. 재미있고 유쾌한 검색엔진인줄로만 알았던 구글이 쥐도 새도 모르게 인터넷 세상에서 영토를 확장할 수 있었던 비결이기도 했다. 

재미있는 것은 구글의 창업자들이 야후의 공동 창업자인 데이비드 파일로에게 구글에 투자할 것을 제안했었다는 사실이다. 당시 파일로는 아이디어가 구체적이지 않다는 이유로 투자를 거절했다고 전해진다. 현재 구글은 세계 최고의 검색 서비스이자 검색 광고 회사로 야후의 추격을 받고 있는 상황이다. 

= 한국의 구글, 독창적 검색 서비스 ‘네이버’
미국에 구글이 있다면 한국에는 네이버가 있다. 아직 구글처럼 세계화를 이루지는 못했지만, 네이버가 검색 서비스의 역사에 미친 영향은 상당한 것으로 평가 된다. 대표적인 예가 사용자 머리 속에 들은 지식을 검색에 끌어 들인 ‘지식인’ 서비스. 2003년 네이버가 세계 최초로 선보인 ‘지식인’ 서비스는 현재는 야후닷컴, 구글 등이 벤치마킹하는 독보적인 검색 서비스 모델로 자리 잡았다. 

네이버(www.naver.com)는 1997년에 삼성SDS의 사내벤처였던 ‘웹글라이더’에서 비롯되었다. 1999년 삼성SDS에서 분사한 후 2001년 온라인 게임업체인 한게임과 합병하여 오늘날 NHN의 모습을 갖추었다. 1997년 야후가 한국에 진출한 후 라이코스, 알타비스타 등 세계 검색 열강들이 잇따라 국내에서 서비스를 시작했었지만, 현재 국내 검색 시장에서 네이버는 시장 점유율 70%의 독점적 지위를 누리고 있다. 세계 검색 1위의 구글 조차도 2006년 현재 한국에서는 고전을 면치 못하고 있다.
 
= 한국 인터넷을 이끌어 온 검색엔진들
그렇다면 한국 최초의 검색엔진은 무엇일까? 최초의 한글 검색엔진은 1995년에 등장한 ‘코시크(www.kor-seek.com)’이다. ‘코시크’를 개발한 사람은 충남대 화학공학과에 다니던 김영렬씨로, 2000년에 한 잡지에 게재되었던 기사에 따르면 ‘일단 한글 검색엔진을 공개해 놓으면 더 잘하는 누군가가 계속 개발해 줄 것으로 생각해 한달 쯤 시범적으로 운영할 생각’이었다고 한다. 1996년 1월에는 대구대학교 학생이던 김성훈씨가 ‘까치네(www.kachi.com)’라는 검색엔진을 선보였다. 계명대 재학생이던 박민우씨가 개발한 ‘와카노(www.wakano.com)’과 KAIST의 승현석씨가 개발한 ‘미스다찾니(www.mochanni.com)’ 등도 1996년에 등장한 한국의 초기 검색엔진들이다. 

기업이 선보인 최초의 검색엔진은 1995년 한글과 컴퓨터가 선보인 ‘심마니’였으며, 1996년 한국통신(현재의 KT)이 ‘정보탐정’을 서비스하기 시작했다. 이후 야후코리아, 라이코스코리아, 알타비스타 코리아 등 외국계 검색엔진이 진입하기 시작하면서 국내 검색엔진 시장이 성장하기 시작했다. 1999년에는 국내 최초로 자연언어검색을 서비스하는 엠파스(www.empas.com)가 등장, 국내 검색 서비스의 질을 한단계 업그레이드 시킨 계기가 되기도 하였다.
 
= 검색은 진화 중, 차세대 검색 제왕은 누구?

이상 빠르게 검색엔진의 역사를 훑어 보았다. 검색엔진 개발자들은 ‘그러나 지난 10년간 검색에 별 변화는 없었다’고 이야기하곤 한다. 수많은 서비스들이 생겼다 없어지고 월드와이드웹은 폭발적으로 성장했으나, 검색 기술에 있어 획기적인 발전을 이루지는 못했다는 것. 그런 의미에서 최근 전세계적으로 불고 있는 ‘차세대 웹’ 혹은 ‘웹2.0’ 에 대한 연구와 논의는 매우 주목할만하다.

이러한 변화의 조류 속에서 새로운 검색의 왕좌는 누가 차지하게 될까? 세상의 모든 것을 검색 속에 넣고 있는 ‘구글’과 OS로 세계를 이미 재패한 ‘마이크로소프트’, 인터넷의 대명사였던 ‘야후’의 검색 경쟁에서 승자는 누가 될 것인가? 최후의 승자가 궁금해지는 이유이기도 하다.
이 글은 지난 6월 월간 w.e.b에 기고했던 글입니다.

kkonal@gmail.com