클라우드 컴퓨팅(Cloud Computing)에 대한 관심사가 높지만 이를 가능케 하는 기술들이 등장한 것은 최근 3-4년 전의 일이다. 구글이 자사의 분산 파일 시스템인 GFS(Google File System)와 분산데이터베이스인 빅테이블에 대한 논문을 발표하면서 이 논문을 기반으로 대용량 데이터 저장과 처리를 위한 하둡 분산 파일 시스템(HDFS; Hadoop Distributed File System), 분산데이터베이스인 Hbase가 오픈소스 소프트웨어로 세상에 등장했다.
SAN(Storage Area Network)이나 NAS(Network Attached Storage) 장비와 솔루션, 오라클이나 IBM 등과 같은 관계형 데이터베이스시스템 등 막대한 투자를 단행해야 가능했던 수십억 건의 데이터 저장과 처리 등이 이제 오픈소스로 가능케 되면서 전세계 많은 업체들이 이 기술들에 대해 주목했다.
또 인텔과 AMD 등 x86 서버 업체가 CPU에 대해 막대한 투자를 단행하면서 저렴한 하드웨어 투자도 가능케 됐다. 이런 상황에서 x86 서버 가상화(Virtualization) 업체들도 속속 등장하면서 이런 기능들을 조합, 수십억 건의 데이터를 처리할 수 있는 클라우드 컴퓨팅 인프라를 만들어 낼 수 있다.
권영길 그루터(www.gruter.com) 사장을 만난 것도 이런 기술들을 통해 어떤 서비스가 가능한지 궁금했기 때문이다. 권영길 사장은 클라우드데이터검색플래폼(GAIA)을 통해 클라우드 검색 서비스 런칭을 눈앞에 두고 있다. 가이아는 대용량 분산데이터의 관리와 서비스를 목적으로 한 플래폼으로서 권영길 사장은 파일 시스템과 스토리지 시스템에 검색을 접목 시켜 차별화를 꾀했다.
권영길 사장은 “관련 인프라가 있으면 원하는 검색 서비스를 쉽게 얹을 수 있었다. 그런데 이런 인프라가 국내 없다보니 아예 검색을 위한 클라우드 컴퓨팅 인프라까지 손을 대게 됐다”고 말했다.
가이아에는 분산스토리지플래폼인 hadoop, 분산데이터관리시스템인 HBase와 이와 유사한 국내 기반을 둔 오픈소스인 Neptune, 그리고 검색라이브러리인 루씬(Lucene, http://lucene.apache.org), Solr, Nutch 등과같은 다양한 오픈소스 기술들과 기법이 혼합돼 있다. 이런 소프트웨어들은 하드웨어 20대에 분산돼 운용되고 있다.
권 사장은 “국내 고객들을 타깃하고 있지만 해외 시장에도 관심이 많다”고 전하고 “해외의 경우 아마존 웹서비스를 사용하면 큰 투자 없이 하드웨어 인프라를 활용할 수 있다. 검색에 특화된 만큼 틈새 시장이 존재하는 것은 사실”이라고 밝혔다.
그는 검색 분야에서 꾸준히 활동해 왔다. 1천만건이 넘어가면 검색 엔진이 다운되는 상황을 해결하기 위해 노력하다가 ‘루씬’을 알게됐고, 이를 활용하면 클라우드 기반 검색 서비스도 가능할 것이라고 판단했다.
클라우드 컴퓨팅 기술을 활용한 국산 검색엔진 인프라 서비스가 국내 벤처 기업에 의해 공개될 예정이다. 중소기업판 클라우드 비즈니스 모델로 자리를 잡을 수 있을지 주목된다. 특히 검색 엔진을 도입하고 기획, 관리하는데 많은 비용이 드는 점에 착안해 저렴하게 이를 도입해 해당 서비스를 제공할 수 있도록 가이아를 만들었다.
가이아를 사용하기 위해서는 일단 내부 데이터를 그루터의 ‘가이아’ 클라우드 플랫폼에 저장해야 한다. 이렇게 저장된 데이트를 활용할 수 있도록 그루터는 오픈 API를 제공한다. 가이아는 전체 텍스트 검색과 분석용에 적합하도록 스프레스 쉬트 형태로 제공한다. 우선 타깃은 소규모 기업이다. 하지만 대기업들의 경우 독자적인 내부 인프라를 구축하기를 원하기 때문에 풀 패키징해 제공하는 것도 염두에 두고 있다.
아마존의 심플DB와 유사하지만 검색 기능을 넣은 것이 차별점이라고 권 사장은 강조했다.
권영길 사장은 “예전에는 시스템이 다운되면 어떻게 백업받을 지 걱정도 해야 했지만 이제는 서버 몇대 죽어도 신경도 안쓴다. 그만큼 탄탄한 인프라다. 관리자가 없어도 된다. 고객들은 어떻게 하면 자사에 맞게 최적으로 검색 엔진을 튜닝할 수 있을지만 고민하면 된다”고 강조했다.
그루터는 가이아 서비스를 7월 경 오픈할 계획을 세우고 있다.
권영길 사장에게 왜 오픈소스에 주목하고 있는지 물었다. 그는 “검증된 내부 엔진을 개발해 사용할 경우에는 엔진 개발자를 구해야 하고 계속해서 업그레이드 해야 되는데 비용도 만만치 않다”고 전하고 “오픈소스의 경우 핵심 엔진을 전세계 많은 이들이 계속해서 업그레이드 해주고 있다. 하둡이나 루씬의 경우 계속해서 발전해 나가고 있다. 이 엔진을 가져다 누가 제대로 튜닝해 활용하느냐가 관건”이라고 말했다.
오픈소스가 완제품이 아니기 때문에 풀패키징 제품을 선호하는 대기업들에 빠르게 확산되지는 않지만 상용 업체들의 경우도 망하면 고객들도 손쓸 방법이 없다. 권 사장은 그래서 ‘검증된 오픈소스’를 찾아내고 이 분야에 내부 기술력을 집중할 필요가 있다고 조언했다.
클라우드 컴퓨팅에 대한 관심이 높은 편이긴 하지만 작은 벤처가 새로운 기회를 얻을 수 있을지는 아직 불투명하다. 국내 대기업들이나 통신사들이 관련 인프라를 만들어 내고 다양한 서비스를 얹을 수 있도록 기회를 제공한다면 모를까 현재는 그 인프라까지 투자를 해야 하는 실정이다. 물론 클라우드 컴퓨팅 서비스를 국내에서만 하란 법은 없다. 오히려 아마존이나 구글 같은 업체들의 인프라를 잘 활용하면 해외에서 새로운 기회를 얻을 수도 있다. 취재하다보면 차라리 해외가 빠를지 모르겠다는 생각이 들곤 한다.
국내외 시장을 겨냥한 새로운 검색 서비스를 선보이겠다는 그루터의 도전이 클라우드 컴퓨팅 서비스에 도전하는 이들에게 좋은 선례가 될지 주목해보자.
[관련 기사]