• Tweet

분석 시장에 막대한 투자를 단행하고 있는 IBM이 오픈소스 소프트웨어인 하둡(Hadoop)을 끌어 안았다. 관련 업계에서는 최근의 기술 발전 흐름상 피할 수 없는 선택이라고 밝히고 있다.

IBM은 미국 라스베이스거스에서 진행되고 있는 IOD(Information On Demand) 행사에서 대량의 정보 분석을 위한 해법으로 ‘인포스피어 빅 인사이트(Bign Insights)’를 선보였다. 하둡이라는 걸출한 오픈소스 소프트웨어를 저장과 분석을 위한 큰 저장소로 사용하고 그동안 인수했던 코드너스와 SPSS와 같은 분석 솔루션을 결합해 비용 효율적으로 대용량 정보들을 처리, 분석할 수 있도록 하겠다는 전략이다.

하둡은 대표적인 오픈소스 커뮤니티인 아파치에서 진행하는 오픈소스 프로젝트로 2004년 구글이 맵리듀스(MapReduce)를 발표하면서 이와 유사한 컨셉으로 오픈소스 진영이 만들어낸 것이다. 이후 구글이나 야후, 페이스북, 마이스페이스 등 인터넷 서비스 업체들이 자사의 엄청난 데이터를 처리할 수 있도록 해준 프로그래밍 프레임워크다.

아마존도 하둡을 이용해 자사의 아마존 웹 서비스에 제공하고 있다. DW 어플라이언스 업체에서는 EMC에 인수된 그린플럼등이 이 기술을 수용했고, DW 어플라이언스 분야 최강자인 테라데이타도 하둡을 활용하기 위해 노력하고 있다. 오라클이 미들웨어 분야에서 제공하는 코히어런스라는 기능도 이 기술을 수용한 것이다. IBM도 이미 웹 스피어 익스트림 스케일에서 맵리듀스 프로그래밍을 지원하고 있었다.

IBM은 여기에서 한발 더 나갔다. 이번에는 지원에서 나아가 관련 솔루션을 내부 시스템들과 긴밀히 연동해 고객에게 직접 제공하겠다고 나섰다.

상용 업체들이 분석 시장에서 오픈소스 소프트웨어를 적극 수용하고 있는 이유는 페타바이트급 데이터를 처리해 비즈니스와 연관성을 찾으려는 데이터 분석에 엄청난 시간과 돈, 인력이 들고 있기 때문이다. 유닉스 서버에 상용 DBMS를 제공할 경우 고객들이 부담해야 될 비용은 기하급수적으로 늘어난다. 시장조사 업체인 IDC가 EMC가 공동 조사한 바에 따르면 디지털 정보는 2006년부터 2011년까지 10배 정도 증가한다. 180엑사바이트 이하에서 1천 800엑사바이트로 증가하는 것이다.

이런 상황에서 하둡은 인텔이나 AMD의 혁신적이면서 고성능의 x86 CPU에 리눅스 시스템에서 활용이 가능해 인프라 가격을 대폭 낮출 수 있다. 스케일아웃도 가능하다. 고객들로서는 급증하는 데이터를 저장, 처리, 분석하는데 상당히 비용 효율적으로 다가설 수 있다. 물론 하둡이 오픈소스 소프트웨어인만큼 내부 전문가가 필요하다. 기업들은 하둡 전문가들을 육성해 내부에서 이런 인프라를 스스로 구축을 하려고 한다. IBM은 고객들이 요구를 외면했다간 시장에서 더 이상 경쟁력을 발휘할 수 없다고 보고 하둡과 자사의 분석 솔루션들을 최적화시켜 고객 상황에 맞게 제공하겠다는 전략이다.

이와 관련해 국내의 한 하둡 전문가는 “수 테라바이트부터 수십 페타바이트까지 처리할 수 있는 하둡은 이미 시장에서 충분히 검증이 됐다”면서 “이미 고객들도 비용 효율적인 x86 기반에서 하둡을 사용, 사내 부서들의 분석 요구를 수용하려고 한다. IBM이나 오라클 같은 업체들이 이런 고객 흐름을 모르지 않을 것이고, 특별히 다른 대안도 없다”고 밝혔다.