“하둡은 철광석, 철강을 누가 잘 만드냐의 싸움”…댄 그레헴 테라데이타 총괄 매니저

가 +
가 -

기존의 분석 체계로는 감당하기 어려운 빅 데이터(Big Data)가 쏟아지고 있다. 스마트폰과 태블릿과 같은 휴대용 IT 기기들이 증가하고 있고, 정보화가 전세계적으로 확산되고 있기 때문이다. 거기에 유무선 이동통신망이 탄탄하게 구축되면서 이런 추세는 더욱 급물살을 타고 있다.

이런 변화는 그동안 기업 내부 데이터들을 저장, 분석해 왔던 업체들에게 기회이면서 동시에 위기다. 새로운 흐름에 몸을 싣지 못하면 기존 사업도 휘청거릴 수밖에 없기 때문이다. 특히나 기업 고객들은 전통적인 분석 회사들에게 새로운 흐름에 대해서도 자문을 구하고 있다. 정형, 비정형 데이터 모두 처리할 수 있는 해법을 내놓으라는 것이다.

이런 흐름을 이해하기 위해 블로터닷넷는 30년간 데이터웨어하우스(DW) 분야 1위를 유지하고 있는 테라데이타(Teradata)의 댄 그레험(Dan Graham) 엔터프라이즈 시스템 총괄 매니저(좌측 사진)를 만났다. 그를 만나 빅 데이터는 어떻게 처리하는지, 선두 유지 비결이 무엇인지, 요즘 기업들이 DW를 어떻게 활용하는지 등에 대해 들어봤다.

도대체 빅데이터의 규모는 얼마나 될까?

그는 “빅 데이터에 대해 명확한 기준이 정해져 있지는 않지만 제 개인적인 생각을 이야기한다면 보통 하루에 2TB~3TB의 데이터가 저장되는 것을 그리 말할 수 있을 것”이라고 설명했다. 이 때문에 자신들의 업무 성격을 정확히 파악해 기존 분석 시스템을 사용하는 게 좋을 지 최근 부상하고 있는 하둡(Hadoop)을 활용할 지 파악하는 것이 중요하다고 덧붙였다.

하둡은 오픈소스 프로젝트로 대량의 자료를 처리할 수 있는 소프트웨어로 데이터 수집, 이미지, 텍스트, 소셜네트워크 분석에 쓰이고 있다. 비정형 데이터는 텍스트, 음성, 영상, 소셜미디어 등 일정한 형식이 없는 자료를 말한다.

테라데이타는 1990년 대 처음으로 테라바이트 급 정보를 다뤘고, 펩타바이트(PB) 급 정보도 처음 다루는 등 이미 빅 데이터를 처리하고 있었다. 그는 오늘날 펩타바이트 급 이상 정보를 처리하는 기업들이 더 늘어나고 있다고 말했다.

그는 “우리는 빅 데이터를 처리하기 위해 우리의 소프트웨어를 포함해 하둡(Hadoop)도 이용하고 있다”며 “대다수 기업은 하둡을 이용해 다양한 온라인 소스에서 비정형 데이터를 뽑아 분석한다”고 최근 주목받고 있는 하둡에 대한 설명을 시작했따.

이어서 밝힌 그의 비유는 상당히 재미있으면서 동시에 최근 시장 상황을 손쉽게 이해할 수 있었다.

댄 총괄 매니저는 하둡과 테라데이타의 관계에 대해서 “하둡은 철광석 같은 재료고 테라데이타는 이를 가공할 수 있는 제철소로 생각하면 된다. 어느 제철소든 철광석을 가공해서 각종 제품을 만들어 낸다”며 “테라데이타는 하둡이라는 훌륭한 재료를 이용해 최강의 DW를 고객에게 제공하는 곳으로 이해하면 된다”고 설명했다.

최근 시장을 보면 ‘하둡’이라는 철광석을 가져다 ‘철강’을 만드려는 기업들이 국내에 상당히 많다. 품질 좋은 ‘철강’을 얻으려고 철광석(하둡)을 제대로 다뤄본 전문가들을 찾기 위해 많은 기업들이 눈에 불을 켜고 있다. 기존 DW 업체들은 하둡을 아예 손을 대 자사의 DW 어플라이언스에 통합시켜 제공하겠다고 밝히고 있는 이유도 바로 이런 문제를 해결해주기 위해서다. 그것과는 또 별개로 하둡 전문 회사들과 긴밀히 협력하면서 고객들의 요구를 해결하는 행보도 있다.

테라데이타의 접근법은 후자다. 테라데이타는 클라우데라라는 하둡 기반의 데이터 관리 소프트웨어 서비스를 제공하는 기업과 제휴를 맺고, DW를 제공하고 있다. 또 관심을 끄는 협력은 야후에서 하둡 전문 조직이 분사돼서 만들어진 ‘호튼웍스’와의 협력이다. 호튼웍스의 임원 3명이 테라데이타 출신이다. 그는 “회사 차원에서 어떻게 할지 아직 정하지 않았지만, 예전에 테라데이타에서 일했던 직원 3명이 현재 호튼웍스의 임원인 만큼 나중에 호튼웍스와 파트너십을 구축할 가능성도 있다”고 말했다.

비정형 데이터를 처리하는데 하둡 말고 다른 소프트웨어는 없는 것일까?

댄은 “하둡은 데이터를 병렬처리하는데 있어 굉장히 유용하다”며 “우리가 자체적으로 소프트웨어를 개발한다던지 같은 이유는 생각한 적이 없다”고 하둡에 대한 무안한 애정을 보냈다. 이어 댄은 “우리는 지난 4월 하둡 기반 데이터를 분석하는 소프트웨어 기업인 애스터데이타를 인수했다”며 “하둡과 애스터데이타가 만나 뛰어난 시너지 효과를 보여줄 것을 기대하고 있다”고 말했다.

지난 7월4일 테라데이타와 애스터데이터는 ‘SQL-맵리듀스’기술 미국 특허를 취득했다. SQL-맵리듀스는 복잡한 빅 데이터를 빠르게 분석할 수 있게 해주는 프레임 워크 기술이다.

한편, 최근 DW 후발주자인 IBM, 오라클, EMC, HP, 사이베이스 등이 테라데이터가 버티고 있는 어플라이언스 제품을 통해 도전하고 있다. 그들에 대한 평가도 궁금했다.

그는 “혹시 복싱을 아느냐”고 반문하고 “처음 복싱에 입문한 선수가 세계 챔피언과 바로 경기를 하느냐?”고 웃으면서 물었다. 기자도 웃었다. 그는 “IBM이 네티자를 인수했지만 네티자의 경쟁상대는 DB2였다. 또 IBM은 문화적으로 새로운 회사를 인수하면 대부분의 피인수 업체 인재들이 그만둔다. 신경 쓸 것 없다”고 혹평했다. 잠재적 도전자는 오라클이 될 확율이 높다는 설명이다. 그는 “기술은 그리 뛰어난 제품이 아닌데 워낙 공격적인 영업을 하는 곳”이라고 밝혔다.

네티즌의견(총 0개)