빅데이터가 무엇을 말하고, 기존 데이터하고는 어떤 차이를 가지고 있는지, 분석은 어떻게 다른지 명확하게 이해하지 못한 IT 관계자들을 위한 명쾌한 답이 떨어졌다.
“보유한 데이터를 기존 데이터웨어하우스(DW) 장비로 수용하고 분석할 수 있으면 빅데이터가 아닙니다. 하둡을 통해 데이터를 저장하고 처리해야 한다면 그건 빅데이터라고 볼 수 있습니다.” 시저 로저스 테라데이타 애스터 사업부 수석 마케팅 이사는 빅데이터와 데이터를 나누는 지표로 ‘하둡’을 내세웠다.
하둡은 분산처리 시스템인 구글 파일 시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS)과 데이터를 분산시켜 처리한 뒤 하나로 합치는 기술인 맵리듀스를 구현한 오픈소스 프레임워크다. 클라우데라, 호튼웍스, 맵R 같은 회사들은 하둡 솔루션을 개발해 빅데이터 처리를 보다 용이하게 만들고 있다.
빅데이터가 무엇인지 파악했다면, 기존 데이터와 빅데이터 분석은 어떻게 다른지 알아볼 차례다. 테라데이타, EMC, 오라클, IBM 같은 벤더들은 빅데이터에 흠뻑 빠졌는지 몰라도 IT 관계자들은 여전히 빅데이터를 가지고 무엇을 할 수 있는지 혼란스러워하고 있다.
가트너와 IDC는 이구동성으로 ‘빅데이터가 2012년에 뜨며, 많은 기업들이 빅데이터에 관심을 갖고 있다’라고 주장한다. 그러나 IT 관계자들은 빅데이터로 무엇을 할 수 있는지가 확실해야 빅데이터에 투자할 수 있다고 엉덩이를 뺀다. 한 업계 관계자는 “빅데이터가 주는 가치는 알겠지만, 기존 DW 장비에서 다루고 분석한 데이터와 빅데이터 분석 간에 어떤 차이가 있는지를 뚜렷하게 말해주는 벤더를 만나보지 못했다”라고 말했다.
로저스 이사도 “빅데이터가 등장하면서 이전에는 없는 신세계가 당장 펼쳐질 것 같지만, 빅데이터는 이제 막 개화했을 뿐”이라며 IT 관계자들의 말에 공감을 표했다. 그러면서도 그는 일반 데이터를 분석했던 기존의 방식과 빅데이터 분석에는 엄연히 차이가 있다고 설명했다.
그의 설명에 의하면 기존에 기업이 주로 관리하고 저장하는 데이터는 정형데이터였다. 시간이 흘러 SNS, 사진, 동영상 같은 다채로운 정보가 등장하게 되면서 기업은 보다 데이터 규모가 크고, 발생 속도가 빠르고, 데이터 종류가 다양한, 복잡한 다형데이터(Multi strutcture data)를 마주하게 됐다.
로저스 이사는 "정형데이터도 분석하는 의미가 있지만 다형데이터와 정형데이터 간 상관관계를 분석했을 때 훨씬 의미 있고 통찰력 있는 결과가 나온다"라고 전했다. 사용자가 특정 웹사이트에서 물건을 구매하는 과정을 예로 들어보자.
“빅데이터를 분석할 수 있는 시대가 오면서 사용자가 실시간으로 상품을 클릭하고, 주문하기까지 어느 정도의 시간이 걸리는지를 파악해 고객이 해당 웹사이트에서 상품을 주문하는 패턴을 좀 더 세밀하게 파악할 수 있게 됐습니다. 고객이 주문하기까지 일련의 과정을 다 파악할 수 있게 됐고, 기업은 고객의 이런 족적을 파악해서 마케팅에 활용할 수 있게 됐습니다. 한 발 더 나아가면, 고객 패턴을 파악해 웹을 통해서 주문하지 않는 고객들의 행동도 예측할 수 있게 됩니다. 이게 바로 일반 데이터 분석과 빅데이터 분석의 차이입니다.”
웹 서비스를 해야만 빅데이터 분석 효과를 누릴 수 있는 것은 아니다. 모든 기업이 닷컴 기업은 아니지 않는가. 전통적인 기업은 어떻게 빅데이터를 활용할 수 있을까. 로저스 이사는 “회사간 관계를 파악하는 데도 빅데이터 분석이 도움이 된다”라고 말했다.
그는 링크드인 사례를 예로 들어 설명했다. 링크드인은 2008년 금융위기가 발생해서 월가가 무너졌을 때, 자사 서비스를 이용하는 고객들이 어느 회사로 이직하는지, 이직한 회사에서는 무슨 업무를 담당하는지를 분석해 발표했다고 한다.
만약 기존에 데이터를 수집해서 하는 분석이었다면 단순히 사회인들이 선호하는 직종은 무엇이고, 가장 만족도가 높은 회사는 어디인지를 파악하는 데 그쳤을 것이다. 하지만 링크드인은 회사 정보와 자사 회원 정보를 활용해 금융위기 이후에도 살아남은 회사는 어디인지, 이들 회사에서는 어떤 사업을 주로 진행하는지를 파악했다. 로저스 이사는 “한국에도 링크나우라는 소셜 네트워크 서비스가 있는 것으로 알고 있다”라며 “링크나우 역시 링크드인처럼 기회만 된다면 관계 파악을 통해 보다 심도 있는 데이터 분석을 고객들에게 제공할 수 있게 될 것으로 기대한다”라고 말했다“
그의 설명대로라면 빅데이터는 앞으로 사라질 시장이 아니라 기업이 계속 관심 갖고 주목해야 할 산업으로 보인다. 웹사이트만 분석했다면 모를 수 있는 결과를 웹사이트와 SNS를 동시에 분석하면 더 큰 시너지가 나올 수 있음을 눈으로 확인했기 때문이다. 빅데이터와 빅데이터 분석의 가능성을 충분히 짐작할 수 있다.
로저스 이사는 빅데이터 분석 시장이 가져다 줄 효과를 매우 높게 평가했다. 그는 애플 아이폰4 출시 당시 터졌던 ‘안테나 게이트’ 사건과 관련해 “아이폰4의 특정 부분을 잡았을 때 통화 불능 현상을 초기에 접했다면, 잡스가 ‘오른손으로 전화를 받아야지, 왜 왼손으로 전화를 받느냐’라는 말은 하지 않았을 것”이라며 “미래는 정보를 얼마나 빨리 수집해서 대응할 수 있느냐가 기업의 핵심 경쟁력이 될 것”이라고 말했다.
구글과 야후 같은 대형 검색엔진 업체들이 빅데이터 서비스 사업을 준비하고 있고, 페이스북과 트위터 같은 인터넷 서비스 업체들이 빅데이터를 활용하는 방법에 대해서 눈뜨기 시작했다. 전통적인 기업이 빅데이터에 눈 뜰 날도 멀지 않아 보인다. 그 때를 위해 무엇을 준비할 것인지 IT 관계자들은 고민해 볼 때다.