총선과 대선을 앞두고 민심을 읽는 도구로 사회관계망 서비스(SNS)가 적극 활용되고 있다. 트위터 페이스북, 미투데이 같은 SNS를 분석하면 사회 동향을 좀 더 자연스럽게 파악할 수 있기 때문이다. 검색 솔루션 업체부터 이동통신 업체에 이르기까지 다양한 업체들이 소셜분석 솔루션을 출시하고 있다. 여기에 빅데이터 분석도 가세하면서 국내 시장은 소셜분석 춘추전국시대를 방불케 한다. 업계 관계자들은 소셜분석과 빅데이터 분석에 대해 어떻게 바라볼까. 블로터닷넷이 잇따라 만나 들어볼 생각이다.
빅데이터가 올 한해 기업들이 주목해야 할 분야로 뜨면서 오라클, IBM을 비롯한 다양한 제조업체들이 빅데이터 전용 제품을 쏟아냈다. 하지만 국내엔 빅데이터 전용 제품을 도입할 만큼 데이터가 많지 않다는 반론도 있다. 대체로 기존 데이터베이스(DB) 장비로도 충분히 현존하는 데이터를 처리할 수 있으며, 빅데이터 분석 시장이 국내서 성장하려면 더 기다려야 한다는 지적이었다. 빅데이터 분석이 소셜 분석에 치중되는 모습을 보이면서 이 같은 주장에 힘이 실리는 모양새다.
이에 대해 강용성 와이즈넛 전략기획실 상무는 조금 다른 의견을 내놨다. "국내에 빅데이터가 없는 게 아닙니다. 아직 국내에서 빅데이터를 찾지 못했을 뿐입니다."
빅데이터 처리를 위한 전용 장비가 필요하다고 주장하는 게 아니다. 빅데이터에 대한 다양한 정의가 존재하는 만큼 미처 발견하지 못하고 넘어가는 데이터들이 있을 수 있는데, 그 데이터가 빅데이터인지 모르고 넘어가는 가능성이 존재한다는 얘기다.
빅데이터를 정의하는데 크기, 속도, 다양성으로 대두되는 3V가 흔하게 사용된다. 하지만 이 요소들만 빅데이터 성격을 정의하는 것은 아니다. 실제로 기업마다 정의하는 빅데이터가 조금씩 다르다. 중구난방식으로 기업들이 저마다 쏟아내는 빅데이터는 고객에게 혼란을 불러 일으켰다.
강용성 상무는 이 혼란이 수습돼야 국내서 빅데이터 시장이 본격적으로 열릴 것으로 내다보고 있다. "적어도 한국에서는 빅데이터를 어떻게 정의할 것인지 그 기준을 만들어 보는 일이 필요하다고 생각했습니다. 한국에서만큼은 보편적으로 통용되는 빅데이터 기준이 세워지면, 빅데이터를 언급할 때도 훨씬 수월하지 않겠습니까."
경영학에서는 시장을 형성할 때 해당 시장에 대한 사전 정의가 있어야 한다고 말한다. 강용성 상무 역시 이 점을 알고 있었다. 그는 빅데이터에 대한 정확한 논의 없이는 국내서 빅데이터 시장이 형성되기 힘들 뿐더러 기형적으로 발전할 수 있다고 내다봤다. 그래서 국내 시장에 빅데이터가 없다고 말하기 이전에 빅데이터에 대한 정확한 개념부터 짚고 넘어갈 필요가 있다고 생각했다.
이를 위해 강용성 상무는 야인소프트, 큐브리드, 클라우다인, 투비소프트, 한국키스코와 손잡고 '빅데이터 포럼'을 만들었다. 빅데이터를 둘러싼 각자 역할이 다른 만큼 서로 손을 잡고 빅데이터에 대한 논의를 시작해보자는 뜻에서였다. "와이즈넛의 분석, 야인소프트의 인메모리 기반의 정형 데이터 분석, 큐브리드의 DB, 클라우다인의 하둡, 투비소프트의 리치 인터넷 애플리케이션(RIA) 등 각사가 보유하고 있는 전문기술을 통합해 제대로 된 빅데이터를 국내 시장서 만들어 볼 생각입니다."
이런 생각을 바탕으로 와이즈넛은 SNS에서 발생하는 데이터 외 기업 내부에서 발생하는 데이터를 빅데이터로 주목하고 있다. 일반적으로 정형 데이터라고 알려진 기업 내부에서 발생하는 데이터도 충분히 빅데이터로서의 가치를 지닐 수 있다고 판단한 것이다. 특히 기업 내부에서 발생하는 문서를 관심있게 지켜볼 필요가 있다고 강용성 상무는 강조했다.
"기업 내부에서도 지금까지와는 다른 관점으로 바라볼 데이터가 있는데, 바로 문서 발생량입니다. 특정 제안과 주제에 대해서 한 부서가 얼마나 많은 기획서를 썼는지 살펴보는 것도 의미있는 빅데이터 분석이 될 것이라고 생각해 이를 분석할 수 있는 솔루션을 준비하고 있습니다."
예를 들면 신문사라고 하면 경제부, 사회부, 정치부에서 '빅데이터'를 가지고 어떤 부서에서 얼마만큼의 기사를 썼는지 파악하는 식이다. 그렇다고 단순히 부서 내에서 얼마만큼의 보고서를 올렸는지 수치를 파악하는 정량분석이 아니다. 문서 안에 어떤 단어가 언급돼 있는지 내용물을 파악하는 정성분석이다. 각 부서에서는 '빅데이터' 기사를 어떤 키워드와 연관해서 썼는지 파악한다. 사회부가 바라보는 빅데이터 관점과 경제부, 정치부가 바라보는 빅데이터에 대한 시각이 다를 수 있다. 그리고 이들 3부서가 공통적으로 중요하다고 생각하는 빅데이터에 대한 내용이 나올 수 있다.
이는 와이즈넛이 시맨틱 분석과 자연어 처리 같은 검색엔진 업체로서의 검색 기술 때문에 가능한 일이라고 한다. 강용성 상무 설명에 따르면 문서 안에 들어가 있는 키워드를 바탕으로 부서 간 상관관계를 분석해 향후 기업이 집중해야 할 사업에 대한 시각도 제안할 수 있다고 한다. "정량적인 데이터에서도 정성적인 가치를 찾아내는 식이지요. 종합적으로 키워드 간 관계에 집중해 데이터를 쪼개서 살펴보는 솔루션을 출시할 생각입니다. 이 솔루션이 나오면 기업에서도 진정으로 빅데이터 분석을 할 수 있을 것이라 생각합니다."