[책] 빅데이터와 소셜분석 사이

가 +
가 -

한동안 기업들의 IT 시장 기사를 써온 적이 있다. 갑자기 떨어진 역할에 어떤 주제를 위주로 움직여야 할 지 막막하던 그때 모두가 입을 모은 하나의 주제, 바로 ‘빅데이터’다. ‘여기에 당시의 욕망이 보인다 : 빅데이터가 찾아낸 70억 욕망의 지도’. 긴 제목에 직접적으로 빅데이터를 언급한 이 책에 자연스레 눈이 갔다. 게다가 이 책을 쓴 저자는 지난 4월 총선에서 소셜 분석으로 이름세를 날린 다음소프트의 송길영 부사장이다. 어떤 이야기를 할 지 궁금했다.

문득 처음 빅데이터라는 주제를 접했을 때가 생각난다. 빅데이터는 참 흥미로웠다. 셀 수 없이 많은 데이터, 그리고 그 데이터의 형태가 어떻게 생겼는지 파악조차 어렵지만 이것들을 모아서 ‘잘 분석하면’ 엄청난 결과가 나온다는 것이다. 그런데 더 재미있는 것은 어떤 결과가 나올지는 분석 전에는 아무도 모른다는 것이다.

게다가 개념도 어렵다. 아직 그 정확한 개념조차 없기 때문에 하둡이니, NoSQL이니, 비정형이니 그 기준도 솔루션을 제공하는 기업들 사이에서도 혼란이 많았다. 심지어 지금 빅데이터를 논해서 제품을 파는 기업들은 사기꾼이라는 얘기까지 나왔다.

나도 그 사이에서 판단하고 싶었다. 무엇을 어디까지 빅데이터로 볼 것인가에 대해서 말이다. 그러려면 이 빅데이터가 지금 어디에, 어떻게 쓰이는지에 대해 궁금한 것은 당연했다. 그런데 정말 고개가 끄덕여지는 사례는 찾아보기 어려웠다. 아이러니하게도 소셜네트워크 때문이었다.

데이터를 분석하려는 기업들이 가장 먼저, 쉽게 접할 수 있는 데이터가 소셜 네트워크에 있다. 엄청나게 쏟아지는 트위터의 메시지들, 그리고 그보다 폐쇄적이긴 하지만 상당히 깊이있는 데이터들을 담고 있는 페이스북의 정보는 모든 기업이 탐내는 정보임에는 틀림없다.

문제는, 그리고 가능성은 여기에서 시작한다. ‘이걸 파면 우리 회사에 도움이 될 정보들이 그득할텐데…’라는 생각이 든다. 뭔가 나올 가능성이 아주 높다는 것도 사실이다. 그런데 거기에서 뭘 꺼낼 수 있느냐가 관건이다. 이는 빅데이터 솔루션을 공급하는 대기업들도 얼버무리는 주제다. 빅데이터 시대가 열리면 데이터를 다루는 데이터과학자나 데이터크런처 등의 새로운 직업이 떠오른다는 분위기도 사실 지금 데이터 분석 도구들은 그 자체로 자판기 커피 뽑듯 입맛대로 쏙쏙 정보를 꺼내주지는 않는다.

빅데이터에 기대하는 이유가 현재, 그리고 이제까지 모든 정보들을 아무 감정없이 데이터만으로 분석해 현재 닥친 문제점과 앞으로의 가능성을 내다보는 것이다. 소셜네트워크와 빅데이터간의 가능성을 직접적으로 엿볼 수 있는 기회는 선거다. 소셜네트워크가 성장한 이후 우리는 서울시장 보궐선거와 국회의원 총선을 겪으며 이른바 소셜 네트워크를 통한 빅데이터를 경험했다. 그 결과가 맞든 틀리든 데이터가 모여서 어떤 결과를 만들어낼 가능성이 있다는 정도까지는 올라섰다고 생각한다.

하지만 또 한편으로는 이 책 역시 빅데이터의 소재로 소셜 네트워크, 사람들의 목소리를 위주로 다루고 있다. 물론 트위터의 정보는 가장 쉽게 얻을 수 있는 정보이기도 하지만 빅데이터의 모든 것은 아니다. 정작 지금 기업들에게 필요한 것은 내부 데이터, 센서 데이터 등을 분석하고자 하는 데에 있는데 트위터로 모든 소비자들의 생각을 읽을 수 있다는 것이 빅데이터로 한정짓는다면 위험한 일이다. 트위터 자체가 대중 중 일부의 목소리만을 담고 있고 인터넷이나 스마트폰을 쓸 수 없는 이들의 소득 장벽과도 연결된다. 그리고 소셜 분석과 빅데이터는 분명 다른 개념으로 잡아야 할 것이다.

그럼에도 트위터 위주로 우리 세상을 분석한 이 책은 상당히 흥미롭다. 성공한 사례 위주로 접근하긴 했겠지만 IBM 사이트에서나 보던 데이터 분석 결과 사례 이상을 상세하게 보여준다. 필립스의 핸드블렌더 매출 감소의 원인이 가격이나 경쟁사에 있던 것이 아니라 아이 이유식을 만들어주려는 엄마들에게 너무 과분한 기능을 넣은 어려운 기기로 인식되도록 한 광고라고 찾아낸 것은 마치 IBM이 이야기하는 헹켈 칼에서 기분 나쁜 냄새가 난다는 점을 찾아낸 것과 겹쳐 보인다.

시계의 역할이나 인기는 많이 떨어졌지만 시계를 이해하는 키워드 자체가 명품시계로 바뀐다는 흐름을 읽고 이를 가치 있는 메시지로 만드는 것은 빅데이터를 다루는 기업이 지금 내놓을 수 있는 가장 흥미로운 결과물이다. 이 책은 우리 주변의 익숙한 기업들의 사례를 계속해서 꺼내든다. 풀무원의 아임리얼이 트위터로 신청자의 사무실에 직접 찾아가 음료를 나누어주는 등 이른바 소셜 마케팅을 펼쳤는데 정작 홍보 효과는 이외수 선생이 망고맛이 좋다는 한 마디로 반응을 얻는다는 이야기도 흥미롭다. 막걸리가 언급되는 비중이 높다는 것을 잡아내고 막걸리와 함께 언급되는 키워드를 뽑아내 건강, 두통, 그리고 관련된 안주들을 뽑아내 막걸리 사업에 뛰어들라는 결론을 내렸다는 2010년의 경험은 책장을 가볍게 만드는 요소들이다. 다 지나고 나서 만들어낸 사례를 두고 빅데이터에, 소셜 분석에 절대적인 신뢰를 할 것은 아니지만 적어도 빅데이터가 뭔지, 하둡이 뭔지 하나도 모른다고 해도 데이터와 분석 그 자체에 흥미를 줄 수 있다는 점만으로 이 책은 충분히 재미있다.

아주 서서히 움직이고 있는 빅데이터에 대한 흐름, 그리고 그 개념에 대해 또 하나의 시각을 이 책에서 얻을 수 있었다. 기술과 효용을 분리하자는 것이다. 효용과 기술이라는 경계 얘기다. 하둡을 능숙하게 다룬다고 빅데이터 시장에서 성공하는 것도 아니고 더 많은 데이터를 갖고 있다고 해서 더 좋은 결과를 내는것도 아니라는 설명이다. 데이터 분석 전에 스스로가 어떤 데이터를 갖고 있고 어떻게 분석할지에 대한 개념이 지금으로서는 기술을 익히고 더 큰 시스템을 도입하는 것보다 시급할 수 있다. 그 데이터가 SNS가 됐든 내부 데이터가 됐든 말이다. 어떤 게 빅데이터인지, 아닌지는 한발짝 물러서서 볼 필요도 있을 것 같다. 어쨌건 책을 덮으면서 좀 다른 이야기를 해보고 싶었는데 결국 누구나 하고 있는, ‘데이터 시대는 이미 우리 곁에 와 있다’는 뻔한 얘기에서 한 발짝도 벗어나지 못한 게 아닌가 싶다.