“빅데이터 분석, 솔루션만 내려받으면 끝”

가 +
가 -

“애플리케이션, 네트워크, 클라우드 등 이 기업이 관리하는 데이터양은 어마어마합니다. 그런데 막상 기업은 이 데이터들을 어떻게 관리해야 할지 몰라 허둥거립니다. 기존 데이터웨어하우스(DW)에 수집은 하지만, 활용하지 못하는 게 현실이지요.”

스플렁크 한국지사 설립을 계기로 한국을 찾은 로버트 라우 스플렁크 아시아태평양지역 총괄 사장이 기업들에 제시한 해결 방안은 단순하다.

스플렁크 웹사이트에 접속해 솔루션을 내려받아 설치한 뒤 분석하면 끝이다. 각종 컴퓨터 프로그래밍 언어나 하둡을 몰라도 상관없다. 스플렁크 솔루션만 있으면 빅데이터를 간단하게 처리하고 분석할 수 있다. 마우스 클릭 몇 번으로 마케팅 담당자는 고객 성향별 제품 구매 방법을 알 수 있고, 보안 담당자는 사내 보안 취약점을 찾을 수 있다.

라우 사장은 “가장 단순하지만 모든 사람이 편하게 쓸 수 있게 만드는 솔루션을 제공하고자 한다”라며 “세계에 존재하고 있는 기기 데이터를 쉽게 수집해 가치를 창출할 수 있는 솔루션을 제공하는 게 스플렁크 솔루션의 목표”라고 말했다.

스플렁크는 2004년 설립된 나스닥 상장사로 기기에서 발생하는 기기 데이터, 즉 로그를 분석하는 솔루션을 개발하는 회사다. 최근 빅데이터 열풍을 타고 로그 분석을 시도하는 기업이 많아지면서 주목받기 시작했다. 현재 80개 국가에서 8400개에 이르는 기업이 스플렁크의 솔루션을 도입해 데이터를 수집하고 분석하고 있다. 국내에서는 하나은행, KT, LG유플러스, 주요 가전 제조업체, 자동차 업체들도 스플렁크 솔루션을 도입했다.

라우 사장의 설명처럼 스플렁크 솔루션의 장점은 ‘단순함’과 ‘간편함’에 있다. 기존 방식으로 빅데이터를 분석하려면 데이터베이스(DB), 비즈니스 인텔리전스(BI) 솔루션, DW 등 다양한 장비가 필요하다. 스플렁크는 이 모든 과정은 한 솔루션에 담았다. 단계별로 데이터를 처리하고 관리하고 분석하는 게 아니라 스플렁크라는 한 장소에서 데이터를 한꺼번에 처리하고 분석하는 식이다.

스플렁크 솔루션은 오픈소스 하둡을 이용해 빅데이터를 분석한다. 하둡에서 스플렁크라는 대용량 창고로 데이터를 가져와 통합 처리하는 식이다. 스플렁크에 모인 각종 시스템 데이터와 로그 정보는 색인화 과정을 거쳐 데이터 분석을 하기 위한 적합한 형태로 재가공된다. 스플렁크는 이렇게 가공한 데이터를 유의미한 정보로 바꾼다.

“스플렁크는 모든 기기 데이터를 종류와 크기와 관계없이 수집합니다. 수십 테라바이트(TB)에 이르는 로그 데이터도 몇 초 또는 몇 분 안에 처리하지요. 하루에도 수십 TB에 이르는 용량을 상황에 맞게 탄력적으로 확장해 처리할 수 있습니다.”

스플렁크는 기존 DW 솔루션과 달리 모든 데이터 소스, 모든 포맷의 데이터를 지원하며 예상치 못한 데이터나 새로운 데이터에도 쉽게 적용할 수 있는 가변 스키마를 갖췄다. 새로운 데이터가 들어와도 데이터 분석 모듈을 통해 간단하게 비교해 보여준다. 그 결과 시스템 취약점이나 서비스 지연 요소, 요소별 상관관계 파악 등 복잡한 데이터 분석 결과도 쉽고 빠르게 도출할 수 있다.

“스플렁크를 도입한 고객은 어디서 데이터를 수집하고, 어디서 데이터를 불러와야 하는지 고민할 필요가 없습니다. 최종화면에서 보여주는 데이터 분석 결과 화면만 보고 전략을 세우면 됩니다.”