구글, 빅데이터 분석 서비스 공개

가 +
가 -

“지난 10년간 생성된 데이터보다 최근 2년간 생성된 데이터 양이 훨씬 더 많다.”

미국 시장조사업체인 IDC는 올해 생성되는 디지털정보량을 1.8ZB(제타바이트)로 추정했다. 그리고 이 정보량이 2년마다 2배씩 증가해 2020년이 되면 현재의 50배가 될 것이라고 전망했다. 우리는 지금 데이터 홍수 속에 살고 있다. ‘테라바이트'(TB)라는 개념이 나온지 얼마 지나지 않아 페타바이트(PB), 더 나아가 ZB 단위로 데이터를 수집하고 처리한다는 말을 쉽게 볼 수 있게 됐다.

그래서 ‘빅데이터’라는 개념도 등장했다. 기업들은 이 빅데이터를 어떻게 활용하고 분석할지 고민했다. 대기업은 데이터웨어하우스(DW) 등을 통해 비용 걱정 없이 빅데이터 처리를 할 수 있었지만, 중소기업은 사정이 달랐다. 이들은 빅데이터 분석을 하고 싶었지만, 분석에 들어가는 비용 때문에 엄두도 못냈다.

구글이 해답을 내놓았다.

구글은 11월14일(현지기준) 캘리포니아주 마운틴뷰에서 열린 구글 컨퍼런스에서 ‘빅쿼리’ 서비스를 공개했다. 빅쿼리 서비스는 이용자가 자신의 데이터센터에 자원을 투자하지 않고도 거대한 양의 데이터를 업로드한 뒤 분석할 수 있게 돕는다. 빅쿼리 엔진은 최대 70TB에 이르는 비압축된 데이터를 스캔한 뒤 분석한다. “이용자는 이 서비스를 통해 구글의 속도로 빅데이터 분석을 할 수 있게 될 것”이라고 구글쪽은 소개했다.

앞서 이 서비스는 지난해 구글이 개발자 행사인 I/O에서 소개한 바 있다. 그러나 당시 구글은 이 서비스를 소수의 파트너사들과 개발자들에게만 공개했다.

구글은 1년여 동안 빅쿼리 서비스에 대한 시범서비스를 진행해 어느정도 안전성 확보를 마치고 이번에 정식 서비스를 내놓은 것으로 보인다. 시범서비스를 통해 얻은 의견을 바탕으로 빅쿼리 서비스에 대한 판올림도 진행했다.

빅쿼리 서비스는 빠른 분석, 테라바이트급 분석, SQL과 같은 쿼리 언어를 구글에서 호스팅할 수 있는 단순함, 구글 계정을 통해 분석을 공유할 수 있는 기능을 기본 지원한다. 여기에 피드백을 바탕으로 새로운 웹 이용자 인터페이스 환경, 새로운 REST API, 다양한 구문을 불러들일 수 있는  기능 등을 추가로 지원한다. REST API는 http로 생성하고, 읽고, 갱신하고, 삭제할 수 있는 자원을 관리하는데 사용되는 웹서비스 API를 일컫는다.

구글은 이 서비스를 대다수 중소기업들이 즐겨 이용할 것으로 기대하고 있다. 자사 공식 블로그를 통해 구글은 “웹사이트를 방문한 이용자의 구매 패턴을 분석해 더 나은 제품을 권할 수 있는 온라인 소매업을 상상해 보라”라며 “빅쿼리가 이런 환경을 가능케 도와준다”라고 밝혔다.

구글에서 애플리케이션 사업 부문을 맡고 있는 데이브 기로드 수석 부사장은 “빅쿼리 서비스는 데이터 분석에 들어갈 천문학적인 돈을 절감시켜준다”라며 “빅쿼리는 구글의 클라우드 스토리지 환경에서도 데이터를 분석할 수 있게 지원한다”라고 말했다.

현재 빅쿼리 서비스는 무료로 체험해 볼 수 있다. 구글은 이 서비스를 곧 유료로 전환할 계획이며, 유료로 전환되기 30일 전에 통지하겠다고 밝혔다.