야후가 빅데이터 프로세싱 엔진 '베스파'를 오픈소스 기술로 이번주 공개했다.
베스파는 대규모 데이터를 실시간으로 계산하고 처리할 수 있게 도와주는 엔진이다. 이 기술은 이미 야후 검색 사이트, 야후 뉴스, 야후 파이낸스, 플리커 등에 사용되고 있다. 가령, 검색 결과나 추천 목록을 보여줘야 할 때 내부 시스템에서는 알맞은 아이템을 찾고, 적절한 쿼리를 연결해줘야 한다. 만약 데이터가 너무 크고, 내부 알고리즘이 효율적이지 않다면 연산 시간이 길어지게 되는데, 이때 베스파를 활용할 수 있다.
존 브랫세스 베스퍼 아키텍트는 블로그를 통해 "하둡이나 스톰은 데이터를 저장하고 처리하는 데 유용하지만 엔드 유저 단에 처리 결과값을 전달하는 데 도움이 되지 않는다"라며 "장애없이 많은 데이터를 빠르게 연산할 때 베스퍼가 유용하다"라고 설명했다.
존 브랫세스는 "특히 실시간으로 복잡한 계산이 요구되는 작업을 할 때 베스파가 유용할 것"이라고 설명했다. 그러면서 뒷단에서 이뤄지는 클러스터나 데이터 관리가 아닌 실제 기능 구현에 더욱 집중할 수 있다고 덧붙였다.
베스파는 자체 인프라 혹은 AWS같은 클라우드 서비스에서 설치할 수 있다. 도커 이미지나 RMP 패키지 매지저도 따로 제공한다. 모든 소스코드는 깃허브에 공개됐으며, 시작 가이드 및 기술 문서도 준비돼 있다.