플랫폼

저작권과 열린 문화, CCL, 인터넷과 웹서비스

arrow_downward최신기사

베스파

야후, 빅데이터 엔진 오픈소스로 공개

야후가 빅데이터 프로세싱 엔진 '베스파'를 오픈소스 기술로 이번주 공개했다. 베스파는 대규모 데이터를 실시간으로 계산하고 처리할 수 있게 도와주는 엔진이다. 이 기술은 이미 야후 검색 사이트, 야후 뉴스, 야후 파이낸스, 플리커 등에 사용되고 있다. 가령, 검색 결과나 추천 목록을 보여줘야 할 때 내부 시스템에서는 알맞은 아이템을 찾고, 적절한 쿼리를 연결해줘야 한다.  만약 데이터가 너무 크고, 내부 알고리즘이 효율적이지 않다면 연산 시간이 길어지게 되는데, 이때 베스파를 활용할 수 있다. 존 브랫세스 베스퍼 아키텍트는 블로그를 통해 "하둡이나 스톰은 데이터를 저장하고 처리하는 데 유용하지만 엔드 유저 단에  처리 결과값을 전달하는 데 도움이 되지 않는다"라며 "장애없이 많은 데이터를 빠르게 연산할 때 베스퍼가 유용하다"라고 설명했다.  ...