데이터 분석이나 머신러닝 같은 기술이 관심을 모으면서 데이터와 관련된 오픈소스 기술들이 점점 늘어나고 있다. 활용 분야도 실시간 데이터 분석, 데이터 시각화, 데이터 모니터링 등 다양하다. 다음은 최근 몇 년 사이 등장한 오픈소스 중 데이터와 관련된 기술들이다. ■ 추천 알고리즘 ① 셀던 셀던은 영국 캠브리지대학 소속 데이터 과학자들이 모여 만든 기술이다. 셀던은 2012년 핵심 기술을 개발했고, 2015년 초부터 이를 ‘오픈 프리딕티브 플랫폼(Open Predictive Platform)’이라고 부르며 오픈소스 기술로 전환했다. 현재 버전 0.9까지 나왔다. 셀던은 공식 홈페이지를 통해 다양한 머신러닝 기술에 셀던을 활용할 수 있다고 설명한다. e커머스 분야에서 적당한 고객에 상품을 추천할 수 있고, A/B 테스트 등에 활용해 추천 알고리즘을 최적화할 수 있다....

이베이가 2월23일, 실시간 분석 플랫폼 ‘펄사’를 오픈소스 기술로 공개했다. 펄사는 실시간 분석 플랫폼이자 스트림 프로세싱 프레임워크다. e커머스는 하루에 수많은 이벤트를 처리하는 서비스다. 상품 등록, 주문, 결제, 취소 등 다양한 활동이 동시다발적으로 일어난다. 이베이는 이전에는 하둡 등을 이용해 대용량 데이터를 병렬처리했다. 이베이는 앞으로 펄사로 분석 기술의 성능을 더 높일 예정이다. 이베이는 2월23일 공식블로그를 통해 “펄사로 실시간 분석 보고서를 만들거나 사업 현황을 모니터링할 수 있다”라며 “각 고객에게 맞춤화된 서비스를 제공하거나 사기나 악성 프로그램을 탐지할 수도 있을 것”이라고 기대했다. 이베이는 또한 초당 수백만 이벤트를 처리할 수 있도록 확장성을 높였고, 지연시간을 줄이는 데 집중했다. 이베이는 펄사에 자체 개발한 분산 복합이벤트 처리기술(Complex Event Processing, CEP)을...