IBM, 오픈소스 커뮤니티에 머신러닝 기술 기증

가 +
가 -

IBM이 머신러닝 기술 일부를 오픈소스 커뮤니티 ‘아파치 스파크’에 기증한다.

IBM은 아파치 스파크 커뮤니티에 ‘시스템ML’을 제공할 예정이다. 시스템ML은 대규모 데이터를 위한 머신러닝 알고리즘이다. 아파치 스파크는 대규모 데이터를 처리하기 위한 엔진이다. 하둡을 대체하는 기술로 떠오르고 있다. 아파치 스파크는 공식홈페이지를 통해 “하둡 맵리듀스 작업보다 100배 높은 속도를 낼 수 있다”라고 설명한다.

IBM_SPARK_logistic-regression

▲하둡과 스파크 성능 비교(사진:스파크 홈페이지)

IBM은 시스템XL을 기증하는 동시에 스파크 관련 개발자와 협업을 늘려나갈 예정이다. IBM은 6월15일 공식 보도자료를 통해 “앞으로 3500명이 넘는 IBM 연구원과 개발자가 스파크와 관련된 기술을 맡을 것”이라며 “왓슨, IBM 커머스 등 내부 플랫폼 등에 스파크를 적극 활용할 것”이라고 설명했다.

IBM은 스파크의 머신러닝 기술력을 높이기 위해 데이터브릭스와도 손잡았다. 데이터브릭스는 아파치 스파크 기술을 활용해 데이터 분석 제품을 내놓은 스타트업이다. 데이터브릭스는 “아파치 스파크에 작성된 코드 중 75%는 데이터브릭스가 작성했다”라고 설명하고 있다.

IBM_SPARK_LOGO

▲스파크 로고

아파치 스파크는 2014년에 처음 1.0버전이 나왔다. 그만큼 스파크를 잘 다룰 수 있는 개발자나 데이터과학자가 적은 편이다. IBM은 온라인 공개 강좌(Massive Open Online Course, MOOC)를 이용해 100만명에게 스파크 관련 기술 교육을 제공할 예정이다. 여기에 IBM의 PaaS(Platform as as Service)인 ‘블루믹스’에 아파치 스파크를 지원해 더 많은 개발자가 쉽게 스파크 기술을 사용할 수 있도록 도울 계획이다.

네티즌의견(총 0개)