▲ 스와미 시바수브라마니안(Swami Sivasubramanian) AWS 머신러닝 담당 부사장이 아마존 세이지메이커 신규 기능을 발표하고 있다.(사진=아마존웹서비스)
▲ 스와미 시바수브라마니안(Swami Sivasubramanian) AWS 머신러닝 담당 부사장이 아마존 세이지메이커 신규 기능을 발표하고 있다.(사진=아마존웹서비스)

"아마존 레드시프트(Amazon Redshift)는 페타바이트 규모의 데이터 웨어하우스(DW, 분석 가능한 형태로 변환된 데이터의 저장소)를 10분의 1 비용에 구축할 수 있다. 이제는 수만 고객들이 엑사바이트급 데이터를 아마존 레드시프트로 처리한다. 이를 이용해 모더나는 코로나19 백신을 전세계에 공급하고 개발을 가속화했다."

스와미 시바수브라마니안 아마존웹서비스(AWS) 머신러닝 부사장은 2일 연례 기술행사 'AWS 리인벤트'의 키노트 세션에서 웨어하우스 서비스인 아마존 레드시프트의 강점을 거듭 강조했다. 그는 "레드시프트에서 훨씬 더 많은 혁신을 볼 수 있을 것"이라며 "아주 많은 옵션들을 데이터 분석가에게 제공할 수 있다. 레드시프트를 안 쓴다면 혁신과 머신러닝이 고민될 것"이라고 했다.

2012년 말 출시된 아마존 레드시프트는 인지도 면에선 업계 종사자라면 익히 알만할 '형님'격이다. 그런 상황에서도 시장을 적극적으로 구애하는 메시지는 눈길을 끈다.

최근 강력한 신예로 부상한 '스노우플레이크'가 AWS의 위상을 위협하고 있다. 미국 데이터 분석업체 7파크데이터에 따르면 스노우플레이크의 글로벌 시장 점유율은 지난해 1분기 8.1%에서 올해 2분기 16%로 뛰었다. 같은 기간 AWS는 62%에서 54%로 줄었다. 

스노우플레이크의 인기 요인은 AWS는 물론 구글 클라우드 플랫폼·마이크로소프트 애저 등 클라우드 인프라를 여러 개 사용하더라도 이 인프라간 데이터를 통합하고 통계분석 도구·머신러닝 기술을 이용해 분석할 수 있다는 것이다. 또 AWS와 달리 과금 방식이 정기적으로 정해진 액수를 내는 구독 기반이 아니라 쓴 만큼 내는 소비 기반이라는 것도 특징이다.

AWS에 있어선 자사 클라우드 인프라 위에서 구동되는 스노우플레이크가 협력사이기도 하면서, 데이터 웨어하우스 시장에 있어선 맹렬히 경쟁하는 이중적 관계인 셈이다. 특히 스노우플레이크는 최근 한국 지사를 설립하고 국내 시장의 상당한 디지털 전환 수요를 공략하고 있다. AWS의 대응전략은 자사 인프라 내에서 레드시프트와 머신러닝 툴을 총체적으로 제공함으로써 편의성과 비용 효율성을 높이는 것이다.

AWS는 이번 리인벤트에서 머신러닝 서비스인 '아마존 세이지메이커(Sagemaker)'의 신규 기능을 6가지 발표했다. 이 중 대표적으로 '아마존 세이지메이커 캔버스'는 비즈니스 분석가들이 머신러닝 전문 지식 없이도 코드를 작성하지 않고(노코드) 머신러닝 예측을 직접 생성할 수 있다.

기업 고객이 아마존 레드시프트, 스노우플레이크, 온프레미스 데이터 저장소, 컴퓨터 내 파일 등의 데이터 저장소를 지정하면 아마존 세이지메이커 캔버스는 사용자가 데이터를 직관적으로 준비 및 분석할 수 있도록 지원하는 시각적 도구를 제공한다.

노코드 머신러닝 모델 학습을 위한 고품질 데이터를 제공하는 '아마존 세이지메이커 그라운드 트루스 플러스', 자동화된 코드 컴파일을 통해 딥러닝 모델 학습을 가속화할 수 있는 '아마존 세이지메이커 트레이닝 컴파일러' 등도 제공해 보다 많은 사용자가 손쉽게 머신러닝을 활용할 수 있게 했다.

아마존 레드시프트는 서버리스 옵션도 제공한다. 고객이 데이터 웨어하우스 클러스터를 관리하지 않고도 페타바이트 규모의 데이터에서 고성능 분석 워크로드를 실행할 수 있는 기능을 도입했다. 시바수브라마니안 부사장은 "사용한 만큼만 비용을 지불하면 돼 비용 최적화도 가능하다"며 "필요로 하는 역량과 수요에 딱 맞춰서 적용해줄 수 있다"고 강조했다.

AWS는 스노우플레이크가 긴밀한 협력관계에 있지만 레드시프트를 십여년간 운영하면서 가진 '노하우'가 차별점이라고 강조했다.

윤석찬 AWS코리아 수석 테크 에반젤리스트는 국내 브리핑 세션을 통해 "데이터 웨어하우스를 시작한 게 저희가 처음인 만큼 고객들이 클라우드 기반 DW를 운영하고 필요한 서비스를 기능별로 제공하는 데 대해선 굉장히 많은 노하우를 가지고 있다"며 "스노우플레이크 등 업체와도 긴밀한 협력을 하고 있고 도움을 주고받고 있다"고 설명했다.

그는 이어 "레드시프트 서버리스가 나오고 다양한 분석서비스가 서버리스 환경으로 바뀌고 있다"며 "스노우플레이크는 협력도 있지만 서로 경쟁력을 키워주는 관계"라고 정의했다.

저작권자 © 블로터 무단전재 및 재배포 금지