EMC는 2월6일(현지기준) 서버에 장착하는 플래시 메모리 ‘가상 플래시(VF) 캐시’를 출시했다. 서버에 플래시 메모리를 장착해 입출력 속도를 개선시켜 트랜잭션을 개선하겠다고 나선 것이다.

VF캐시는 서버의 PCI 익스프레스 슬롯에 장착되는 스토리지용 메모리로 외장형 스토리지와 연계되는 SSD 캐시의 일종이다. 서버의 자원을 사용하지 않고도 스토리지 자원을 사용할 수 있다. VF캐시는 서버에 장착되지만 스토리지 소프트웨어의 통제를 받기 떄문에 데이터 입출력을 제어할 수 있다. 즉, 일반적으로 구분되는 SSD, FC/SAS, SATA 스토리지 어레이에 한 단계 더 추가되는 메모리다.

VF캐시를 마이크로소프트, 오라클, SAP 환경에서 핵심 애플리케이션을 시험해본 결과 3배의 쓰루풋과 60%의 지연을 개선한 것으로 나타났다. 펫 겔싱어 EMC 최고운영책임자는 “PCI 익스프레스와 플래시 기술과의 조합으로 우리는 더 빠르게 데이터를 처리하고 다룰 수 있게 됐다”라며 “VF캐시는 자사 스토리지 제품군인 VMAX, VMAXe, VNX, VNXe와 결합해 더 뛰어난 데이터 복구와 저장 능력을 보여줘 차세대 스토리지 시장을 열 것으로 기대한다”라고 말했다.

VF캐시는 카드당 최대 300GB 용량을, 읽기 성능으로 최대 64KB까지 지원한다. 플래시 메모리로 마이크론 SLC와 LSI와프드라이브 SAL플래시를 사용한다.

이번 제품 출시로 EMC는 자주 발생하는 데이터 입출력을 VF캐시에 저장해 트랜잭션을 서버 안 캐시에서 끝내겠다는 전략이다.

그 예로 EMC 스토리지 티어링 제품은 FAST(Fully Automated Strorage Tiering) 기능을 VF캐시와 결합했다. FAST는 EMC가 자랑하는 데이터관리 기술로 데이터 사용 빈도를 자동으로 파악해 스토리지로 이동시킨다. 스토리지에서 불필요하게 데이터를 불러들이는 일을 최소화한 것이다.

앞으로 데이터 중복 기능도 포함하겠다고 밝혔다. 사실상 서버와 스토리지간 경계가 무너지는 일로 EMC가 서버 제품을 출시할지도 모르는 일이다.

실제로 EMC는 이날 프로젝트 ‘썬더’를 발표하며, 플래시 기반 어플라이언스 개발에 나선다고 발표했다. 마크 소렌슨 EMC 플래시 비즈니스 조직 수석 부사장은 컴퓨터월드와의 대화에서 “오는 2분기에 낸드 플래시 스토리지 기반 PCI 익스프레스 15TB급을 출시할 계획을 갖고 있다”라고 밝혔다.

소렌슨 수석 부사장은 “엄청나게 커진, 확장 가능한 VF캐시를 떠올리면 된다”라며 “이 제품이 현실화되면 초당 엄청나게 많은 입출력 속도를 감당할 수 있게 될 것으로 보인다”라고 덧붙였다.

이번 제품 출시를 시작으로 빅데이터 시대를 맞아 시장에서 EMC의 목소리가 커질 것으로 보인다. 컴퓨터월드는 “EMC가 VF캐시를 그린플럼, 아이실론 솔루션과 결합한 경우가 기대된다”라며 “빅데이터 시장에서 향후 EMC의 행보가 기대된다”라고 말했다.

낸드플래시를 이용하는 기업 중 어느덧 상당히 중요한 스토리지 기업으로 성장한 퓨전io를 보니 성장의 가능성이 상당히 크군요. 지난해 12월31일로 FY12의 2분기를 마감한 이 기업의 분기 실적은 8410만달러로 전년 같은 기간 3120만달러와 비교해 169%나 성장했습니다. 하지만 지난 분기 이익은 570만달러의 손실을 기록했으니, 전년 동기 250만달러 손실보다 더욱 더 키웠군요. 성장을 하는 과정에서 나타나는 현상 중 하나일 것입니다. 6개월 누적 실적으로 보면 1억5850만달러의 매출에 150만달러의 이익을 남겼는데요. FY11의 6개 누적은 5830만달러로 무려 172%나 성장했습니다. 성장 속도가 여느 기업과는 비교가 안 될 정도입니다. 이는 사업 속성상 성장하는 사업이고 시작한 지 얼마 되지 않은 기업이기 때문에 그럴 것입니다. FY12의 3분기 예상 매출액은 8500만달러라고 하는데요. 2분기와 비슷한 수준에서 마무리될 것 같군요.

일반 소비자들을 대상으로 하는 제품부터 기업용 SSD까지 다양한 제품을 생산·판매하는 기업인 샌디스크가 지난 1월1일로 FY11의 4분기를 마감했습니다. 상당히 건실한 성장을 하고 있습니다. 지난 4분기에만 15억7700만달러 매출에 2억8120만달러의 이익을 남겨서 전년 매출 13억2700만달러 이익에 4억8550만달러를 기록한 것과 비교해 19%의 성장을 하였습니다. FY11 전체로 보면 56억6600만달러의 매출, 9억9700만달러의 이익을 기록해 전년(매출 48억2700만달러, 이익 13억달러) 대비 17% 증가한 것입니다.

이러한 성장의 비결은 OEM 비즈니스 시작 후 모바일 및 SSD 시장에서 상당히 성장한 탓이라고 합니다. 2011년 모바일 분야의 매출은 전년 대비 거의 두 배에 달하는 15억달러에 이르는 성장을 했고, 그러한 성장의 배경은 스마트폰과 태블릿이었다고 밝히고 있습니다. 기업용 SSD와 관련해서 4분기에 들어서면서 19nm 공정이 들어가면서 2012년 더욱 가파른 성장을 기대하고 있네요. 게다가 작년 5월 플라이언트테크놀러지를 인수한 이래 SAS 인터페이스의 SSD 기술력을 강화해 나가면서 향후 PCIe 기반의 제품도 내놓을 계획을 공개했습니다. 작년 11월3일에 발표한 자료에 따르면 기업용 티어-1 SSD 제품에서 7개 중 3개가 샌디스크의 제품이라고 하는군요. 상당한 쾌속 성장을 이어가고 있는 샌디스크입니다.

(출처: Baird’s 2011 Technology Conference Presentation 중에서, 샌디스크의 성장 동력)

HDD 제조업체도 실적을 공개했습니다. 씨게이트의 경우 FY12의 2분기를 지난 12월30일로 마감하면서 매출 31억9500만달러, 이익 5억6300만달러로 전년 같은 기간 매출 27억1900만달러, 이익 1억5천만달러에 비해 18% 성장했습니다. 매출도 많이 올랐지만 이익도 상당히 많이 올랐습니다. 6개월 누적으로 볼 경우 FY11에는 54억달러 매출에 2억9900만달러의 이익이었지만 FY12의 6개월 누적 매출은 60억달러이며 이익은 7억달러로 11% 성장했습니다. 비즈니스 볼륨이 커졌지만 중요한 지표 중 하나인 이익이 3배 이상 늘었다는 점은 씨게이트 입장에서는 매우 의미 있는 결과일 것입니다.

그런데 씨게이트의 이런 결과는 씨게이트가 잘 했다기 보다는 태국의 홍수사태로 반사적으로 이익을 본 것이라는 의견도 많습니다. 웨스턴디지털의 경우 생산 시설의 상당수가 태국에 있지만 씨게이트는 그렇지 않다는 것입니다. 게다가 삼성전자의 HDD 사업부문 인수합병이 지난해 12월19일로 완료됐지만 WD는 아직 히타치 GST와의 인수합병 승인이 완료되지 않은 이유 때문에 씨게이트의 실적이 좋게 보이는 효과가 있다는 지적입니다.

히타치GST의 경우 모사인 히타치의 실적 발표 속에 포함돼 지난 12월31일로 마감한 4분기 실적이 공개됐습니다. 히타치그룹은 지난 분기가 3분기 마감이 되지만 HGST는 4분기 마감 및 FY11도 마감했습니다. 태국의 홍수로 인해 HGST 역시 상당히 타격을 입었는데요. 전년 동기 대비 매출이 26% 줄고 생산량은 46%나 줄어들었습니다. 모바일 부문은 분기 대비 58%가 줄고(-58% Q/Q), 데스크톱의 경우 38%가 줄었지만(-38%, Q/Q), 그래도 다행스러운 것은 기업용 HDD는 분기 대비 7%, 연간 대비 26% 성장했다고 합니다.

웨스턴디지털 역시 지난 12월 말로 분기를 마감했는데요. FY12의 2분기를 마감한 WD는 매출 19억9500만달러, 이익은 1억4500만달러를 기록했습니다. 전년 동기(매출 24억7500만달러, 이익 2억2500만달러) 대비 –19% 성장했습니다. 6개월 누적의 경우 46억8900만달러의 매출과 3억8400만달러의 이익을 남겼지만 6개월 누적은 역시 마이너스 성장을 하여 –4% 성장했습니다. HGST 인수 때문에 현금 지출이 많은 WD가 태국 홍수라는 악재를 만났고 이래저래 참 힘든 시기를 겪고 있습니다.

지난 분기에 씨게이트가 4690만개를 판매해 시장을 선도하고 있고 WD는 2850만개, HGST는 1720만개를 판매했다고 합니다. 도시바는 1900만개를 판매했다고 하는군요. 아직 WD와 HGST간 합병을 승인하지 않고 있어 합병이 되고 난 뒤 합병 시너지가 나면 씨게이트와 WD간 승부가 볼만해지겠군요.

씨게이트와 WD의 평균판매가(ASP)를 기준으로 좀 살펴보았습니다. 두 기업은 회계연도가 같아서 참 비교하기 좋은데요. 지난 분기에 씨게이트는 46만9천대, WD는 28만5천대를 판매하였는데, ASP는 각각 68달러, 69달러였습니다. 하지만 바로 직전 분기 즉 FY12의 1분기만 보면 씨게이트가 50만8천대, WD는 57만8천대, ASP는 55달러, 46달러였습니다. 태국홍수 사태가 WD로 하여금 평균판매단가를 높여 놓은 것이 아닌가 하는 생각이 드는군요. WD는 46달러에서 69달러로 올랐으니 말이죠. 하지만 상대적으로 씨게이트는 55달러에서 68달러로 오른 폭이 WD보다 못 하네요.

이제 소프트웨어 기업 컴볼트를 보겠습니다. 스토리지 소프트웨어 기업 중 상당히 높은 성장을 하고 있는 기업인데요. 매 분기 20% 이상 성장하는 것 같습니다. 지난 12월31일로 마감한 FY12의 3분기 실적을 보니 매출 1억360만달러에 이익 720만달러를 기록해 전년 같은 기간 매출 8360만달러, 이익 730만달러에 비해 24%나 성장했습니다. 9개월 누적해 보면 2억9260만달러의 매출과 2210만달러의 이익을 남김으로써 전년 9개월 누적 매출 2억2520만달러, 이익 1620만달러와 비교해 30%에 달하는 고공 행진을 기록하고 있습니다. 이러한 성장에 대해 컴볼트에서는 미국을 비롯한 북미 지역과 EMEA 지역의 성과가 좋았기 때문이라고 밝히고 있습니다. 2011년 가트너 매직쿼드런트를 보니 컴볼트가 상당히 높은 수준에 올라가 있던데요. 그렇게 된 것도 그만한 이유가 있으니 가능하지 않을까 생각해 봅니다.

이러한 실적을 반영한 탓인지 최근 컴볼트 주가는 상당히 오르고 있는데요. 현재 주가가 52달러에 이르는군요. 이해를 돕기 위해 유사한 비즈니스를 하는 소프트웨어 기업인 시만텍의 경우 17달러이고 hp가 61달러입니다. 2월4일 일요일 거래가 없는 시간을 기준으로 해서 볼 때 이 정도이니 컴볼트의 미래 가치가 주가에 많이 반영된 것이라는 생각이 드는군요. 관심 있으신 분들은 나스닥 홈페이지에서 여러 기업들을 같이 비교해 볼 수 있으니 해보는 것도 나쁘지 않을 것입니다.

(출처: 나스닥 홈페이지에서의 컴볼트 주가 차트, www.nasdaq.com)

이제 마지막으로 스토리지 거대 기업인 EMC의 실적을 보겠습니다. EMC는 지난 12월말로 FY11의 마감을 했습니다. FY11의 4분기 55억7400만달러의 매출과 8억3200만달러의 이익을 남겨서 전년 동기(매출 48억8900만달러, 이익 6억2900만달러) 대비 14% 성장했습니다. FY11 전체로는 200억800만달러의 매출과 24억6100만달러의 이익을 남김으로써 FY10의 매출 170억1500만달러 이익 19억9천만달러와 비교해 볼 때 18%라는 기록적인 성장을 했습니다.

시메트릭스로 대표되는 하이엔드 스토리지는 연간 11% 성장했고 미드레인지 스토리지는 24% 성장했습니다. VM웨어는 27%, RSA 부문은 16% 성장했습니다. 미드레인지 스토리지인 VNX는 지난 분기에만 2천개의 고객을 새로 만들었다고 밝히고 있습니다. BRS(Backup Recovery Systems)의 경우 데이터 도메인과 아바마 등의 영향으로 20억달러의 매출을 기록했다고 합니다. 분기 매출이 55억7천만달러인데, 20억달러를 백업 부문에서 거둬들였다는 것은 좀 특이하군요. 아이실론의 경우 구체적인 숫자를 밝히고 있지는 않지만 전년 대비 2배 이상 성장했다고 합니다.

스토리지로 한정해 보겠습니다. 제품과 서비스로 살펴 보면 분기의 경우 제품이 지난 4분기에 28억1500만달러로 3분기 24억6300만달러와 비교하면 14% 성장한 것이고 서비스는 4분기 12억5700만달러로 3분기 11억9천만달러와 비교해 보면 분기에 6% 성장했습니다. EMC는 2011년 하반기에만 제품 판매 매출로는 52억7800만달러를, 서비스는 24억4700만달러를 벌었습니다. FY10과 FY11 전체를 보면 88억2400만달러와 100억9천만달러의 제품 판매 매출과 서비스는 FY10에 38억7500만달러, FY11에는 46억2400만달러를 판매했습니다. EMC 전체 FY11의 매출이 200억800만달러인데, 스토리지 제품과 서비스 판매가 147억1500만달러로 비즈니스의 핵심이 역시 스토리지에 있음을 알 수 있습니다. 숫자로 보면 확실히 EMC가 스토리지 업계의 리더임을 느낄 수 있군요.

높은 실적을 축하하면서 EMC를 위한 보너스 컷으로 리처드 기어 주연의 ‘더 더블’이란 영화를 보면 EMC의 시메트릭스가 이유도 없이 리처드 기어의 배경으로 등장하더군요. 왜 시메트릭스가 CIA 회의실 뒤에 있을까요. 미국에는 회의실 뒤에 스토리지를 둘까. 그것도 하이엔드 스토리지를? 잘 모르겠지만, 아무튼 재미있어서 올려봅니다. PPL을 이렇게도 하는군요.

(출처: 영화 ‘더 더블’의 한 장면, 마틴 쉰(CIA국장)이 FBI국장(오른쪽)에게 리처드 기어를 소개하면서 회의실로 들어가는 장면)

- fin -

데이터 폭증을 대비하라는 말은 여기저기서 쏟아지는데, 고객들은 혼란스럽다. 빅데이터와 관련된 전략만 난무할 뿐 빅데이터가 무엇인지, 빅데이터를 가지고 무엇을 할 수 있는지에 대해서는 제대로 알려지지 않고 있기 때문이다. 하다못해 왜 빅데이터에 관심 가져야 하는지에 대해서도 명확한 정리가 이뤄지지 않고 있다.

그러다 보니 한 컨설팅 관계자가 “빅데이터 분석은 소셜분석을 위한 도구일 뿐”이라는 엉뚱한 소리를 하기에 이르렀다. 트위터, 페이스북 데이터로 빅데이터 분석을 해봤다는 한 은행권 관계자는 “분석, 막상 해보니 별거 아니었다”라며 “의미 있는 분석 결과가 나오지 않아 수억원을 그냥 날렸고, 임원들로부터 다음에는 그냥 VIP 마케팅이나 하라는 핀잔을 들었다”라고 토로할 정도다. 실제로 많은 업계 관계자들이 빅데이터 분석에 호감을 느끼고 분석에 나서지만 막상 효과를 얻지 못해 그냥 좌절하는 경우가 허다하다.

한재선 넥스알 대표는 “빅데이터 시장은 이제 막 열렸고, 시작됐다”라며 “기업들이 국내 빅데이터 시장은 어떻게 분석하고, 무엇을 얻으려고 하는지에 대해서 모르는 가운데 벤더들이 던지는 의미만 수용하다보니 혼란스럽게 느낄 수밖에 없는 것”이라고 지적했다. 구태훈 테라데이타 이사 역시 “빅데이터에 대해 올바르게 접근하기 위해서는 명확한 목적의식을 가질 필요가 있다”라고 당부한 바 있다.

박춘삼 EMC 데이터컴퓨팅 사업부 이사(사진)도 빅데이터에 대해 한 목소리 거들었다. 그는 “EMC는 적어도 빅데이터를 ‘최근 데이터가 폭발적으로 증가하면서 만들어진 단어’로 보고 있다”라며 “갑자기 데이터가 증가하면서 기존 하드웨어 장비로는 원활한 데이터 저장과 처리, 분석이 이뤄지지 않았기 때문에 이를 어떻게 접근하면 좋을까를 고민하는 과정에서 빅데이터가 화두가 됐다”라고 설명했다. 그리고 이제는 업계들이 빅데이터를 가지고 무엇을 할 수 있는지에 대해서 진지하게 고민해야 할 때라고 강조했다.

빅데이터 시장에서 EMC는 다른 업계들보다 유독 ‘데이터 과학’과 ‘데이터 과학자’를 중시한다. 빅데이터를 제대로 다루기 위해서는 빅데이터를 담는 그릇도 중요하지만 그릇에 담긴 내용을 올바르게 해석하는 역할도 중요하다고 봤다.

현재로서는 빅데이터를 통해서 기업이 당장 이익을 얻긴 힘들다. 어떤 요소들을 분석해야 좋은 결과가 나오는지 작업이 이제 막 한창이기 때문이다. 일회성에 그친 빅데이터 분석을 통해 새로운 통찰력이 얻어지는 것이 아니다. 누적된 빅데이터 분석 결과가 있어야 새로운 사업 기회를 파악할 수 있다.

예를 들어 현재 은행이 자사 고객관계관리 데이터를 바탕으로 얻을 수 있는 정보는 한정돼 있다. 고객번호, 주민등록번호, 이름, 주소, 계좌 잔고처럼 정형화된 데이터를 파악할 수 있다. 이 정보들을 SNS와 결합하면 어떤 일이 벌어질까.

SNS상에서는 고객들이 특정 은행의 금융상품을 거론하며 ‘이 은행의 ○○ 상품은 수익성이 떨어지니 절대 가입하지 말아라’, ‘이번에 □□은행의 ××펀드에 투자했다가 손해를 봤다’라는 내용이 충분히 나올 수 있다. 이는 정형화된 데이터로는 파악할 수 없는 정보다. 은행은 고객의 트윗을 바탕으로 자사 금융상품에 어떤 문제점이 있는지, 고객 이탈 현상이 언제쯤 발생할 것인지를 예측할 수 있다. 고객을 이해할 수 있는 범위가 점점 늘어나게 된다.

그리고 이렇게 누적된 빅데이터 분석은 고객의 여신 관련 친구들의 정보를 알 수 있는 정도까지 발전할 수 있다. 고객의 친구들, 지인들 관계를 SNS로 파악해 좀 더 효율적인 금융상품 마케팅이 가능해진다. 분석이 더 발전하면, 빅데이터 분석을 통해 고객에게 최적화된 금융설계 상품까지 제공할 수 있게 될지 모른다.

박춘삼 이사는 “1990년대 DW가 등장했을 때도 지금과 같은 논란이 있었지만, 기업이 발생시키는 데이터가 순식간에 증가하면서 이제는 거의 모든 업체들이 DW를 가지고 있다고 해도 과언이 아니다”라며 “DW를 가진 회사와 안 가진 회사가 다르듯, 빅데이터에 관심을 가진 회사와 그렇지 않은 회사의 차이가 나중에 가서 드러날 것”이라고 말했다. 빅데이터에 대한 타이밍이 늦을수록 데이터를 파악하는 기능도 늦어질 것이라고 박 이사는 조언했다.

EMC 데이터 과학부 소속 데이터 분석 랩에서는 경제학자와 사회학자가 데이터 속에서 어떤 요소들끼리 상관 분석을 해야 유의미한 결과가 나올지를 예측하는 작업이 한창이다. 그리고 나면 통계학자가 통계 분석을 통해 데이터 분석으로 인한 오류와 왜곡을 줄여나간다고 한다. 그렇게 나온 분석 방법을 토대로 엔지니어는 데이터를 수집하고 분석하는 알고리즘을 만든다.

EMC는 한발 더 나아가 만들어낸 알고리즘을 토대로 이런 종류의 요소와 저런 종류의 요소를 결합하면 어떠한 분석 결과가 나오는지 함수로 만들어 종합하는 작업을 하고 있다. 향후 이렇게 모아진 함수를 바탕으로 빅데이터 분석 솔루션을 개선해나가겠다는 전략이다.

박춘삼 이사는 “EMC는 진정한 가치를 전달하기 위해서는 이 데이터를 가지고 누군가 의미 있는 데이터로 만들어 주는 사람이 필요하다는 것에 중점을 두고 있다”라며 “빅데이터 분석을 위해 경제학자, 사회학자, 통계학자, 엔지니어가 한 팀이 돼 움직인다”라고 설명했다. 솔루션만을 이용한 기계적인 분석을 통해서는 원하는 분석 결과를 얻을 수 없다고 보기 때문이다.

결국 빅데이터 시장에 있어서 가장 중요한 점은 기존 데이터와 새롭게 등장하는 데이터를 결합해 새로운 연관관계를 찾아내는 데 달려 있다. 지금 당장 빅데이터 분석에 뛰어들 필요는 없다. 하지만 관심을 갖고 어떻게 작업할 것인지 계획을 세우는 것은 필요하다.

박춘삼 이사는 “한 번이라도 빅데이터를 분석하려고 시도하는 것은 중요하다”라며 “일단은 빅데이터 분석을 안하면 고객 요구를 파악하지 못하다는 강박관념에서 벗어나 DW를 활용한 형태로 분석을 차근차근 진행할 필요가 있다”라고 당부했다.

EMC, HP, IBM, 오라클, SAP 같은 IT 벤더들은 각자 빅데이터를 어떻게 감당하고, 관리하고, 분석할 것인지에 대해서 전략을 발표했다. EMC는 ‘데이터 과학의 시대가 왔다’라며 방대한 정보에 어떻게 접근하고 무엇을 분석할 것인지에 중점을 뒀다. 스토리지 명가답게 데이터를 저장하는 단계에서부터 관리하고 분석하기에 이르기까지 모든 과정을 도와주겠다고 나섰다. ‘데이터 과학자’를 육성하겠다는 전략도 공개했다. 빅데이터 시대에 있어서 가장 중요한 것은 솔루션이 아니라 솔루션은 관리하는 사람에 달려있다고 봤기 때문이다.

사진 : 플리커 CC BY

나머지 업체들 사이에서는 빅데이터 시장 진입을 위한 인수합병이 진행됐다. HP는 최고경영자가 2번이나 바뀌는 혼란 속에서도 103억달러라는 거금을 들여 기업용 검색엔진 1위 업체인 ‘오토노미’를 인수했다. 제임스 코비엘루스 포레스터 리서치 수석 애널리스트는 컴퓨터월드에서 “HP는 빅데이터 시장에서 가장 주목받는 플레이어가 될 것”이라며 “버티카와 오토노미가 결합해 어떤 시너지를 만들어 낼 지가 가장 기대되는 부분”이라고 말했다. 그는 또한 “EMC가 그린플럼을 인수하면서 보인 전략처럼 HP도 버티카와 함께 공동 성장하는 모습을 보여줬으면 좋겠다”라며 “버티카의 하드웨어적인 기능은 충분하기 때문에 여기에만 의존하지 말고 클라우드와 결합해 좀 더 나은 서비스를 HP가 제공할 것으로 기대된다”라고 덧붙였다.

이에 질세라 IBM은 공격적으로 기업용 검색엔진 업체 인수에 나섰다. 빅데이터를 어떻게 분석하고 가공하느냐에 따라 결과가 달라진다고 봤는지, 나머지 벤더들 중에서 가장 인수에 적극적인 모습을 보였다. IBM은 플랫폼 컴퓨팅, 디맨텍, i2, 엠토리스같은 분석 업체를 잇달아 인수하며 빅데이터 시대에 알맞게 자사 솔루션들을 정비하겠다고 나섰다.

오라클과 SAP도 가만있지 않았다. 오라클은 하이페리온을 인수하면서 확보한 분석 기술과 썬마이크로시스템즈의 하드웨어 기술을 결합한 ‘빅데이터 어플라이언스’를 출시로 시장 공략에 나섰다. 이에 SAP는 인메모리 데이터베이스(DB) 어플라이언스인 ‘하나(HANA)’ 출시로 맞불을 놨다.

이처럼 빅데이터의 인기가 높아지면서 동시에 하둡에 대한 관심도 상승했다. 코비엘루스 애널리스트는 “하둡을 기반으로 한 데이터웨어하우스(DW) 어플라이언스가 내년에 가장 인기 있는 새로운 플랫폼이 될 것”이라며 “아마 많은 IT벤더들이 하둡 껴안기에 나설 것”이라고 분석했다. EMC, IBM, 마이크로소프트, 오라클, 테라데이타까지 많은 업체들이 빅데이터 분석을 위해 하둡을 기반으로 한 DW 솔루션 준비에 나섰다.

하둡은 분산처리 시스템인 구글 파일 시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS)과 맵리듀스를 구현해준다. 쉽게 말해 데이터를 분산시켜 처리한 뒤 하나로 합쳐 처리할 수 있게 도와준다.

빅데이터 분석에서는 말 그대로 엄청나게 많은 정보가 쏟아지기 때문에 사전에 정보를 적절하게 쪼개서 수집한 뒤 처리해서 하나로 합치는 일이 중요하다. 하둡은 이 과정에서 핵심 기술로 작용한다. 기업들이 빅데이터를 외치면서도 하둡에 열광하는 이유는 바로 이 때문이다.

코비엘루스 애널리스트는 “상당수 업체들이 하둡 같은 오픈소스를 활용해 빅데이터를 처리하는 방법을 고민 중에 있다”라며 “분석을 어떻게 할 것인지에 대한 고민과 동시에 어떻게 하면 빅데이터 분석 결과를 쉽게 고객에게 전달할 것인가도 기업들이 최근 고민하고 있다”라고 말했다. 비즈니스 인텔리전스(BI) 솔루션을 통해 빅데이터 분석을 좀 더 쉽게 고객들에게 제공하려고 노력중이라는 것이다. 특히 모바일 BI솔루션은 각광 받을 것이라고 코비엘루스 애널리스트는 전했다.

컴퓨터 월드는 래리 엘리슨 오라클 회장의 말을 인용해 “오라클은 차세대 퓨전 애플리케이션의 한 부문으로 BI를 생각하고 있다”라며 “별도의 방법 없이 다양한 기기에서도 빅데이터 분석 결과를 보고 받을 수 있게 애플리케이션을 개발할 예정”이라고 전했다.

코비엘루스 애널리스트 역시 “오라클의 전사적자원관리(ERP) 솔루션에 다양한 BI플랫폼을 결합하면 빅데이터 시너지 효과를 얻을 수 있을 것으로 본다”라고 말했다.

많은 기업들이 빅데이터를 향해 뜨거운 관심을 보내고 있는 가운데, 주의도 이어졌다. 이미 많은 기업들이 빅데이터 시장에 뛰어들면서 지나친 경쟁이 발생하면 고객에게 피해로 돌아갈 수 있다는 것이다.

코비엘루스 애널리스트는 “경쟁을 통한 시장 발전은 좋지만, 빅데이터에 대한 정확한 정의와 개념도 확립되지 않는 상태에서 무모하게 마케팅 전략을 내세우는 것은 약간 조심스럽다”라며 현재 열풍을 조용히 지적했다. 그의 말처럼 이미 많은 기업들이 빅데이터 시장에 뛰어들었다. 이 시장에서 어떤 기업이 웃게 될까. 2012년에 지켜보자.

제레미 버튼 EMC 최고마케팅경영자(CMO)는 “앞으로는 단순히 데이터를 보관하는 개념의 클라우드 서비스가 아닌 데이터를 올바르게 정리하고 분석하는 서비스가 더 중요해진다”라며 “고객들이 분석 서비스를 좀 더 효과적으로 누릴 수 있는 방향으로 자사 전략을 집중할 계획”이라고 말했다.

기업들이 감당해야 할 데이터양이 증가하면서 2012년에도 이를 효과적으로 관리할 수 있는 방법이 중요해질 전망이다. EMC는 전문 인력 양성, VM웨어와의 협력 등을 통해 ‘분석’을 중심으로 한 클라우드 서비스를 핵심 사업 전략으로 내세웠다.

버튼 CMO는 “클라우드 컴퓨팅, 빅데이터 분석 등과 같은 데이터과학 학문을 장려해 관련 인재를 육성해 나갈 예정”이라고 말했다. 우선 내년부터 데이터 과학 학문 분야를 가르치고 있는 대학에 대해 지원할 방침이다. 학과 과정을 통한 교육으로 빅데이터를 효율적으로 다룰 수 있는 인재를 미리 확보해 경쟁 시장에서 우위를 점하겠다는 심산이다.

클라우드 컴퓨팅에 대한 관심이 뜨거워지면서 관련 전문가 양성도 중요한 문제가 되어가고 있다. 시장은 빠르게 성장하는데 관련 기술을 제대로 이해하고 구현할 수 있는 인재들은 부족하기 때문이다.

버튼 CMO는 “관련 전문 기술을 가진 인재를 기업이 얼마나 확보하느냐의 여부가 기업 경쟁력을 결정지을 것”이라며 “지속적인 교육 지원을 통해 클라우드 컴퓨팅에 대한 핵심 기술을 가진 인재를 키워낼 것”이라고 말했다.

이와 같은 전략을 EMC는 앞서 국내에도 선보인바 있다. 클라우드 컴퓨팅과 가상화에 관한 교육 전문가 자격증 과정을 개설해 관련 인재 개발에 힘써왔다.

인재 양성과 동시에 VM웨어를 통한 클라우드 시장 공략도 함께 이뤄진다. EMC는 고객들이 좀 더 편리하고 쉽게 사용할 수 있는 솔루션 개발해 프라이빗과 퍼블릭 클라우드를 간단하게 관리할 수 있는 환경을 지원할 예정이다.

버튼 CMO는 “VM웨어의 경우 많은 가상화와 클라우드 컴퓨팅 구축 사례를 갖고 있다”라며 “이 기술을 더욱 발전시켜 고객들에게 편리한 클라우드 서비스를 제공하는게 2012년 목표”라고 말했다. 또한 “EMC 스토리지의 최적화된 VM웨어의 가상화 애플리케이션들은 기업들이 클라우드 환경은 좀 더 저렴한 비용으로 구축할 수 있게 돕는다”라며 “VM웨어의 EMC의 시너지는 2012년의 더욱 극대화 될 것으로 본다”라고 덧붙였다.

지난 분기, 전세계 스토리지 소프트웨어에 관한 시장 규모가 IDC를 통해 공개되었는데요. 35억달러에 이르러 2010년 같은기간 대비 9.7% 성장을 하였다고 합니다. IDC에 따르면 아카이빙 소프트웨어와 스토리지 및 디바이스 관리 소프트웨어 부문이 연간 12.2%와 11.3%를 성장하였다고 하고 데이터 보호 및 복구 소프트웨어의 경우 무려 34.9%라는 경이적인 성장을 하였다고 하는군요.

EMC를 비롯하여 시만텍과 IBM 등이 스토리지 소프트웨어 공급업체로서는 톱에 올랐으며 HP의 경우 3PAR 인수로 인해 상당히 큰 성장을 하였지만 톱5를 꼽는데 있어서는 빠져 있습니다. IDC에 따르면 스토리지 소프트웨어는 언제나 수요가 가장 많은 부분이라고 하는데요. 톱 5개 스토리지 소프트웨어 기업들의 구체적인 수치는 아래 표를 확인해보시길 바랍니다.

가트너, 미드레인지 및 하이엔드 모듈러 디스크 스토리지 매직 쿼드런트 발표

가트너가 디스크 스토리지 부문의 매직 쿼드런트를 발표했습니다. 거의 매년 11월이면 발표되는 이 자료는 상당히 많은 인사이트를 주는데요. 올해 역시 무려 15개 업체를 대상으로 각 스토리지 기업들의 강약점과 전체적인 평가를 4개 분면에 시각적으로 위치시키는 매트릭스를 통해 직관을 제공합니다.

리더 그룹에 위치한 스토리지 기업들로는 EMC, 넷앱, HP, IBM, 델, 히타치 등이 있으며 챌린지 그룹에는 후지쯔와 오라클 등이 있습니다. 비전 그룹에는 지오만이 위치해 있는데요. 2011년 한 해만 볼 것이 아닌 2010년 매직 쿼드런트와 같이 비교해 보면 좋을 것 같아 2010년 그림을 아래에 실어 보았습니다.

3PAR나 컴펠런트 등과 같은 스토리지 기업들이 각각 HP와 델 등에 인수합병되면서 리더 그룹의 실행력과 비전의 완성도 등에서 이동이 있었습니다. EMC나 넷앱의 경우 크게 위치 변동이 없었지만 델과 HP의 이동이 확연히 드러납니다. 두 기업 모두 상당히 좋은 평가를 받았는데요. 하지만 2010년 비전 그룹에 속해 있던 필라데이터시스템즈의 경우 오라클로 인수된 후 오라클의 역량으로 이전보다 나은 평가를 받기는 했지만 큰 차이가 없습니다.

2010년과 2011년을 비교해 보면 니치 플레이어는 여전히 인포트렌드, SGI, 하웨이 시만텍, 넥산, NEC, DDN 등이 차지하고 있으며 큰 변화는 없습니다.

확실히 2010년에 비해 2011년의 스토리지 기업의 수는 줄었습니다. 그만큼 2010년과 2011년을 지나면서 많은 스토리지 기업들이 인수와 합병 과정을 거쳤다는 것을 의미하겠죠. 그림만 놓고 본다면 이제 비전 그룹에는 지오만 남았는데요. 이 기업도 인수 및 합병이라는 몸짓 불리기에 들어갈 것인가 궁금해집니다.

한 CEO가 말하는 2012년 데이터센터 예측

버스토라는 가상화를 주력으로 하는 스토리지 소프트웨어 기업이 있습니다. VM웨어를 비롯하여 시트릭스, 마이크로소프트 등의 가상화를 실행할 때 버스토의 스토리지 가상화 소프트웨어를 이용하면 블록 기반의 스토리지를 제공할 수 있도록 하는 스토리지 플랫폼을 구축할 수 있습니다. 아래 그림은 VM웨어를 이용한 VDI 구성 시에 버스토가 어떻게 위치하여 어떤 기능을 수행하는지를 설명하고 있습니다. VDI 구축 시 버스토의 구성과 서버 가상화 구축 시의 버스토 구성이 다릅니다. 실제로 VDI의 경우 아래 그림과 같이 ESXi와 같은 하이퍼바이저 위에 버스토의 가상 스토리지 레이어가 존재하지만 서버 가상화의 경우 ‘가상 스토리지 엔진’을 이용하는데 마스터 서비스와 노드 서비스를 구분하고 읽기와 기록을 최적화합니다.

2007년도에 설립된 버스토는 캐난 파트너스와 인터웨스트 파트너, 오거스트 캐피탈 등의 벤처캐피탈 등으로부터 펀딩을 받았습니다. 아직 많은 기업들을 고객으로 만들지는 않고 있지만 다양한 가상화 기술을 적극 수용하여 제품 개발을 진행하고 있어 앞으로 그 실적이 기대되는 기업 중 하나입니다.

이 기업의 대표이사인 마크 데이비스가 데이터센터에 대한 예측 5가지를 이야기했습니다. 이런 기업의 CEO가 예측을 한다고 해서 무시하기 보다는 그 속에서 인사이트를 찾아보는 것이 더 현명할 것으로 판단되어 옮겨봅니다.

1. 데이터센터 컨버전스가 데이터센터의 역할을 재창조할 것이다. – 현재의 데이터센터는 크게 두 가지 문제로 요약되는데 첫째 컴퓨팅 비용이 증가하는 것과 둘째 그 시스템을 운영하는 전문가의 인력 비용이 증가하는 현상입니다. 이러한 현상은 하이퍼바이저의 등장과 사용, 그로인한 가상화를 위한 프레임워크가 일반화로 해결될 수 있다는 것입니다. 가상화를 위해서는 표준화되고 범용 환경에서 오픈 아키텍처를 사용하게 될 것이며 이러한 경향이 비용 증가를 억제할 수 있고 그래서 전문가 집단으로 고비용 구조의 데이터센터에서 변모하는 데이터센터의 역할을 하게 될 것이라는군요.
2. 기업들이 SSD를 어떻게 사용할 지를 깨닫게 될 것이다. – 2012년 SSD의 사용이 더욱 더 증가하고 서버나 스토리지 등에서의 가상화 경향에 따라 낮은 지체 문제를 해결하는데 사용되면서 기업들이 이제는 SSD를 어떻게 사용하는지를 알게 될 것이라고 합니다.
3. 클라우드 규모의 컴퓨팅이나 IT에 특화된 것이 아닌, 일반적인 경제활동을 위한 스토리지 아키텍처가 등장할 것이다. – 가상화가 클라우드로의 환경으로 이행에 있어 핵심이 되면서 스토리지와 관련된 이슈는 스케일 즉 확장성이 문제가 되고 있으며, 현재의 일반적인 스토리지 아키텍처가 제공하는 확장성으로는 클라우드가 요구하는 탄력적인 운용 환경 속에서의 민첩성이나 기민함을 제공하기 어렵기 때문에 가상화된 환경에 적합한 스토리지 아키텍처가 필요하게 될 것이라고 하는군요.
4. 하이퍼바이저가 기업의 스토리지 하드웨어를 효과적으로 관리할 수 있도록 확대될 것이다. – 어레이와 하이퍼바이저를 연결하는 체계에서의 ‘인텔리전스’가 필요하다는 얘깁니다. 이러한 요구에 대해 하드웨어 벤더들이 차별화와 경쟁력을 향상하는 것이 절대적으로 필요하다고 주장하고 있습니다.
5. 여러 개의 하이퍼바이저를 사용하는 것이 업계 일반적인 현상이 될 것이다. – 이제 IT를 사용하는 기업들은 하나의 하이퍼바이저가 아닌 2개 이상의 하이퍼바이저를 사용하는 것이 점점 많아질 것이라는 주장입니다. 이렇게 함으로써 벤더 종속 문제를 해결할 수 있으며 IT 인프라를 보다 성숙시킬 수 있다고 합니다.

이상의 다섯 가지에 대해서 그것이 2012년에 일어나기보다는 앞으로 꾸준히 일어날 것이고, SSD의 사용이나 여러 벤더의 하이퍼바이저를 사용하는 것 등과 같은 현상이 가장 빠르게 현실화될 것 같습니다. 다소 가상화 환경과 스토리지 환경에 초점을 맞춘 이번 마크 데이비스의 예견은 가상화라는 주제에 적합하다는 생각이 들지만, 한편으로 주의해야 할 것은 스토리지 전반이 이렇게 될 것인가 대한 해답으로 생각해서는 안될 것이라고 봅니다.

VDI를 추진하는 데 있어 가장 큰 과제: 비용과 성능

VDI 즉 가상 데스크톱 인프라를 구성하는 데 있어 가장 큰 과제는 비용과 성능이라는 설문이 스토리지 스타트업 기업 중 하나인 님블이 실시한 설문을 통해 나왔습니다. 600명의 기업 IT 전문가들을 대상으로 실시한 설문 조사에서 응답자의 54%가 성능과 비용 등을 꼽았고, 그 중에서 30%는 전체적인 비용을 그리고 40%는 스토리지 비용이 가장 큰 장애물이라고 응답하였다고 하는군요. 전체적인 비용 중에서 스토리지 비용이 그만큼 많이 차지하고, 그 비용에 VDI를 추진하고자 하는 기업에서 부담을 느낀다는 것입니다.

VDI에 대한 관심 정도에 대해서는 응답자의 61%가 이미 VDI를 도입하였거나 도입할 의향이 있다고 하였습니다. 이미 상당수의 기업들이 VDI에 대해 상당히 관심이 있고 도입을 추진하고 있다는 것인데요. 우리나라도 그렇지만 해외도 VDI에 대한 인기는 대단합니다.

그 밖에 흥미로운 것들로는 VDI를 위해 56%는 기존 스토리지 인프라를 이용할 것이라고 하고 25%만이 VDI 전용의 새로운 스토리지를 도입할 계획이라고 하는군요. 상당수는 VDI 전용보다는 VDI와 다른 애플리케이션이 같이 사용할 수 있도록 새로운 하드웨어 도입을 생각하고 있다고 합니다.

기타 과제들로는 스토리지 및 백업 등에 관한 과제를 꼽았다고 하는데요. 실제 VDI 프로젝트를 수행하는데 있어 해결해야 할 스토리지 차원에서의 과제를 다시 한 번 더 확인하게 하는 결과라서 더욱 눈이 가는군요.

EMC가 데이터 과학 연구를 실시해 얻은 결과다.

EMC가 데이터 과학 커뮤니티에 대한 역대 최대 규모의 연구 결과를 발표했다. (원문은 이곳으로 관련 연구 원문 )

미국, 영국, 프랑스, 독일, 인도, 중국에서 실시된 본 EMC 데이터 과학 연구는 빅데이터와 데이터 분석이 결합할 경우 발생하는 기회를 활용하는데 있어 기업들에게 반드시 필요한 선행기술들이 전반적으로 부족하다는 점을 밝혀냈다. 또한 비즈니스 의사 결정, 경쟁우위 확보, 생산성 증대 촉진, 혁신의 추진과 고객 통찰력 파악을 위해 데이터를 효과적으로 사용하는 기업은 전체의 1/3에 지나지 않은 것으로 나타났다.

이번 연구에 따르면 모바일 센서, 소셜 미디어, CCTV, 의학 영상 자료, 스마트 그리드 등에 의해 만들어진 디지털 데이터의 폭증은 이러한 데이터를 분석할 수 있는 새로운 툴들과 결합함으로써, 데이터로부터 가치와 통찰을 이끌어 낼 수 있는 기회 역시 폭발적으로 성장시킨 것으로 밝혀졌다. 이에 따라 데이터 과학자에 대한 기업들의 수요가 인재 공급을 빠른 속도로 추월하고 있는 것으로 나타났다.

EMC 데이터 과학자 연구에는 IT 의사 결정권을 가지고 있는, 전세계 데이터 과학 커뮤니티 회원 약 500명이 참여했다. 응답자에는 데이터 과학자를 비롯, 데이터 분석가, 데이터 전문가, 비즈니스 인텔리전스 분석가, 정보 분석가 및 데이터 엔지니어 등 관련 분야 전문가들이 포함돼 있다.

김경진 한국EMC 대표는 “빅데이터의 시대가 도래했다. 이에 따라 비즈니스, 그리고 우리가 일하고 살아가는 방법 역시 전례 없는 변화의 시기를 맞고 있다. 대용량 스케일아웃 스토리지, 차세대 분석과 시각화 역량의 결합을 통해 빅데이터 시대에 가치를 이끌어 내기 위한 기술은 이미 마련이 됐다. 이제 필요한 것은 역동적이면서 상호 연결된, 고도로 숙련되어 있으면서 권한이 부여된 데이터 과학 커뮤니티가 빅데이터와 관련된 트렌드 및 패턴을 밝히고 거기에 감춰진 새로운 통찰력을 이끌어내는 것이다”라고 말했다.

주요 연구결과

충분한 정보를 통한 의사결정 – 자신이 속한 기업이 새로운 데이터에 기반하여 비즈니스 의사결정을 내릴 수 있는 능력을 갖추고 있냐는 질문에 오직 1/3만이 “매우 그렇다”라고 응답했다.

인재 부족의 심화 – 데이터 과학자 중 65%가 향후 5년 동안 데이터 과학 인재에 대한 수요가 공급을 뛰어넘을 것으로 내다봤으며, 가장 효과적인 인력 충원지는 이제 갓 대학을 졸업한 사회 초년생 그룹이라고 답했다.

데이터 과학 채택의 방해 요인 – 데이터 과학 채택에 있어 가장 많이 언급된 방해 요인으로는 ‘기술 또는 훈련의 부족(32%)’, ‘예산과 자원의 부족(32%)’, ‘잘못된 조직 구조(14%)’, ‘기술과 툴의 부족(10%)’ 순으로 나타났다.

고객에 대한 통찰 – 비즈니스 인텔리전스 전문가 및 데이터 과학자들 중 오직 38%만이 고객에 대한 이해도를 높이기 위한 목적으로 데이터를 사용하고 있다고 답했다.

성장을 촉진하는 신기술 – 전체 응답자 중 83%가 새로운 툴 및 신기술로 인해 데이터 과학자에 대한 필요성이 증대될 것이라고 답했다.

데이터 접근성 부족 – 직원들이 데이터를 가지고 실험할 수 있도록 데이터 접근 권한을 가지고 있는가라는 질문에 비즈니스 인텔리전스 전문가의 12%, 데이터 과학자의 22%만이 “매우 그렇다”라고 응답했다. 이는 아이디어를 빠르게 테스트하고 입증함으로써 혁신을 시도하는 데 있어, 기업들의 역량이 부족하다는 점을 대변하고 있다.

고학력 현상 – 데이터 과학자들이 석사 또는 박사 학위를 가지고 있을 비율이 비즈니스 인텔리전스 전문가들에 비해 세배 더 높았다.

비즈니스 인텔리전스의 향상 – 모든 응답자들은 자사에 데이터 과학자의 필요성이 증가하고 있다고 답했으나, 현직 비즈니스 인텔리전스 전문가가 그 수요를 충족할 수 있다고 응답한 이는 전체의 12%에 불과했다.

기술 수준의 증대 – 데이터 과학자들은 현직 비즈니스 인텔리전스 전문가보다 훨씬 더 높은 수준의 비즈니스 및 테크니컬 기술을 필요로 한다. 본 연구에 따르면, 데이터 과학자는 비즈니스 인텔리전스 전문가에 비해 고급 알고리즘을 적용하는 비율이 두 배 더 높았으며, 해당 데이터에 기초하여 비즈니스 의사결정을 내릴 수 있는 비율은 37% 더 높은 것으로 나타났다.

업무에 대한 애정도– 이번 연구에서는 자신이 일하고 있는 기업에 대한 응답자의 태도가 매우 우호적이라는 점을 알 수 있었다. 실제적으로 데이터 과학자들은 타사에 비해 자사의 IT 부서가 잘 조직되어 있고, 인재 채용에 능하며, 클라우드 컴퓨팅과 같은 핵심 기술 영역에서 앞서 있다고 응답했다.

데이터 라이프사이클에 대한 관여 – 데이터 과학자들은 비즈니스 인텔리전스 전문가들에 비해 데이터 라이프사이클 – 새로운 데이터를 확보하는 것에서부터 확보한 데이터에 기반해 비즈니스 의사결정을 내리는 것에 이르기까지 – 에 대한 관여도가 더욱 높은 것으로 나타났다. 여기에는 데이터 시각화, 데이터를 통한 스토리텔링 뿐 아니라 데이터 필터링 및 조직화가 포함된다.

비즈니스 툴 – 데이터 과학자들은 비즈니스 인텔리전스 전문가보다 파이썬(Python), 펄(Perl), 오크(AWK)와 같은 스크립팅 언어를 더 많이 사용하는 것으로 나타났다. 하지만, 여전히 데이터 과학자와 비즈니스 인텔리전스 전문가들이 가장 많이 사용하는 툴은 엑셀(Excel)인 것으로 나타났으며, SQL이 근소한 차이로 그 뒤를 이었다.

디지털 데이터가 폭주하고 있다. EMC가 지난 6월 말에 발표한 자료에 따르면, 올해 만들어지는 디지털 정보량은 무려 1.8ZE(제타바이트, 1021). 이는 대한민국 국민 모두가 17만 847년 동안 쉬지 않고 매 분마다 트위터에 3개의 글을 게시할 경우 생성되는 데이터량이다. 또 한 사람이 쉬지 않고 4700만년 동안 시청할 수 있는 2천억개 이상의 고화질(HD) 영화(상영시간 2시간 기준)의 용량과도 같다. 여기서 끝이 아니다. 이 같은 데이터가 매년 2배씩 증가해 2020년에는 관리해야 할 정보량이 50배 급증한다고 한다. 그야말로 ‘빅데이터’ 시대를 살고 있는 것이다.

문제의 핵심은 그러한 데이터를 고객 스스로, 사이버  네트워크와 긴밀히 연결돼 생성해내고 있으며, 이러한 데이터의 영향력이 전염병처럼 신속히 확산이 된다는 것이다. 기업이나 사회적 이슈에서 이미 그러한 사실이 확인 된 바 있으며, 기업이나 정부 입장에선 스마트폰 보급과 SNS 활성화로 폭발적으로 증가하는 빅데이터 속에서 나홀로 함께(alone togegher)하는 그들의 목소리를 잘 들고 해석하고,  그들의 행동을 예측하는 것이다. 예측이 어렵다면 최소한 반복되는 패턴이 무엇인지는 인지하고 있어야 한다. 이와 관련해 SAS코리아 이진권 상무가 관련 글을 보내와 이곳에 게재한다.

빅 데이터 , 양보다 질

여기서 한 가지 명확히 짚고 넘어갈 게 있다. 빅데이터 시대, 기업에게 중요한 것은 데이터의 ‘양(Volume)’이 아닌, ‘가치(Value)’라는 사실이다. 세계적인 시장조사 업체인 가트너는 “데이터는 미래 경쟁력을 좌우하는 21세기의 원유”라며 “기업들은 다가온 데이터 경제시대를 이해하고 이에 대비해야 한다”라고 언급했다. 기업에게 가장 중요한 자산은 ‘데이터’이며, 이를 관리하고, 그로부터 가치를 이끌어낼 수 있어야 한다는 것이다. 따라서 기업의 입장에서 빅 데이터는 ‘가치를 생성할 수 있는 데이터’를 의미한다.

그렇다면 무엇이 가치를 생성할 수 있는 데이터일까. 크게 4가지를 예로 들 수 있다. DBMS로 표현되는 ‘구조화된 데이터’, 소셜 미디어에서 탄생한 데이터들처럼 아직 구조화되지 않은 ‘비구조화된 데이터’, 메타정보와 센서데이터, 공정 콘트롤 데이터, 콜 상세 데이터 등 미처 활용하지 못하고 있는 ‘세미-구조화된 데이터’, 그리고 기업에서는 활용하기 어려운 ‘멀티미디어 이미지 데이터’가 그것이다.

최근 미국에서는 이들 빅데이터에서 가치를 찾아내는 ‘데이터 사이언스’가 주목 받고 있다. 이 분야의 전문 인력이 2018년까지 20~30만명 부족할 거라고 ‘비즈니스위크’가 언급할 만큼 음성과 사진, 영상 등 수많은 데이터에 숨겨져 있는 정보와 의미를 찾아내는 ‘데이터 사이언티스트’는 현재 헐리우드 스타급에 버금가는 몸값을 올리고 있다. 빅데이터 시대의 미래를 선점하려면 기업은 데이터 사이언스를 이해하고, 이를 실행할 전문가를 하루속히 확보해야 한다.  IT와 비즈니스, 그리고 이것으로 계량화해서 패턴을 찾아 내는 사람, 그가 바로 데이터 사이언티스트이다.

빅 데이터 시대, 기업의 대응전략

우리 기업은 빅데이터 시대를 어떻게 준비하고 대응해야 할까. 결론부터 말하자면 기업은 SNS에서 벌어지는 고객의 행동을 이해하고, 수많은 비즈니스 데이터를 자산화해서, 이들 데이터를 모듈화해서 신속히 대응할 수 있는 애널리틱 팩토리를 구축해야 한다. 하나씩 좀더 자세히 살펴보자.

첫째, 새로운 고객 행동에 대한 이해

소셜네트워크서비스(SNS) 시대를 사는 지금, 고객들은 보다 소셜화되고 개인화되고 있다. 맥도널드의 최고마케팅경영자는 “소셜 미디어의 헤드는 고객”이라며 “이제는 고객에게 마케팅을 맡기라”라고 말했다. 그만큼 마케팅 활동에서 소셜 미디어 활용은 필수이며, 고객이 자발적으로 마케팅 활동을 할 수 있도록 해야 한다.

이를 위한 우리의 해법은 무엇인가. 바로, ‘소셜 분석’이다. SNS 분석을 통해 고객이 뭘 좋아하는지, 어떤 행동을 하는지, 소셜 가치는 얼마나 되는지 등을 알아내야 한다. ‘참여불균형 원칙(90:9:1 Principles)’에서도 알 수 있듯 SNS 고객 100명 중 90명은 포스트만 하고, 9명은 댓글을 단다. 그리고 단 1명만이 콘텐츠를 만드는 등 왕성한 활동을 한다. 바로 이 한 사람을 찾아내는 것이 소셜 분석의 핵심이며, 기업은 이 한 사람을 찾아내 그를 특별하게 다룰 수 있어야 한다.

이러한 소셜 분석에는 소셜화와 모바일화, 최적화라는 세 단계가 있다. 소셜화란 SMA(소셜미디어 분석, Social Media Analytics)와 SNA(소셜네트워크 분석, Social Network Analytics)를 통해 오피니언 리더를 찾아내고, 그 사람과 실시간으로 커뮤니케이션하며 적절하게 대응하는 것을 말한다. 모바일화는 LBS 정보와 이에 대한 대응모델을 통해 상품을 추천하는 것이다. 한편 정해진 예산과 채널에서 최적의 상품을 권해 최적의 매출을 올리는 것이 최적화다. 기업에서는 바로 이 최적화를 목표로 고객의 행동을 이해하고 대응해야 한다.

소셜 분석의 3단계를 잘 이해하고 가장 잘 활용하는 기업이 페이스북이다. 페이스북은 우리 기업들이 가야 할 바람직한 미래 마케팅 모델이라고 해도 과언은 아니다. 사람들은 페이스북에서 친구들이 올린 정보를 지지하거나 다른 사용자와 공유하는 데 사용하는 ‘좋아요’ 버튼을 통해 자신의 의견을 스스럼없이 표출한다. 아울러 페이스북은 페이스북을 중심으로 각자의 사회 연결망을 가진 외부 웹사이트들이 하나로 연결된 ‘오픈 그래프’라는 표준을 제시했다. 따라서 고객이 어디를 ‘좋아요’ 하는지 알 수 있다. 또한 SEO(검색엔진 최적화, Search Engine Optimization)를 제시하고, 위치 기반 서비스인 ‘플레이스’ 서비스를 제시하는 등 그야말로 확실한 에코시스템을 만들었다. 기업에서는 바로 이 에코시스템을 참조해야 한다.

소셜 분석으로 성공을 거둔 기업의 예는 이 외에도 많다. 멕시코의 1위 통신사인 텔셀은 ‘소셜 밸류’ 분석을 통해 SNS에서의 리더와 팔로어, 아웃라이어 등을 식별했으며, 7천만 노드를 무려 9억개 릴레이션십을 나누어 분석했다. 그 결과 이통사 번호이동 허용으로 기존 고객의 30%가 한 해에 이탈할 것으로 예상됐으나, 예상 해지율을 절반 이상으로 줄일 수 있었다.

일본의 통신회사인 KDDI는 아이템 판매 포털에서 CDR(Call Detail Records) 정보를 이용해 네트워크와 온라인 행동을 분석하고 이 결과를 결합해 트렌드 리더를 찾아냈다. 그리고 이를 기반으로 트렌드 리더에 대한 보다 강화된 판매 활동과 팔로어에 대한 캠페인을 수행함으로써 온라인 콘텐츠의 X-Sell과 Up-Sell에 활용하고 있다.

둘째, 비즈니스 데이터의 자산화

빅데이터는 기업의 경쟁력을 확보할 소중한 자산이자 차별화 전략의 핵심이 되어가고 있다. 고객의 모든 데이터에서 패턴화할 수 있는 비스니스 인사이트를 적시에 찾아 내고, 이것을 비즈니스 핵심 프로세스에 적용하는 것은 아무나 쉽게 따라 할 수 있는 카피캣이 아니기 때문이다. 데이터 자산화를 적용한 대표적인 글로벌 리딩 기업들을 살펴 보자.

미국 전역에 2천개의 매장을 두고 20만개의 스타일을 다루는 메이시스 백화점은 시즌오프 이전까지 적정 재고 수준을 유지하면서 영업이익을 극대화하기 위해서 노력해왔지만 2천개 매장에 흩어진 20만개의 아이템을 시뮬레이션하기가 쉽지 않았다. 관련 솔루션을 돌리는 데만도 4~5시간이 소요됐다. 하지만 데이터 분석 툴인 ‘하이퍼포먼스 애널리틱(HPA)’을 사용해 20분만에 2억7천만건에 대한 판매량 예측과 6천만건에 대한 최적의 가격 인하 계획을 산출해냈다. 이로써 메이시는 매장별, 품목별, 사이즈별 적정 재고 수준을 유지하면서도 영업이익을 극대화하기 위한 할인율 최적화를 동시에 실시간으로 수행 중이다.

넷플릭스는 온라인 미디어 콘텐츠 서비스 업체로, 북미지역에서 다운로드 비중 기준 30%의 시장을 점유하고 있다. 고객 수 2300만명. 급성장의 핵심에는 시네 매치 엔진(Cine-Match Engine)이 있다. 1600만 고객 시청이력 데이터를 기반으로 자동 콘텐츠 추천 서비스를 제공하고 있고, 하루 평균 50억건의 개인화 추천이 이루어지고 있으며, 그 중에 60%가 추천 받은 콘텐츠를 이용하는 것으로 나타나고 있다.

하라스엔터테인먼트는 카지노와 호텔업계의 만년 2위 기업으로 외형확대 보다는 ‘토탈 리워드 프로그램’을 통한 비VIP 고객 관리로 관점을 전환해, 15%의 게임수익과 26%의 영업이익 증대를 이룸으로써 업계 최고의 로열티 프로그램으로 등극했다. 이를 위해 ‘차별적 고객경험전략’을 사용해, 카지노 내 모든 사용기록을 실시간으로 수집·분석해 덜 붐비는 슬롯머신으로 고객유도 및 수요조절을 하는 한편, 고객 신용등급과 지출 예측모델을 통한 로열티 인센티브를 지급하므로 고객경험 개선과 수익확대라는 두 마리 토끼를 잡을 수 있었다.

신생 기업으로, 돈을 빌려주는 사람과 빌리려는 사람을 중계하는 이탈리아의 한 소셜 금융업체 프레시오마시는 금융 리스크만이 아닌, 소셜네트워크 서비스(SNS)에서 발생하는 커뮤니티 밸류에 점수를 매기는 등 비구조화된 데이터를 자산화함으로써 대출 심사에 정성적 정보와 정량적 정보를 같이 적용 하므로 해서 보다 정확하고, 폭넓은 고객층을 확보해 성공했다.

(출처: KT경제 연구소 – 불확실한 경영환경 속에 빛나는 글로별 기업의 분석 기반 혁신사례 중)

셋째, 애널리틱 팩토리 구축

애널리틱 팩토리란 공장에서 신속하게 상품을 만들 듯 데이터 분석을 모듈화해서 빨리 대응하는 것을 뜻한다. 많은 분석작업이 분석가에 종속되기 때문에 누가 분석을 하느냐에 따라서 어떤 품질이 나오는지가 결정되는 경우가 많다. 또한 특정 업무단위로의 분석에서 전사차원의 분석이 요구되는 현시점에 앞으로 풀어야 할 중요한 숙제이기도 하다.  애널리틱 팩토리를 통해서 얻을 수 있는 장점은 다음과 같이 3가지로 요약할 수 있다.  분석품질을 분석가에 종속됨 없이 평균 이상으로 올릴 수 있고, 재사용 분석 모듈과 데이터 처리의 표준화-프로세스화를 통해 분석시간을 단축하며,  무엇보다도 전체적인 데이터 가공-적재- 분석-리포팅-인사이트의 전과정을 회사의 자산화된 메타정보로 축적할 수 있다는 것이다.

아직은 ROI를 산정할 단계는 아니지만, 일부 글로벌 제조회사에서 R&D-생산-공정-시장품질을 통합 관리해 분석하기 위한 노력이 진행되고 있고,  금융기관에서도 리스크와 마케팅 그리고 수익성까지의 정보를 통합해 IRPM(Integrated Risk & Performance Management) 관점에서 전사 뷰를 조망하고 있다.

빅데이터 시대를 사는 지금, 기업의 액션 플랜은 명확해졌다. 기업이 확보한 데이터 분석가의 능력을 평균 이상으로 올리고, 비즈니스 데이터를 자산화하는 것, 그리고 표준화를 통해 품질을 극대화해 분석 요구사항에 신속하게 대응할 수 있어야 한다.

핵심은 ‘남들이 따라 올 수 없는 차별화 포인트가 무엇인가’이며, 그 해답은 ‘데이터가 알고 있다’.  데이터 사이언스 인프라를 구축하고, 데이터 사이언티스트를 확보한 기업만이 디지털 미래의 승자가 될 수 있음을 우리의 경쟁자는 말하고 있고, 현재의 데이터의 변화에 민첩히 움직이는 것. 그것만이 기업의 경쟁력을 확보할 수 있는 하나의 해답이 될 것이다.

1. 새로운 킬러 애플리케이션은 ‘간편함’

애플리케이션(앱) 디자이너들은 오래 전부터 우리가 사용하는 앱에 필요 이상의 기능들을 집어넣었다. 이제 이러한 흐름에 변화가 생길 전망이다. 사용자들은 직관적이면서 찾기 쉽고 설치가 용이하며, 또 어디서든 사용하기 편리한 앱을 요구하고 있다. 이에 따라 기업용 앱 개발자들 역시 사용하기 쉬운 앱이 더 많이 쓰인다는 점을 깨닫기 시작했다.

앞으로는 단일 기능의 기업용 앱이 더 많이 나올 것이다. 이들은 다양한 기업용 앱스토어에 등장할 것이고, 사용자들이 원하는 다른 비슷한 앱들과 호환될 것이다. 일반 소비자를 위한 앱이 그러했듯이 2012년에는 기업용 앱도 변화를 겪게 될 것이다.

2. 기업용 앱 개발자들 ‘모바일 우선’할 것

수준 높은 모바일 환경을 지원한다는 것은 단순히 UI를 모바일에 맞춰 축소하거나 모바일 브라우저를 지원하는 것 이상을 의미한다. 사용하기 쉽게 만드는 것 외에 ‘어떻게 하면 네트워크 신호가 약하거나 아예 잡히지 않을 때에도 앱을 쓸모 있게 만들 수 있을까?’ 등과 같은 한층 어려운 문제들이 산적해 있다. 어떻게 하면 필요하기도 전에 유용한 정보를 캐시에 저장할 것인가. 궁극적으로는 모바일 기기를 택시나 술집, 호텔 같은 곳에서 잃어버렸을 때에는 어떻게 저장한 데이터를 확보할 것인가.

많은 기업용 앱 개발자들의 생각도 ‘모바일 우선’ 전략으로 바뀔 것이며, 그 이후에는 전통적인 데스크톱으로 백포트(최신 버전의 기능이 이전 버전에서도 지원되도록 구현하는 것)하는 방향으로 바꿔야 할 것이다. 사람들은 사용하기 쉬운 앱을 요구하고 있고, 그 중 일부는 항상 내 손안에 있는 기기에 들어 있게 될 것이다.

3. 새로운 전략에 대한 질문 ‘당신의 디지털 비즈니스 모델은 무엇인가’

최근 EMC의 IT 리더십 협의회에 참석한 MIT의 피터 웨일 교수는 ‘당신의 디지털 비즈니스 모델은 무엇인가’ 라는 도발적인 질문을 던졌다.

‘디지털 비즈니스 모델’에 대한 웨일 교수의 기본 전제는 아주 간단하다. 성공적인 기업들은 웨일 교수가 3가지로 설명하는 ‘디지털 비즈니스 모델’에 기반을 두고 성장한다는 것이 핵심이다. 그가 말하는 디지털 비즈니스 모델은 ‘콘텐츠(가치를 전달해 사람들이 참여하도록 만드는)’, ‘경험(참여도를 높이고 가치에 대한 인식을 증가시키는)’, ‘플랫폼(콘텐츠와 경험을 지속적으로 담아낼 수 있는)’ 3가지다.

4. ‘데이터 과학자’, 이 죽일 놈의 인기

최근 들어 점점 많은 사람들이 빅 데이터를 분석하는 ‘데이터 과학’이 비즈니스 경쟁력을 높이거나 과학적 연구를 돕거나 공공 정책 수립하는 데 필요한 새롭고 지적인 ‘파워 툴’이라는 점을 깨닫는 것 같다. 고등수학을 사회과학과 능숙하게 버무리거나 시각화와 스토리텔링에 재주가 있는 사람들에 대한 수요는 빠르게 늘고 있지만, 그 공급은 믿을 수 없이 부족하다. ‘데이터 과학자’라고 불리는 이 새로운 분석전문가들에 대한 수요는 일시적인 거품이라고 생각되지 않는다. 현재는 물론 앞으로 더 많은 기업주들이 분명 이런 인재들을 원하고 찾아나설 것이다.

5. 기업 IT, 이제 경쟁을 준비하다

기업 IT 조직은 이제 외부 IT 서비스업체와 경쟁하는 시대로 접어들 것이다. 이러한 변화의 바람은 2009년에 이미 미풍처럼 시작되었지만 내년쯤에는 태풍으로 변할 것이다. 현업 사용자들은 내부 IT 조직이 필요한 IT 리소스를 얻을 수 있는 많은 곳 중 하나라는 점을 알고 있다. 기업 내부 IT 조직이 현업의 전폭적인 지지를 받으며 누려왔던 독점적 지위는 이미 흔들리고 있으며, 그 누구도 이러한 흐름을 막을 수 없을 것이다.

IT 리더들은 이제 외부 IT 서비스 제공업자들이 하는 방식으로 현업 사용자를 만족시키기 위해 내부 IT 조직을 혁신해야 한다는 사실을 인지하고 있다. 종종 언제 시작해야 하느냐는 질문을 받는데, 그러한 혁신은 IT 세계가 근본적으로 바뀌고 있다는 것을 인정하는 데서 시작한다고 본다.

6. 클라우드 기술의 부각, 전문가 늘어나야

클라우드 기술로 인해 기업의 IT 환경은 커다란 변화의 계기를 맞고 있다. 이는 전체 IT 부서에 걸쳐 새로운 기술 혹은 새로운 사고 방식을 가진 사람들에 대한 수요가 급증하고 있음을 의미한다. 따라서 IT 전문가들은 이제 시장에서 자신들의 가치를 크게 높일 수 있는 특별한 기회와 새로운 투자처를 찾게 되었다.

EMC를 포함한 몇몇 기업은 이미 ‘클라우드 자격인증’이라는 새로운 교육과정과 인증제도를 만드는 데 투자하고 있다. 2012년에는 클라우드라는 새로운 기술에 대한 수요가 거의 모든 지역, 거의 모든 산업에서 크게 생겨날 것이다.

7. IT 보안의 변화, 새로운 보안 기업 등장한다

APT(Advanced Persistent Threat, 지능형 타깃 지속 공격)의 등장으로 많은 보안 전문가들은 ‘보안에 대해 뭔가 다른 방법으로 생각해야 할 때가 아닌가’하는 의문을 갖게 했다. 그렇다. 분명 다르게 접근해야 한다. 정보자산의 가치는 증가하고 있고, 고도화된 보안 위협에 대응할 준비가 되어 있는 새로운 전문가들이 이미 시장에 있다.

2012년에는 더 많은 IT 보안 부서들이 새로운 역할과 새로운 프로세스 그리고 당장 눈앞에 걸린 새로운 현실을 반영하는 새로운 기술 플랫폼 지원에 대해 다시 생각하게 될 것이다.

8. 전문화된 IT 서비스 업체 늘어난다

IT 업무를 규모만 크고 차별화되지 않은 대형 IT 서비스업체에게 맡기는 것은 IT 리더들에게 별 매력을 주지 못한다. 이와 반대로, 고객사의 비즈니스 환경과 IT 특성을 이해하기 위해 전문화된 분야에 집중하는 IT 서비스 업체들이 점차 강세를 보이고 있다.

점점 더 많은 IT 리더들이 모든 것을 회사 내에서 처리할 수도 없고 그렇게 해도 안 된다는 것을 깨닫고 있다. IT는 ‘모든 것의 빌더’에서 ‘빌더를 연결해주는 브로커’로 빠르게 변화하고 있다. 많은 이들이 이러한 접근법을 ‘하이브리드 클라우드’라 부른다. ‘라이트 사이징’ 혹은 ‘업무 합리화’라고 부른다.

2012년에도 이러한 성장은 계속될 것으로 본다. ‘서비스’가 무엇인지 제대로 이해하는 IT 서비스 공급업체들이 견실하게 성장하고 있다. 이들은 대개 작고 민첩한 기업들로, 지역이나 한 분야에서 수직적으로 혹은 그들이 차별화할 수 있는 분야에 집중하고 있다.

9. 비용은 줄어들고, 소비는 늘어난다

기술 비용이 낮아지면, 사람들은 이를 더 많이 소비하는 경향이 있다. 2012년에는 IT 비용이 하락할 것이라는 3가지 징조가 나타날 것이다. 하드웨어, 소프트웨어 등 기술 요소들은 산업표준기술과 오픈소스 덕분에 가격이 내려갈 가능성이 있으며, 운영비용 역시 자동화에 대한 투자 덕에 빠르게 하락할 것이다. 그에 따라 소비를 위한 비용도 여기저기서 생겨나고 있는 온라인 마켓 덕분에 빠르게 줄어들고 있다. 2012년에는 클라우드로 인해 IT 서비스 비용이 크게 하락할 것이다.

10. 빅데이터와 분석학, 새로운 가치와 기회 창출

우리는 이미 십여 년 전부터 인터넷, 기술 비용의 하락 그리고 모바일 기기 등으로 인해 선형적인 성장에서 기하급수적인 데이터 성장의 시대로 들어섰다. 또한 우리는 이미 정보 경제 시대로 이행하고 있다고 생각한다.

빅데이터와 분석학은 이러한 전환기에 중심적인 역할을 한다. 빅데이터는 잠재적으로 부와 가치를 창조하고 위험을 피하며, 우리 삶을 개선하고, 심지어는 암을 치료하도록 해줄 지도 모른다. 이러한 긍정적인 변화를 문제로 인식하는 사람을 별로 없을 것이며, 2012년에는 더 많은 사람이 이를 기회로 여기게 될 것이다.

DB업체들이 갑자기 하둡을 지원하겠다고 나선 이유는 무엇일까.

불과 10년전만 해도 DB가 다루는 데이터 양이 수천만건에 달하면 대용량 데이터를 처리할 줄 안다며 어깨를 으쓱였다. 이젠 수천만건의 데이터는 대용량 데이터에 속하지도 않는다. 지난 2년 사이 DB가 감당해야 할 정보의 양은 급속도로 증가했다. 이제는 수백억개에 달하는 빅데이터를 처리할 줄 알아야 그나마 인정받는다.

10년간 처리해야 할 정보의 성격도 바뀌었다. 텍스트 위주의 정보가 과거에 많았던 반면 이제는 그림과 동영상 위주의 정보가 증가하고 있다. 그러나 수천만건의 데이터를 처리했던 DB가 하루아침에 수백억개에 달하는 데이터를 감당할 리 만무하다. 텍스트 중심의 정형 데이터를 처리했던 관계형 DB로는 그림과 동영상 위주의 비정형 데이터를 감당할 수 없었다.

처음에는 스토리지를 추가하는 방식으로 늘어나는 데이터를 감당했다. DAS, NAS, SAN 등의 스토리지를 추가해가며 빅데이터를 감당했고, 이를 DB가 처리했다. 이는 곧 한계에 부딪혔다. 스토리지만 늘린다고 해서 빅데이터를 처리할 수 있는게 아니었기 때문이다.

그래서 대용량 병렬 처리(MPP) 방법이 등장했다. 프로그램을 여러 부분으로 나눠 여러 프로세스가 각 부분을 동시에 수행시킬 수 있게 했다. 하나의 프로그램을 수행하는데 수백 또는 수천개의 프로세스를 이용할 수 있게 됐다. 그러나 이런 성능 개선도 정형 데이터를 처리할 때는 효율적이었지만 폭증하는 데이터를 처리하는데는 비용 효율적이지 못했다. 고객이 이를 감당하기에 투자하는 자금이 너무나 비쌌던 것.

그 뒤 혜성처럼 등장한 게 바로 하둡이다.

오픈소스인 하둡은 분산처리 시스템인 구글 파일 시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS)과 맵리듀스를 구현한 것이다. 맵리듀스는 쉽게 말하면 데이터를 분산시켜 처리한 뒤 하나로 합치는 기술이다.

물론 이와 유사한 기능을 제공했던게 바로 MPP다. 그러나 하둡은 MPP와 달리 사용이 편리했다. 개발자들이 각 데이터를 분산시키고 합치는 일을 할 필요없이 하둡의 맵리듀싱 기술이 이를 자동적으로 지원했다.

사용하기 쉽고 편리하다는 장점은 하둡이 급속도로 퍼지는 데 기여했다. 조금만 익히면 사용할 수 있었기 때문에 기업들은 하둡을 통해  PC를 병렬로 연결해 빅데이터를 분산 처리하는데 이용하기 시작했다. 기업은 사용자 분석을 쉽고 빨리 할 수 있으며, 사용자 지향의 새로운 서비스를 개발할 수 있게 지원하는 하둡의 기능을 주목했다.

그렇게 ‘하둡 에코시스템’이 등장했다.

하둡 에코시스템에는 대용량 데이터를 저장할 수 있는 NoSQL, 데이터베이스인 HBase, SQL과 비슷한 쿼리로 분석을 수행할 수 있는 Hive와 Pig, 그리고 분산 관리 시스템 개발이 가능한 Zookeeper 등이 포함됐다.

이처럼 하둡을 이용한 빅데이터 처리 사례는 점점 늘어났다. 괜히 비싼 장비를 도입해 빅데이터를 분석할 필요가 없는 중소기업을 중심으로 하둡 사용이 증가했다.

IBM, 오라클, 테라데이타 같은 분석 전문 솔루션 업체들은 빅데이터 분석에 솔루션 사용 비용, 서버 비용 등 엄청난 초기 자본금을 요구했다. 게다가 폐쇄적으로 소스를 제공해 한번 도입한 이후에는 다른 대안으로 옮겨가기 쉽지 않다는 문제가 있었다.

하둡은 이 규칙을 바꿨다. 빅데이터를 쉽고, 간편하고, 편리하고, 빠르게 분석할 만한 기술로 하둡 만한 게 없다. 초창기 ‘하둡을 통한 빅데이터 처리는 안정성이 떨어진다’라며 비난했던 DB업체들도 하둡을 자연스레 지원할 수 밖에 없었다.

하둡을 통해 빅데이터를 처리하면 안정성 면에서 일반적인 DB를 이용한 분석보다 떨어진다. DB가 99.9999%의 고가용성을 자랑한다면, 하둡은 99.99%의 고가용성을 자랑한다. 소수점 차이지만 이 차이는 금융권 등 중요한 정보를 처리하고 분석하는 기업들에게는 꽤 중요한 의미로 다가간다.

따라서 DB업체들은 하둡을 외면하기 이전에 하둡을 품어 새롭게 고객들은 공략하기로 마음을 바꿨다. 이제 하둡은 IBM DB2, EMC 그린플럼, 오라클 빅데이터 어플라이언스 등 DB 업체들이 출시하는 거의 모든 제품에 적용됐다.

앞으로 하둡이 만들어나갈 빅데이터 분석의 시대를 눈여겨 보자.

액티피오는 데이터 관리 가상화 솔루션을 개발하고 공급하는 회사다. 2009년 HP, EMC, IBM 등 출신의 인력이 주축이 돼 설립됐다. 액티피오의 대표 제품은 ‘가상 데이터 파이프라인’ 기술을 핵심으로 한 ‘데이터 보호와 가용성 스토리지(PAS)’ 플랫폼이다.

국내에서 액티피오를 이끌 수장으로는 정형문 사장이 선임됐다. 그는 EMC, 에이템포 등을 국내에 설립하고 도입해 스토리지 사업을 활성화시킨 인물로 평가받고 있다.

정형문 사장은 “현재 대부분의 기업들이 특정 스토리지 하드웨어에 종속된 데이터 관리 도구를 이용하고 있다”라며 “이 때문에 원본 데이터가 늘어날 수록 복제 데이터도 늘어나는 구조적 한계에 부딪히고 있다”라고 지적했다. 이어 “액티피오의 PAS 플랫폼을 적용하면 문제를 해결할 수 있다”라며 액티피오의 국내 시장 선전을 기대했다.

액티피오 PAS 플랫폼은 기업내 인프라상에 독립적으로 산재하는 사일로 데이터들을 통합시켜 단일화한 스토리지로 데이터 운용과 관리를 가능케 한다. 또한 데이터 관리를 스토리지, 네트워크, 서버 인프라로부터 완전히 분리시켜 기존보다 단순하게 관리할 수 있게 돕는다. 또한 백업 윈도우 제거 등을 통해 네트워크 부하를 경감시키고, 운용비용을 절감시켜 스토리지와 데이터 관리 필요한 구매관리 비용을 최대 70% 정도 줄일 수 있게 도와준다고 액티피오 측은 설명했다.

이런 데이터 관리가 가능한 이유는 액티피오 PAS 플랫폼에 적용된 ‘가상 데이터 파이프라인’ 기술 덕분이다. 가상 데이터 파이프라인 기술은 액티피오가 보유한 특허 기술로, 원본 데이터를 수십벌 씩 복제 관리해야 하는 현 방법과 달리 단 하나의 복제본으로 백업과 컴플라이언스, 분석, 테스트, 개발 등을 가능케 한다. 이런 식으로 스토리지와 데이터를 완전히 분리해 현재 데이터 관리에 사용되는 각종 포인트 도구를 대체할 수 있게 돕는다.

정형문 사장은 “이 세상에 존재하는 데이터는 원본과 복제본 뿐이다”라며 “액티피오 PAS 플랫폼을 적용하면 복제본 데이터는 단 한 카피면 충분하고, 고객이 원하는 모든 기능 즉 백업, 컴플라이언스, 분석, 테스트, 개발 등을 훨씬 빠르게 안정적으로 구현할 수 있다”라고 강조했다.

이어 그는 “액티피오는 스토리지 벤더나 서버 벤더가 누군인지 묻지 않는다”라며 “특정 하드웨어에 국한되지 않고 다양한 하드웨어에서 액티피오의 데이터 관리 도구를 사용할 수 있다”라고 덧붙였다.

지난 주 씨게이트와 웨스턴디지털의 지난 2분기(FY기준, 양사의 FY 기준이 동일) 실적이 공개되었습니다. 지난 2분기 씨게이트는 28억1100만달러를 판매하여 1억4천만 달러의 이익을 남겨 전년 같은 기간 26억9700만달러의 매출과 1억4900만달러의 이익을 남긴 것과 비교해 보면 4%의 성장을 하였습니다. 한편 웨스턴디지털은 26억9400만달러의 매출과 2억3900만달러의 이익을 남겨 전년 동기 23억9600만달러의 매출과 1억9700만달러의 이익을 남긴 것과 비교해 보면 12%의 성장을 하였습니다.

비록 매출은 웨스턴디지털이 적지만 이익을 보다 남겼고 게다가 씨게이트의 경우 시장점유율도 3% 정도 떨어졌다고 하니 전반적으로 웨스턴디지털이 지난 2분기에서는 보다 나은 성과를 거두었다고 보는 편이 맞을 것 같습니다. 합병 때문에 현금 지출이 씨게이트에서 있을 법한데, 그 부분의 내용을 찾기는 좀 어려웠습니다만, 웨스턴디지털의 경우 2100만달러의 경비가 지출되었다는 것을 명시하고 있네요. 경비니까 실제 합병에 소요되는 자금과는 다릅니다.

이 기간 동안 씨게이트는 5100만개의 HDD를 판매했고 웨스턴디지털은 5800만개를 판매했네요.단순 판매량만 봐도 웨스턴디지털이 조금 앞서 있습니다. 웨스턴디지털의 이러한 판매량 수치는 1년 전과 비교했을 때 14%나 상승한 것이라고 합니다. 특히 니어라인 엔터프라이즈 시장이 꾸준히 성장하고 있다고 하고 있습니다. 이 이야기는 기업의 데이터 운영 환경이 그만큼 이 분야의 수요가 많다고 하는 것을 의미하는 것인데요. 오브젝트나 파일 기반 서비스의 성장을 의미하는 것이라고 하는군요.

웨스턴디지털의 어닝스크립트를 보니 흥미로운 것이 있는데요. 특히 DVR 시장을 언급했다는 사실입니다. 지난 분기에 1410만개에 판매를 하였다고 하는데요. 이는 직전 분기 즉 CY기준으로 볼 때 2분기 1440만개와 비교하면 떨어진 수치라고 합니다. 분기 실적만으로 보면 DVR로 판매되는 것으로 보이는 HDD가 줄어든 것으로 보이지만 연간 비교를 해보면 늘어난 수치이므로 일시적인 현상인지 아니면 줄어드는 추세에 있는 것인지는 알 수 없습니다. DVR 자체는 시장이 낮은 수준에서 성장할 것이지만 장기적인 관점에서의 판단은 어려운 모양인가 봅니다.

한편 히타치GST의 생산 공장이 있는 국가 중 태국이 있는데요. 여기가 지금 3개월째 계속되는 홍수로 인해 직간접적으로 피해가 상당히 심각한 모양인가봅니다. 여기서 생산되던 HDD 수량이 얼마나 되는지는 정확하게 밝혀지지 않았지만 웨스턴디지털 CEO인 존 코인의 어닝 콜을 보니 태국에서의 생산량이 상대적으로 적고 홍수 지역으로부터 다소 떨어져 있다는 희망적인 이야기를 하고 있습니다. 하지만 공급 체계가 문제가 되겠죠. 태국의 홍수 사태를 보면서 크게 와 닿지는 않았는데, 이렇게 스토리지 산업과 어느 정도 연결이 되는 것을 보니 남의 나라 이야기만은 아니네요.

웨스턴디지털이 태국의 홍수 때문에 고민을 하고 있는 동안, 씨게이트는 시장점유율이 3% 떨어진 것을 두고 CEO가 해명을 하고 있습니다. 시장점유율 하락과 관련해서 원인을 3가지로 꼽았는데요. 첫째 미션 크리티컬한 시장에서의 출혈적인 가격 경쟁을 하지 않았고, 둘째로는 노트북 시장에서 수요 예측을 잘못해서 빚어졌고, 마지막 이유로는 아시아 지역의 총판들로부터의 공격적인 가격으로 인해 북미지역에서의 좋은 성과가 상쇄돼 일어난 현상이라고 합니다. 신제품과 관련해서는 3.5인치 1개 플래터에 1TB를 기록할 수 있는 제품을 출시할 계획이라고 하는데, 당초 출시 계획에 늦어지고 있지만 CY기준으로 3분기 말에는 출시할 수 있을 것이라고 합니다. 이렇게 될 경우 노트북 시장을 비롯해 용량 집중적인 HDD 시장 상황에서 리더십을 유지할 수 있게 될 것이라는 이야기를 어닝 콜 스크립트를 통해서 밝히고 있습니다.

합병과 관련해서 씨게이트의 경우 삼성전자 HDD 제조부문과의 합병 승인이 10월 19일 EU의 유로피언 커미션으로부터 받아서 주요 언론들에 따르면 2011년 말이면 모든 절차가 마무리 될 것이라고 합니다. 하지만 웨스턴디지털은 히타치GST와의 합병 속도가 그리 빠르게 진행되고 있지 않습니다. 웨스턴디지털 역시 EU의 유로피언 커미션으로부터 승인을 받아야 하는데요. 이 승인 절차가 11월30일까지 이뤄질 것이라고 하고 그래서 2011년 말까지 모든 합병 작업을 완료하고자 하는 계획을 세우고 있습니다만 다소 빠듯해 보이긴 합니다.

이제 절대 2강과 1약의 체제로 굳혀져 가고 있는 HDD 비즈니스에서 1위를 놓고 두 기업의 치열한 경쟁이 예상되는군요.

샌디스크 3분기 실적 공개 – 전년 동기 대비 15% 증가

샌디스크가 지난 10월로 마감한 FY11의 3분기의 실적을 공개했습니다. 지난 분기 샌디스크는 14억1600만달러의 매출과 2억3330만달러의 이익을 남김으로써 전년 같은기간 매출 12억3400만달러에 이익 3억2210만달러와 비교해서 15%나 성장했습니다. 3분기 누적 실적을 보면 40억8500만달러의 매출과 7억580만달러의 이익을 남김으로써 전년 3개 분기 누적 매출 34억9900만달러와 이익 8억1470만달러와 비교해보면 17%나 증가했습니다. 하지만 전체적으로는 이익의 규모는 감소하였는데요. 그만큼 샌디스크가 취급하는 제품이 보다 대중화되면서 이익의 폭은 줄어들었지만 전체적으로 판매는 늘어났다는 것을 의미하는 것이라고 봅니다.

최근 플라이언트와의 합병을 완료하면서 컨슈머 시장에서 뿐만 아니라 기업용 시장에서도 상당한 두각을 나타내고 있는데요. 기업용 SSD 제품 출시가 대표적인 예라고 볼 수 있습니다. 현재 제조기술은 24nm 기술이 3분기 전체 제품 중 60%를 차지한다고 하는데요. 앞으로는 19nm 기술을 제품 생산에 도입을 할 것이라고 하는데, 이번 분기부터는 19nm 제조 공정에서 나온 제품을 늘리겠다는 의지를 밝히고 있습니다. 이렇게 되면 셀(Cell) 당 데이터 집적도를 더욱 높일 수 있을 것이고, 샌디스크에 따르면 2012년에는 원가경쟁력을 계속해서 이어갈 수 있을 것이라고 합니다. 그러면서 올 4분기에는 15~16억달러의 매출을 예상하고 있습니다.

샌디스크를 기업용 SSD 솔루션 업체로서 생각해야 할 충분히 가치가 있는데요. 이전의 소비자 중심의 제품에서 플라이언트의 인수를 통해 상당히 기업용 시장에 무게 중심을 두고 있습니다. 아래 그림과 같이 라이트닝 6Gbps SAS 기업용 SSD 제품을 출시하고 있고 PCI 익스프레스 기반의 SSD 제품을 현재 개발 중이라고 합니다.

실제로 시장 조사 기관인 IDC도 PCI익스프레스 기반의 SSD 제품이 향후 증가할 것으로 예측하고 있으며 기업용 시장에서 2015년이면 SATA 인터페이스와 PCI익스프레스 기반의 SSD 솔루션이 거의 비슷해 질 것이라고 하는군요(아래 그림참조, 출처: IDC, Worldwide Solid State Drive 2011–2015 Forecast and Analysis, June 2011).

위 그림에서 보듯이 SAS 기반의 SSD 솔루션이 많이 채택될 것으로 예상되며 더욱 놀라운 것은 PCI익스프레스 기반의 SSD가 상당히 커질 것이라는 것입니다. SATA나 SAS의 경우 스토리지 시스템(어레이)에 들어갈 수 있어서 충분히 시장에서 많은 성장이 예상되지만 PCI 익스프레스 솔루션은 서버에 탑재되어야 하므로 이렇게 시장이 커지기 위해서는 상당히 많은 제품이 판매되어야 한다는 점입니다. 2.5인 폼팩터를 가진 SSD가 SAS나 SATA 인터페이스에서 동작하는 것과는 판매 양상이 다른 PCIe 제품의 이러한 예측은 그래서 COZ를 비롯해서 샌디스크 등과 같은 업체들이 이 시장으로의 진출을 고려할 수 밖에 없는 것이리라 봅니다. PCIe 솔루션이 언제 나올지 기대되는군요.

두 자릿수 성장을 지속하고 있는 EMC

EMC의 3분기 마감은 지난 9월이었고 3분기 마감 결과를 공개했습니다. 상당히 견고한 성장을 이어가고 있는데요. 지난 3분기 49억8천만달러의 매출과 6억560만달러의 이익을 기록해 전년 같은 기간 42억1200만달러의 매출과 4억7250만달러의 이익을 남긴 것과 비교해 보면 18%나 성장을 하였습니다. 3분기 누적, 9개월 실적으로 보면 144억3300만달러의 매출과 16억2900만달러의 이익을 남겼습니다. 이는 전년 9개월 누적 121억2600만달러의 매출과 12억7100만달러의 이익을 기록한 것에 비해 19%의 성장을 한 것입니다. 요약하자면 분기는 18%, 9개월 누적은 19% 성장을 한 셈입니다.

스토리지 부문에 한정해 보면 제품과 서비스로 나눌 수 있는데요. 제품에서는 24억6300만달러, 서비스는 11억9천만 달러를 지난 분기에 판매해 총 36억5300만달러의 매출을 기록했습니다. 전년 제품(21억7300만달러)과 서비스(9억6640만달러)를 합쳐 총 31억3900만달러였으니 16%라는 성장을 이룬 셈입니다. 전 부문에서 두 자리수의 성장세를 이어가고 있는 상황입니다.

EMC는 이렇게 성장을 위해 우선 순위로서 3개를 꼽고 있는데요. 첫째는 시장 점유율을 높이는 것이고 둘째는 클라우드와 빅데이터 등으로 대표되는 막대한 기회가 예상되는 분야에 투자를 한다는 것입니다. 마지막으로 이윤을 높이는 것이라고 하는군요.

스토리지 제품별로 보면 시메트릭스 제품군이 전년 대비 7% 성장했고 미드레인지 부문이 전년 대비 28% 성장했다고 합니다. 미드레인지에는 상당히 많은 제품들이 위치하고 있는데요. VNX, 클라리온, 셀러라, 데이터 도메인, 아이실론, 아바마, 아트모스 등이 여기에 해당됩니다. 또한 대주주로 되어 있는 VM웨어의 경우 32% 성장하였고 RSA의 경우 16%의 성장을 하였다고 밝혔습니다.

정확히 수치까지 공개되지는 않았지만 3분기 매출에서 EMC VNX와 백업 및 복구 등에서 상당히 많은 성과가 있었다고 하는데요. 특히 빅데이터 솔루션이라고 하는 아이실론, 아트모스, 그린플럼 등의 경우 작년과 비교해서 2배 이상이 커졌다고 합니다. VNX의 경우 지난 3분기 동안 1300개의 새로운 EMC 고객이 생겼으며 VCE의 경우 2분기와 비교해서 50% 정도가 늘어난 판매를 보여주었다고 밝히고 있습니다.

연말 예상 실적에 대해서는 198억 달러 정도의 매출이 예상되고 이는 2010년 대비 16%의 성장이라고 합니다. 2010년의 경우 2009년 대비 21% 성장을 하였다고 하니 그것에 비해 다소 작아진 것이긴 하지만 이것을 논할 바는 아니군요. 대단한 성장을 이어가고 있는 EMC입니다.

IBM의 지난 분기 스토리지 실적

한편 IBM 스토리지 부문의 3분기 실적이 공개되었는데요. 지난 9월 말로 마감한 IBM의 3분기의 티볼리 소프트웨어가 8% 증가하면서 스토리지 관리 부문이 상당히 큰 성장의 모습을 보였고 스토리지 하드웨어 부문의 경우 연간 8%의 성장을 하였다고 합니다. 이 수치에는 테이프와 디스크가 포함되어 있으며 스토리지 소프트웨어를 포함하게 될 경우 지난 분기에 12%의 성장을 한 것이라고 전하고 있습니다. 워낙 큰 기업이라서 스토리지 부문의 실적을 파악하는 것이 쉽지는 않네요.

넥센타, 지난 분기에만 486% 성장

반짝 인기로만 끝날 것 같지 않은 넥센타의 성장이 상당히 가파르게 진행되고 있습니다. 2011년 3분기에만 넥센타가 486%라는 기록적인 성장을 하였다고 밝혔습니다. 아직 신생기업인 탓에 실적을 공개하고 있지는 않지만 전년 같은기간에는 243%라는 성장을 했다고 밝히고 있으니 매년 2~3배 이상의 성장을 하는 것만은 사실인 것 같습니다.

특히 최근에 중국을 비롯하여 파트너들을 많이 만들고 있고 전세계적으로는 256개에 이르고 이들 파트너들에 의해 판매된 금액이 정확히 밝혀지지 않고 있지만 보도 자료에 따르면 2억 2500만달러의 하드웨어 상에 넥센타의 소프트웨어인 넥센타스토어가 설치되었다고 합니다.

(VESK 홈페이지: 가상 데스크톱 서비스를 제공하는 영국계 클라우드 기업)

이번의 실적에 크게 영향을 미친 것으로 알려진 사례가 VESK라는 서비스 기업인데요. VESK의 경우 영국계 VDI 서비스 제공업체로서 IOPS, 고가용성, 성능 등을 고려하여 넥센타를 선택하였다고 하는군요. 또한 VM월드 라스베이거스에서 4개의 넥센타스토어 시스템으로 VM웨어 HOL을 보여줌으로써 상당한 신뢰를 보여준 것으로 알려졌습니다.

다음 분기, 내년에도 계속해서 성장을 이어갈 수 있을까요. 그리고 국내에서는 어떠한 성과를 보여주게 될까요. 궁금해집니다.

조 투지 EMC 회장 겸 최고경영자는 9월22일 “업계 최초로 비정형 데이터와 정형 데이터를 상호 연계해 처리할 수 있는 빅데이터 분석 플랫폼 ‘EMC 그린플럼 모듈식 데이터 컴퓨팅 어플라이언스(그린플럼 DCA)’를 출시한다”라고 밝혔다.

그동안 정형데이터와 비정형데이터는 분석도구가 나눠져 있었다. 나름의 분석 원칙이 있는 정형데이터와 달리, 비정형 데이터의 경우 분석 원칙이 적용되지 않아 둘을 같이 분석할 수 없었다. 이번에 EMC가 출시한 ‘그린플럼 DCA’는 이를 한 솔루션에서 분석할 수 있게 도와준다.

EMC는 6월까지만 해도 ‘하둡은 하둡, DB는 DB다’라는 관점을 보였다. 이번 그림플럼 DCA는 하둡과 DB 모듈을 한데 넣은 통합 어플라이언스 형태다. 무공유 MPP 기반 관계형 DB와 엔터프라이즈급 오픈소스 아파치 하둡이 결합된 모듈식 아키텍처로 비정형 데이터와 정형 데이터간 상호 연계 처리가 가능해진 것이다.

김희배 한국EMC 데이터 컴퓨팅 사업부 이사는 “EMC 그린플럼은 업계에서 유일하게 단일 어플라이언스 내에서 관계형 데이터베이스 모듈과 하둡 모듈간, 정형과 비정형 데이터를 상호 연계 처리하고 빠르게 공유할 수 있는 기능을 제공하고 있다”라며 “DCA의 새로운 모듈 방식인 데이터 상호 연계 처리는 각 시스템들이 최고의 성능을 낼 수 있게 돕는, 매우 중요하고 강력한 기술”이라고 말했다.

EMC쪽은 이번 그린플럼 DCA 출시로 기업들이 자사가 다루는 모든 종류의 데이터로부터 빅데이터 분석의 이점을 얻을 것을 기대하고 있다.

김경진 한국EMC 대표는 “이런 빅데이터 분석에 대한 그린플럼만의 접근 방식 때문에 EMC는 현재 빅데이터 관련 시장에서 괄목할 만한 성공을 거두고 있다”라며 “새롭게 출시한 그린플럼 DCA는 EMC가 미래의 분석 플랫폼 구축에 역점을 두고 있음을 반영하고 있다”라고 말했다.

시장조사기관 IHS 아이서플라이가 지난 분기 HDD에 관한 보고서를 발간했는데요. HDD의 지난 2분기 증가가 1분기와 비교해서 4.1% 늘었다고 하는군요. 지난 6월말로 2분기를 정리하면서 HDD의 출하량이 1억6710만개로 1분기 1억6050만개와 비교해 늘어났습니다. HDD 시장에서는 웨스턴디지털이 가장 선두에 서 있으며 그 뒤를 씨게이트, 히타치GST 등이 따르고 있습니다. (아래 그래프 참조. 출처: IHS 아이서플라이) 웨스턴디지털이나 씨게이트 모두 아직 합병이 완료되지 않았지만 합병이 완료되면 웨스턴디지털의 시장 점유율이 더욱 견고해질 것이 확실해지는군요.

시장점유율 1위를 달리고 있는 웨스턴디지털의 경우 출하량이 1분기 대비 6% 늘어나 5380만개의 HDD를 판매해 24억달러의 매출을 기록했습니다. 한편 씨게이트는 출하량 면에서는 웨스턴디지털에 비해 다소 적은 편인데요. 1분기 대비 7.2% 늘어 5230만개를 판매했고 매출은 29억달러를 기록했습니다. 웨스턴디지털은 출하량 면에서 앞서고 씨게이트는 매출 면에서 앞서고 있습니다. 씨게이트가 기업용 시장에서 점유율이 높아서 매출이 높다고 볼 수 있지만, 두 기업 모두 마진 구조가 좋지 않다고 합니다. 가장 큰 원인으로는 가격 하락과 대형 인수 건으로 인해 지출되는 비용이 많이 발생하기 때문에 현금 흐름에서 좋지 않았습니다. 게다가 씨게이트의 경우 지난 분기에 리콜까지 맞는 바람에 더욱 그렇게 되었습니다.

한편 아이서플라이는 3분기 역시 3.4%의 출하량 증가를 예측하고 있습니다. 그러한 이유로 학기가 시작되고 기업들의 PC 업그레이드, 인텔과 AMD 등의 새로운 CPU의 출시와 가상화 프로젝트 등이 시장에서의 주요한 수요가 될 것이라고 하는군요.

퀀텀의 새로운 시도 – 스토어넥스트를 탑재한 어플라이언스 제품 출시

퀀텀이 기존 SAN 공유 소프트웨어인 스토어넥스트를 탑재한 ‘스토어넥스트 M330’(이하 M330)이라는 모델을 출시함으로써 소프트웨어만이 아닌 하드웨어와 같이 공급하는 형태로 프라이머리 스토리지 시장에 진출했습니다. 빅데이터 시대에 스토리지에서의 스케일 아웃 요건은 필수처럼 인식되는 요즘, 리치 미디어 환경에 적극 대응을 하기 위해서 이러한 제품을 출시하게 됐다고 밝히고 있는데요. 스토어넥스트를 스케일 아웃되는 제품으로 이미지 메이킹하려는 의도를 엿볼 수 있습니다. M330은 스토어넥스트 소프트웨어를 기본 탑재하고 메타데이터 컨트롤러를 2개(페일오버 대비), 그리고 전용 어레이를 장착했습니다(총 6U로 구성). 10개의 파일 시스템 SAN 클라이언트 라이선스와 2개의 SAN 클라이언트(메타데이터 서버 접속용), HA 라이선스 등의 소프트웨어가 포함돼 있으며 리눅스, 윈도우, 유닉스 등의 운영체제를 지원하며 애플의 Xsan을 통해 맥도 지원합니다. 인터페이스의 경우 컨트롤러 당 총 2개의 8Gbps FC 포트와 3개의 1GbE 포트를 지원하니까 비교적 대역폭은 어느 정도 확보됐네요.

(사진 : 스토어넥스트 데이터시트 중에서)

M330의 하드웨어 생김새는 왼쪽 그림과 같이 생겼는데요. 가운데 있는 것이 공유 디스크이고 위 아래 2개의 시스템이 메타데이터 컨트롤러입니다. 컨트롤러는 24GB의 메모리와 2개의 내장 HDD에 리눅스가 탑재됩니다(1개 노드 기준). 공유디스크, 정확하게 말하자면 메타데이터 어레이에는 기본 7개의 2.5인치 10000rpm 146GB SAS 드라이브가 탑재되어 있고 6Gbps SAS 인터페이스로 구성되어 있습니다.

사실 이 제품은 바로 얼마 전 암스테르담에서 열렸던 영상 및 방송 전문 박람회 IBC 2011 컨퍼런스에서 이미 쇼케이스를 실시한 바 있습니다. 이번에 출시한 M330은 고성능 제품이라기보다는 중간 정도의 성능을 요구하는 곳에서 적용하기 좋은 제품이라고 합니다. 향후 더 새로운 제품이 출시될 것이라고 하는군요.

M330이 데이터 저장공간을 제공하고 있지는 않지만 향후 QM1200, QS1200, QD6000 등과 같은 스토리지 시스템을 통해서 데이터 저장 공간을 만들고 M330과 같은 어플라이언스에 연결될 수 있도록 할 것으로 보이는데요. 특히 QD6000이라는 모델은 하나의 어레이에서 1PB 이상 확장할 수 있도록 4U에 180TB(3TB HDD를 이용)를 수용할 계획이라고 합니다. 올해 말이면 이 제품을 만날 수 있을 것이라고 하는데, 기대가 됩니다.

하지만 그간의 파트너 위주의 비즈니스를 통해서 소프트웨어를 공급하던 퀀텀이 한 차원 더 나아가 프라이머리 스토리지로 나갈 경우 기존의 스토리지 기업들과 어떤 경쟁이 펼쳐질지 궁금해집니다. 쉽지 않은 행보가 예상되는군요.

중복제거 시스템, 어느 것이 좋을까

백업 시스템으로서 중복 제거 기술은 출현한 지 상당 시간이 흘러 이제는 주류 스토리지 기술 중 하나로 자리를 잡고 있으며 프라이머리 스토리지 시장에서도 상당히 많이 이러한 기술들이 적용되고 있는 것을 볼 수 있습니다. 비록 NAS에 한정되기는 하지만 프라이머리 스토리지에서(블록 타입이 아님) 적용되면서 어느 중복 제거 시스템이 좋을까 하는 판단이 서지 않을 때 가이드라인 같은 것이 필요하지만, 그간 마땅한 방법론이 별로 없었던 것이 사실입니다.

이번에 DCIG과 SMB 리서치에서 미드레인지 중복 제거 시스템에 관한 리서치 보고서를 냈는데요. VTL 기업인 엑사그리드이 전 분야에서 최고의 점수를 받았습니다. 그런데 이 보고서를 내려받을 수 있는 곳이 엑사그리드 홈페이지인데요. 이번 조사에 후원을 했는지는 확실치 않지만 엑사그리드 제품에 후한 점수를 주었군요.

하지만 전체 방법론은 비교적 좋습니다. 70개 기능을 분류하고 37개 제품을 비교하면서 가격대는 2만달러에서 10만달러 사이, 점수는 최고에서 최저까지 5등급으로 분류했습니다. 시장에서 판매되는 중요한 제품들은 모두 비교 대상이 되었는데요. 벤더만 간단히 살펴보면 EMC, IBM, 팔콘스토어, 퀀텀, 스펙트라로직, 그린바이트, 엑사그리드, HP 등입니다. 전반적으로 우수한 평가를 받은 벤더들은 엑사그리드, EMC, 팔콘스토어, 퀀텀, IBM 등입니다.

그리고 상당히 흥미로운 사실들은 대개의 제품들이 중복 제거 후 압축을 한다는 점이고 시만텍의 오픈스토리지 API를 지원하고 원격지 복제 기술을 제공한다는 점입니다. 이들 요소들이 사실상 표준이라고 해도 과언이 아니라는 생각이 드는군요. 이번 조사에서 후한 점수를 받을 수 있게 된 기능 사항들로는 팬인/팬아웃, 백업 소프트웨어와의 통합 및 연계성, 10GbE 지원, 중복제거된 데이터의 암호화, 파티셔닝 기능 등입니다. 참고로 팬인/팬아웃 기능은 N:1, 1:N 복제 정도로 이해하면 됩니다.

70여개 기능을 조사하는데 있어 전체적으로는 중복 제거, 관리, 하드웨어, 확장성, 지원성 등의 카테고리로 나누고 그것들을 세분화했습니다. 예를 들어 중복 제거 부문에서는 최대 백업 작업수, 중복 제거 레벨, 암호화 여부, 데이터 검증 여부 등을 평가하고 관리 부문에서는 동기 방식의 복제, 비동기 방식의 복제, 지원되는 백업 소프트웨어 등을 가지고 평가를 합니다. 세부항목 중에는 평가하기 어려운 것도 있기는 하지만  대체로 평가할 수 있을 법한 것들로 채워져 있어서 평가 항목으로의 의미는 충분히 있다고 보고 다만 기업이나 기관에서 도입을 위해서 검토를 할 경우 이런 평가 방법에 근거하여 각 기업·기관의 상황에 맞는 부분에 가중치를 더해서 기술 평가를 하는 것도 나쁘지 않을 것 같습니다.

전체적으로 최고의 평가를 받은 제품은 엑사그리드의 EX13000E 제품인데요. 중복 제거 부문과 관리 부문에서는 보통(Good) 정도의 점수를 받았지만 하드웨어와 지원성 부문에서 최고점(Best-in-Class)을 받았고 확장성 면에서 우수(Excellent)를 받았습니다. 참고로 점수는 Best-in-Class > Recommend > Excellent > Good > Basic 순서인데요. 엑사그리드 EX13000E가 정작 중요한 중복 제거 부문과 관리 부문에서는 그저 그랬지만 다른 부문에서의 점수가 좋아서 전체적으로 최고점을 받았군요. 중복 제거 부문 중에서 가장 좋은 평가를 받은 제품을 살펴보면 팔콘스토어의 제품들이 대부분이었습니다. 최고점을 받은 제품은 없지만 팔콘스토어의 제품들은 ‘추천’을 차지했고, 관리 부문에서는 스펙트라 로직의 제품이 ‘추천’에 올랐습니다. EMC/데이터도메인 제품들은 대체로 하드웨어, 확장성, 지원성 등에서 우수(Excellent) 이상을 받았습니다.

이번의 DCIG와 SMB리서치가 공동으로 수행한 가이드라인과 같은 내용이 중복 제거 제품의 절대적인 판단 기준이 될 수는 없습니다. 각 기업이나 기관에서 고유의 환경과 국내 지원 여부 등을 종합적으로 고려해 보면 여기 가이드라인에서 나온 제품의 평가와 사뭇 다르게 나오게 나오게 될 것입니다. 창의적이고 발전적인 해석이 필요한 부분입니다. 수동적 수용이 아닌 능동적이고 적응적 수용이 필요하다는 것에 동의하시나요?

양측의 대립은 구글의 수석부사장겸 최고법률책임자(CLP)인 데이비드 드루먼드가 자사 공식 블로그를 통해 “안드로이드가 공격 받는 때”라는 글을 올리면서 시작됐다.

8월3일 드루먼드 최고법률책임자는 공식 블로그를 통해 “20년 동안 애플과 마이크로소프트가 서로 싸웠는데, 갑자기 사랑에 빠져 침대에 들어갔다”며 “마이크로소프트, 애플, 오라클 등이 안드로이드의 성공을 시기해 각종 거짓 특허로 안드로이드 운영체제를 무너뜨리려고 한다”고 주장했다.

이어 드루먼드 최고법률책임자는 “이들이 노텔의 특허를 사들인 의도는, 안드로이드 운영체제를 사용하는 스마트폰 한 대당 15달러에 특허 라이선스를 청구하려는 의도”라며 마이크로소트를 맹비난했다.

마이크로소프트도 가만히 듣고만 있지 않았다.

프랭크 쇼 마이크로소프트 커뮤니케이션 임원은 이날 밤 트위터를 통해 드루먼드의 주장을 반박하고 나섰다.

쇼는 지난해 10월 마이크로소프트의 법률 고문 브래드 스미스에게 구글의 법률 고문 켄트 워커가 보낸 이메일을 공개하면서 “우리(마이크로소프트)가 구글을 견제하기 위해서 다른 사람들과 연합해 노텔의 특허를 샀다는 주장은 말이 안된다”며 “특허 입찰과 관련해 제휴하자는 우리 제안을 거절한 것을 구글”이라고 당시 상황을 폭로했다. 구글은 독자적인 인수를 시도하다가 애플과 마이크로소프트의 연합군에 패퇴하고 말았고, 이 결과 안드로이드의 특허료 지불 문제는 현실적인 문제가 되고 있다.

쇼가 공개한 이메일에는 워커가 ‘논의 결과 여러 이유로 인해 이 제휴는 적절하지 않다. 하지만 알려줘서 고맙다. 향후 이런 기회가 발생하면 다시 논의할 준비가 돼 있다’고 적혀 있었다.

쇼는 드루먼드를 향해 “블로그에 글을 쓰기 전에 켄터에 먼저 물어보지 그랬느냐”며 비꼬았다.

상황은 이것으로 일단락 되는 줄 알았다. 그러나 드루먼드가 쇼의 글을 반박하는 내용의 글을 이날 오후 다시 올리면서 양측의 공방은 계속 이어졌다.

드루먼드는 블로그를 통해 “노벨 특허에 대해 MS와 공동인수를 하더라도 안드로이드 진영에 대한 MS 등 다른 공동인수자들의 특허 공격을 막아줄 수 없다는 점 때문에 거절한 것”이라며 “마이크로소프트의 제휴 제의는 매우 영리한 전략이었지만 우리가 거기에 속아 넘어가지 않아서 다행”이라고 말했다.

양측의 이런 공방에 대해 기가옴은 “마이크로소프트와 애플은 확실히 구글과 비교해 특허권에서 유리한 고지에 위치해 있다”며 “구글이 특허 문제에 대해 민감하게 나서는 이유를 이해한다”고 말했다.

이어 기가옴은 “구글이 전략적으로 특허를 확보하지 않는 이상 이런 문제는 계속해서 불거질 것”이라며 구글의 특허 포트폴리오에 대해 걱정하는 모습을 보였다.

이 두 기업은 지난 분기가 FY11의 마지막 분기였었는데요, 공교롭게도 FY가 같으니까 비교하기도 참 좋습니다. FY11의 4분기 실적을 먼저 보도록 하겠습니다. 씨게이트의 경우 지난 분기 28억 5900만 달러의 매출을 기록했으며 WD는 24억 300만 달러를 올렸습니다. 이익의 경우 씨게이트는 1억 1900만 달러를 WD는 1억 5800만 달러로 매출은 씨게이트가 5억 달러 정도 앞서지만 이익은 WD가  3200만 달러 정도 많습니다. 수치로만 본다면 WD가 내실면에서 앞서 있네요.

FY11 전체 매출은 씨게이트가 WD를 앞서고 있습니다. 그런데, 두 기업 모두 마이너스 성장을 하고 있는 것을 볼 수 있는데요. 하드 디스크 비즈니스가 어떤 현실에 있는지를 반영하고 있습니다. 씨게이트는 전체 매출의 70%를 OEM에서 벌어들이고 있고 지난 분기에만 5200만 개의 드라이를 출하하였으며 FY11 전체로는 1억 9900만개를 시장에 풀었다고 합니다. WD는 5400만 개의 HDD를 지난 세 달 동안 공급함으로써 출하량 면으로는 씨게이트를 앞질렀고 연간 출하된 HDD 수량도 2억 700만 개로 공급량으로서는 확실히 앞서고 있습니다.

HDD 산업계 전체적으로 연간 4% 성장하고 총 6억 5700만 개를 이 기간 동안 시장에 쏟아 냈다고 하는데요. HDD 업계의 대형 인수 합병이 마무리되면 이들의 위치가 어떻게 바뀌고 산업이 어떻게 재편될지 알 수 없네요.

HDD 기업들의 내부에서 새로운 사업이 계속해서 나오고 있습니다. 씨게이트나 WD 역시 그러합니다. WD의 경우 TV 미디어 플레이어 부문과 SSD 사업 부문은 3300만 달러의 매출을 기록함으로써 전년 동기와 비교해서 23%가 올랐다고 어닝콜스크립트에서 밝히고 있습니다. 씨게이트는 지난 주 펄사XT.2(Pulsa XT.2) 라는 SSD 제품을 출시하면서 SSD에 상당히 많은 공을 들이고 있습니다. 펄사2는 SLC 타입으로 6Gbps SAS 인터페이스를 가지며 7월 말에는 MLC 기반의 제품도 출시될 예정이라는군요.

SPC-1C의 유효성 검증 프로그램도 수행하였기 때문에 성능 정보를 SPC(stoage performance council)에서 확인해 볼 수 있는데요. SLC 타입으로 검증된 결과 평균 응답 시간이 2.05밀리세컨드, 20,011 IOPS 등의 성능을 기록했네요. 자세한 결과는 이곳을 클릭해 보시면 확인해 보실 수 있습니다.

◎ 속도를 늦추지 않는 EMC, 2분기 실적

EMC(EMC Corporation)의 성장 속도가 상당히 빠릅니다. 2분기 EMC의 실적은 48억 4500만 달러의 매출에 이익은 4억 4천만 달러를 올림으로써 전년 같은 기간 40억 2400만 달러 매출에 10억 9400만 달러의 이익을 남긴 것과 비교하여 무려 20%나 성장을 하였습니다. 6개월 누적 실적을 보더라도 94억 5300만 달러 매출에 10억 9400만 달러의 이익을 기록하여 전년 6개월 누적 기록이 79억 1400만 달러 매출, 8억 2800만 달러 이익과 비교하면 19%의 성장은 한 셈입니다. 분기 실적은 20% 성장, 6개월 누적 성장은 19%, 거의 20%에 가까운 이러한 성장세를 이어가는 것을 보면 정말 대단한 기업입니다.

조 투치(Joe Tucci) EMC 회장은 EMC의 클라우드 컴퓨팅과 빅데이터 전략이 유효했다고 밝혔습니다. 그는 이러한 전략을 수행하기 위해서 경쟁력 있는 제품과 서비스를 적절히 배치시킴으로써 성공했고 앞으로도 장기적으로 꾸준한 투자와 신념을 견지해 나갈 것이라고 합니다.

하이엔드 제품인 VMAX는 전년 동기와 비교해서 15% 성장했고 특이한 것은 2010년 전체를 통틀어서 판매된 플래시 용량보다 지난 상반기에 판매된 플래시 부문이 더 크다는 점입니다. SSD 부문이 커지고 있다는 것을 알 수 있습니다. 완전히 새로운 제품이라고는 할 수 없지만 유니파이드 스토리지로서 VNX에서도 플래시 용량이 커지고 있다고 하는데요, VMAX와 마찬가지로 2010년 전체보다 지난 상반기에 판매된 용량이 더욱 더 크다고 하네요. 또한 600여개의 신규 고객을 만들었으며 평균 가격은 10만 달러 수준이었다고 합니다. 한편 아이실론의 경우 연간 2배 이상 성장을 하고 있으며 점점 고객을 제조 분야로 확대하면서 기존 통신이나 방송 분야를 넘어서려는 노력을 하고 있습니다.

2011년 198억 달러 이상의 실적을 기대하는 EMC 확실한 1등 기업이군요.

◎ 샌디스크의 지난 분기 실적

사실 샌디스크(SanDisk Corporation)는 저장장치를 다루고 있지만 기업용 솔루션이 다소 취약하기는 합니다. 하지만 이 기업의 실적이 HDD 기업들의 실적과 비교해도 될 만큼 충분히 크고, 엔터프라이즈 제품을 계속해서 제조, 판매를 하고 있기 때문에 기업용 스토리지 솔루션 업체로서 주목하고 있습니다. 지난 2분기 샌디스크는 13억 7500만 달러의 매출과 2억 4840만 달러의 이익을 남겨 전년 같은 기간 매출 11억 7900만 달러, 이익 2억 5790만 달러를 남긴 것과 비교해 본다면 17% 성장 하였습니다. 6개월 누적 실적을 보면 26억 6900만 달러의 매출과 4억 7250만 달러의 이익을 남김으로써 전년 6개월 누적 실적에서 매출 22억 6600만 달러, 이익 4억 9260만 달러를 기록한 것과 비교해서 18% 성장한 것입니다. 성장세가 상당합니다.

지난 분기에 SSD 제조업체인 플라이언트 테크놀러지(Pliant Technology, Inc) 인수를 완료하여 기업용 SSD 제품을 공급할 수 있게 되었고 이 사업은 샌디스크 내의 ‘엔터프라이즈 스토리지 솔루션(Enterprise Storage Solution)’ 사업부에서 맡게 되었습니다. 또한 ‘라이트닝 엔터프라이즈 플래시 드라이브(Lightning Enterprise Flash Drive)’가 6Gbps SAS 인터페이스를 지원하게 됨으로써 점점 기업용 제품의 라인업을 완성해 나가고 있습니다.

어닝콜스크립트(earning call script)를 보니 기가바이트 당 가격은 7% 줄었지만 판매량은 14% 늘어서 전체적으로 매출이 늘었다고 하는군요. 또한 OEM 비즈니스가 전체적인 비즈니스를 키우고 있으며 유통을 통한 매출은 상대적으로 작다고 하는군요. 샌디스크의 비즈니스가 향후 비즈니스 모델을 가늠케 해 주는 부분이군요.

◎ 지난 분기 IBM 실적

워낙 대형 기업이기 때문에 스토리지만 찾아 보니 별로 할 이야기가 없네요. 스토리지 시스템 부문의 실적이 지난 전년 동기와 비교해서 10% 늘었다고 하는군요. 스토리지 하드웨어 판매가 10% 성장했고 디스크 부문이 13% 성장하였으며 티볼리 스토리지 부문이 연간 9% 성장하여 분기 성장이 거의 25%에 이르렀다고 하는군요.

◎ 중소 스토리지 기업들의 지난 분기 실적 – 엑사그리드와 스케일컴퓨팅

중복제거 기술을 보유하고 있는 엑사그리드(ExaGrid Systems, Inc.)은 2분기 실적이 공개되지는 않았지만 나름 의미 있는 그들의 성과를 공개했습니다. 지난 2분기 동안 3,500 시스템 이상을 전세계 1,400개 고객들에게 설치했다고 하는데요, 지난 분기에 과연 이 많은 수량을 감당해 냈을까 하는 생각마저 듭니다. 3,500대면 매일 거의 30대를 쉬지 않고 설치를 해야 하는 수량인데요, 보도 자료를 통해 공개한 수치니까 사실이겠지만 놀랍기 그지 없네요. 또한 가상화 환경에서의 데이터 보호를 전문으로 하는 기업인 빔(Veeam)의 제품과의 연계를 통해 새로운 고객을 만들고 있다고 하는데요, 보다 구체적인 실적이 수치로 드러나길 기대해 봅니다.

한편 스케일 아웃 방식의 NAS 솔루션을 제공하는 스케일컴퓨팅(Scale Computing)의 경우 기존 고객에게서 매출의 30%가 발생하였고 550개 고객 설치 사례를 만들었으며 인원도 연간 82%나 늘었다고 합니다. 새로운 파트너 프로그램을 시행하면서 파트너의 수가 192%나 늘었다고 합니다. 파트너 프로그램을 제공하는 페이지를 보았는데요, 파트너를 크게 4개의 레벨(Preferred/Select/Choice/Engaged)로 나누고 있습니다. 스케일 컴퓨팅이 HP의 파트너사를 빼앗아 간다는 이야기가 있었던 탓일까요, ‘제로 컨플릭트(Zero conflict)’라는 말을 강조하고 있네요.

아직은 SMB 영역에 있지만 그래도 꾸준히 대형 고객을 만들어가고 있는 엑사그리드와 스케일컴퓨팅, 관심 있게 지켜볼 만한 기업들인 것은 분명해 보이는군요.

- fin -

이는 성과로도 이어졌다.

EMC는 지난 2011년 2분기 결산 결과 사상 최고의 실적을 기록했다고 밝혔다. EMC는 전 세계적으로 자사의 정보 인프라스트럭처와 가상 인프라스트럭처 제품과 서비스의 강력한 성장에 힘입어 역대 2분기 중 가장 높은 매출과 순이익을 달성했다.

EMC의 2011년 2분기 매출은 총 48억 5천만 달러로 전년 동기 대비 20% 증가했다. 재무회계기준(GAAP) 순이익은 총 5억 4600만 달러를 달성, 2010년 같은 기간에 비해 28% 성장했으며 주당 순이익은 24센트로 전년에 비해 20% 증가했다. 비재무회계기준(Non-GAAP) 순이익은 전년 동기 대비 33% 증가한 7억 9300만 달러, 주당 순이익은 25% 증가한 35센트를 기록했다.

EMC 회장 겸 CEO인 조 투치()는 “점차 더 많은 고객들이 EMC의 클라우드 컴퓨팅과 빅데이터 전략을 높이 평가함에 따라 EMC는 이번 분기에 균형 잡힌 성장, 탄탄한 실행력, 중요한 기술 혁신 등 여러 분야에서 기록적인 성과를 거둘 수 있었다. 이러한 결과는 우수한 제품과 서비스, 그리고 전략적 파트너가 있었기에 가능했다”면서 “올해는 물론 장기적으로도 EMC는 뛰어난 실적을 거둘 것으로 확신하며 앞으로도 대규모 투자를 통해 EMC가 선도하는 기술의 폭을 넓히고 고객과 파트너가 IT와 비즈니스 모델을 보다 빨리 변화시킬 수 있도록 도울 것”이라고 밝혔다.

2분기 매출에서 가장 두드러진 점은 EMC 정보 스토리지 사업부문의 두 자릿수 성장이다. 전통적인 텃밭에서 확실한 성과를 챙겼다.

이 사업부문의 매출은 전년 동기 대비 19% 상승했으며, EMC 시메트릭스 VMAX를 포함한 하이엔드 스토리지 제품군의 매출은 지난 해 같은 기간에 비해 15% 증가했다. 또한 EMC 중형 스토리지 제품군의 매출 역시 전년 동기 대비 27% 상승했으며 특히EMC VNX 유니파이드 스토리지와 백업과 복구 솔루션의 매출이 큰 폭으로 성장했다. VM웨어의 2분기 매출은 전년 동기 대비 37% 증가했으며 RSA 정보 시큐리티 사업부 역시 13% 성장했다.

2011년 2분기 실적에서 또 다른 주목할 만한 점은 EMC 아이실론, 아트모스, 그린플럼의 매출이 2010년보다 2배 이상 증가했다는 점이다. 이는 빅데이터 기술에 대한 수요가 큰 폭으로 성장했기 때문으로 분석된다. EMC의 폭넓은 컨설팅과 전문 서비스 제품군에 대한 수요가 대폭 증가한 점 역시 2분기 매출에서 두드러진 부분이다.

한국EMC 김경진 대표는 “EMC는 2011년 2분기에 시장 점유율 상승과 수익성 증가, 클라우드 컴퓨팅과 빅데이터를 위한 공격적인 투자라는 세가지 영역에서 모두 성공적인 결과를 얻어냈다. EMC는 고객들이 클라우드 컴퓨팅 환경으로 보다 빠르게 전환할 수 있도록 지원함과 더불어 데이터 활용을 통해 비즈니스 경쟁 우위를 확보할 수 있는 기술과 서비스를 제공하는 데 역점을 두고 있다. 이러한 전략은 시장에서 큰 주목을 받고 있으며 이번 분기의 성공적인 실적과 올해 EMC에게 주어질 기회를 바탕으로 2011년에는 예상 목표치를 훨씬 뛰어넘는 실적을 거둘 것으로 확신한다”고 말했다.

지난 6월 30일 레이미 스타타 야후(Yahoo) 최고기술책임자(CTO: Chief Technical Officer)는 더 레지스터(The Register)를 통해 “하둡에서 거의 실시간 분석이 가능해졌다”며 “야후에서 테스트 해 본 결과 하둡의 지연 시간은 약 15분 정도로 진정한 실시간이라고 말하긴 어려지만, 조만간 즉시 서비스를 분석할 수 있는 날이 올 것이다”고 말했다.

그는 또  “이는 다양한 부문에서 최적화 돼 있는 하둡 때문에 가능하다”며 ”하둡의 보완 기술과 알고리즘 기술이 진정한 실시간 분석을 가능케 할 것“이라고 덧붙였다.

하둡의 병렬 자연 처리 방식은 수천개의 노드(서버)를 사용해 과거 수일 걸렸던 테라바이트급 정보를 짧은 시간 안에 처리한다.

이에 대해 실리콘벨리 기반 기술 동향을 전하는 유명 해외 블로그 기가옴(GIGAOM)은 지난 7월4일 현지 애널리스트들의 말을 인용해 “실시간 분석에 있어 아직 새로운 것은 없지만, 하둡 같은 경우 일상적으로 사용되는 로컬 스토리지 서버 내 모든 조직들의 모든 데이터를 분석할 수 있다”며 “그 결과 기업들은 소셜미디어를 통한 실시간 의견이나 웹페이지 댓글, 서버 로그 파일들을 활용해 경영 전략을 세울 수 있게 됐다”고 전했다.

그는 또 “몇 년 전에는 가능하지 않았던 기술이 놀랄만한 속도로 발전하고 있다”며 “앞으로 실시간 분석이 어떻게 진화할지 기대된다”고 말했다.

• 대한민국의 모든 사람(약 4875만 명, 2010년 기준)들이 17만 847년 동안 쉬지 않고 매 분마다 3개의 트위터 글 게시.

• 2천억 개가 넘는 HD 영화 (상영 시간 2시간 기준) – 한 사람이 쉬지 않고 4700만년 동안 시청할 분량.

• 32 기가바이트 용량의 아이패드 575억 개 – 575억 개의 아이패드로는 멕시코 시티의 86%되는 면적을 덮을 수 있으며 이는 서울 면적의 2.1배에 해당한다. 또한 중국 만리장성의 현재의 평균 높이 보다는 2배 높은 장벽을, 일본의 후지산보다 25배 높게 쌓을 수 있는 개수.

이건 무슨 수치일까?

이 재미난 내용은 2011년 전세계에서 생성되는디지털 정보량인 ‘ 1.8 제타바이트’를 한 눈에 이해하기 위해 든 예시들이다.

2011년 올 한해 생성되고 복제되는 디지털 정보량이 약 1.8 제타바이트(Zeta Byte)에 달할 것이며, 전세계의 디지털 정보량은 매 2년 마다 2배씩 증가할 것이라는 전망이 나왔다.

데이터 보관과 관리, 폐기, 분석 전문 업체인 EMC는 IT시장조사기관 IDC에 의뢰한 보고서를 통해 이같이 밝혔다.

두 회사는 ‘디지털 유니버스 보고서(IDC Digital Universe study): “폭증하는 데이터로부터의 가치 창출(Extracting Value from Chaos)” 결과를 6월 29일 발표했다. 디지털 유니버스 보고서는 매해 생성되고 복제되는 디지털 정보량과 정보가 개인, 기업, 그리고 IT 전문가들에게 미치는 영향을 분석하고 있으며 올해 5번째로 발표된 “폭증하는 데이터로부터의 가치 창출” 보고서는 빅데이터가 미치는 거대한 경제적, 사회적, 기술적인 영향들에 대해 기술하고 있다.

IDC 보고서는 2009년 생성된 총 디지털 정보량의 집계를 2008년 대비 62% 증가한 0.8 제타바이트 (약 8000억 기가바이트), 2010년에는 1.2 제타바이트 (약 1.2조 기가바이트)로 집계한 바 있다.  2011년도에 생성될 디지털 정보량은 약 1.8 제타바이트 (약 1.8조 기가바이트)에 달할 것으로 추정된다.

김경진 한국EMC 대표는 “엄청난 속도로 증가하고 있는 정보의 범람은 우리에게 끊임없는 기회를 제공하고 있으며 이는 사회적, 기술적, 과학적, 경제적인 측면에서 거대한 변화를 이끌고 있다”며 “빅데이터는 기업들이 그들의 가장 중요한 자산인 ‘정보’를 관리하고 그로부터 가치를 이끌어내는 방법을 변화시키고 있다”고 말했다.

이러한 데이터 정보량의 끊임없는 성장 요인은 ‘기술’과 ‘자본’이다. 새로운 “정보 길들이기 (Information taming)” 기술의 도움으로 정보의 생성, 캡처, 관리과 저장 비용이 2005년 대비 6분의 1 수준으로 줄어듦으로써 데이터 정보량은 폭발적인 성장세를 이어올 수 있었다. 또한 기업들이 정보로부터 수익을 창출하고 이를 관리, 저장, 증가시키기 위해 클라우드, 하드웨어, 소프트웨어, 서비스 및 인력충원에 대한 투자를 확대해 온 것 역시 데이터 정보량의 폭발적인 증가에 기여한 요인이다. 기업의 연간 투자 비용은 2005년에 비해 50% 증가해 현재 4조 달러(한화 4342조원 상당)에 이르고 있다.

IDC는 데이터의 범람을 관리할 수 있는 기술과 경험, 자원 등이 모든 분야의 성장 속도를 따라잡지 못하고 있다고 지적했다. 2020년까지 전세계 IT 부서들은 지금보다 10배 많은 수의 가상 및 물리적 서버를 갖게 될 것이며, 관리해야 할 정보의 양은 자그마치 50배에 이를 것으로 전망되고 있다. 또한 의류 및 교각, 혹은 의료 기구에 달린 감지기(센서)처럼 내장형 시스템이 점차 늘어남에 따라, 정보 그 자체의 성장세보다 정보가 압축돼 있는 파일 및 저장소의 수가 훨씬 빠른 속도로 증가하고 있으며 그 수치는 향후 10년 후 75배에 이를 것으로 추산되고 있다. 반면 이 모든 것을 관리할 수 있는 IT 전문가의 수는 단 1.5배밖에 증가하지 않을 것으로 IDC는 내다보고 있다.

현재 클라우드 컴퓨팅은 전체 IT 지출의 2% 미만을 차지하고 있지만, 2015년에는 정보의 20%가 클라우드 컴퓨팅 서비스 제공업체에 의해 다뤄질 것으로 IDC는 예측했다. 즉, 이는 정보가 만들어지면서부터 폐기되는 순간까지 어느 시점이든 약 20%의 정보가 클라우드 내에서 저장되거나 처리될 것임을 의미한다.

• 관련 인포그래픽

RBC 캐피털 마켓(RBC Capital Market)이라는 투자은행이 있습니다. 전세계를 고객으로 6천명이 넘는 분석가들이 있는 곳입니다. 이곳에서 미드레인지 스토리지에 대한 시장분석 자료를 발표했는데요, 전문은 못봤지만 인터넷에 요약된 내용이 올라와 간략히 정리해 보았습니다.

RCB CM에 따르면, 앞으로도 EMC나 넷앱과 같은 스토리지 기업들이 시장에서 우위를 점하게 될 것이며 결과적으로 HP를 비롯하여 델, IBM 등과 같은 기업들은 시장점유율을 잃게 될 것이라고 합니다. 스토리지 기업과 대형 시스템 기업의 경쟁에서 결국 스토리지 기업인 EMC와 넷앱 등이 최종 승자(winner)가 될 것이라는 것이 핵심입니다.

EMC에 대해서는, 26%의 시장점유율을 차지하고 있으며 유니파이드 스토리지 플랫폼인 VNX를 비롯하여 아이실론 인수, 아트모스 제품군 등을 통해 이러한 위치에 올랐다고 진단하고 있습니다. 넷앱은 15%의 시장점유율을 기록하고 건실한 제품군과 강력한 채널 관계, 엔지니오(Enginio)의 인수를 통해 기존 엔지니오 고객들에게 FAS 제품군으로 전환할 수 있도록 하는 것 등을 포함하여 가장 전도 유망한 기업으로 꼽고 있습니다. 그밖에 IBM은 13%를 점유하고 있으며 DS 스토리지를 비롯하여 XIV, 스토어와이즈 V7000, SONAS 등을 통해 고객들에게 다가갈 것이라고 하는 군요. HP는 10%, HDS는 9%, 델은 4%, 오라클은 3%라고 진단하고 있네요.

LTO-6 시대의 서막

LTO 6세대 제품을 조만간 볼 수 있을 것 같습니다. LTO 프로그램에 참여하고 있는 HP, IBM, 퀀텀(Quantum) 등이 LTO-6에 대한 라이선스를 소개했습니다. LTO-6는 최대 8TB의 용량과 초당 최대 515MB의 처리 속도를 내는 고성능 테이프 스토리지 기술입니다. 물론 압축 기술을 적용하였을 경우에 이렇게 나왔다는 것이죠. 또한 암호화 기술과 ‘WORM’(Write Once Read Many) 기술, 듀얼 파티셔닝 기술 등과 같이 LTO-5에서 적용된 기술은 그대로 LTO-6에 적용된다고 하는군요.

위 그림은 LTO 기술의 로드맵입니다. 현재 출시되는 제품의 대부분은 LTO-4나 LTO-5인데요, 인터넷을 좀 뒤져 보니 LTO-5의 경우 라이선스 프로그램이 발표되고(2010년 1월) 실제 제품이 나온 것이 3개월 후였다고 합니다. LTO-6도 전작이었던 LTO-5와 적용 속도 면에서 크게 차이가 없을 것 같지만 과연 빠르게 적용할 만큼 테이프 스토리지 기술이 시간을 다투는 기술인가 하는가에 대해서 의심스럽네요. 이미 테이프 스토리지 시장은 급격히 줄어들고 있고 백업보다는 장기보관 용도의 아카이브 분야에 적용되고 있어 주류에서 멀어지고 있습니다.

하지만 HDD에 비해 미디어 가격이 상당히 저렴하고 전력 사용 비용도 낮기 때문에 여전히 매력적인 면이 있는 것도 분명히 사실입니다. LTO-6가 비압축으로 할 경우 3.2TB를 저장할 수 있기 때문에 이 테이프 카트리지 하나로만으로도 상당히 많은 애플리케이션이나 업무를 백업할 수 있을 것입니다. 매력은 있지만 사업으로서의 가치가 점점 줄어들고 있어 과연 메이커들이 시장에 빠르게 적용할까 하는 의구심이 들기도 하는 LTO 기술, 6세대의 제품이 언제쯤 나올까요. 올해 안에는 나오겠죠?

아맥스의 스토리지 클러스터 솔루션 스토어맥스-X2

아맥스(Amax Information Technologies, Inc.)가 iSCSI 기반의 통합 스토리지 시스템인 스토어맥스-X2(StorMax-X2)를 발표했습니다. 아맥스는 지난 5월에도 소개한 바 있는데요, 이번에는 HPC 환경에서도 적용할 수 있는 고성능 시스템입니다.

아맥스가 자체적으로 만들었다기보다는 조합한 제품이라고 할 수 있는 스토어맥스-X2는 멜라녹스VSA(Mellanox VSA)와 인피니밴드, 표준 x86 서버, PCI익스프레스 기반의 SSD 등이 결합된 형태입니다. 노드당 최대 192GB까지 장착할 수 있는 메모리 노드를 16개를 둘 수 있고, SAS 또는 SATA로 구성하여 최대 144TB까지 또는 PCI익스프레스 타입의 SLC/MLC 기반의 SSD를 이용할 경우 10/20TB를 구성하여 16개까지 만들 수 있습니다.

또한 이 시스템에는 네트워크 스위치와 인피니밴드 스위치까지 들어가 있는데요, 네트워크 스위치의 경우 1기가비트의 48개 포트를 지원하며 36개 QDR 포트를 지원합니다.

이 시스템은 800만 IOPS를 내며 20GB/sec의 속도로 데이터를 처리할 수 있다고 합니다. 이 정도라면 일반적인 하이엔드 스토리지 시스템을 능가한다고 할 수 있는데요, 아맥스에 따르면 HPC(High Performance Computing) 환경, 서버 클러스터링, 하둡 기반 데이터베이스 등이라고 합니다. 사용할 수 있는 영역이 다른 것은 어느 정도 이해가 되지만 하둡 기반의 데이터베이스를 위해 이 시스템을 사용할까 하는 생각이 드는군요.

이 제품에 관한 데모(demo)는 7월에 뉴욕에서 열리는 SIFMA Financial Services Technology Expo라는 행사에서 소개될 것이라고 하는군요.