[주간 스토리지] IBM, HPC 위한 새 스토리지 아키텍처 선보여

가 +
가 -

IBM의 HPC를 위한 새로운 스토리지 아키텍처

sc10logo2스토리지 기업들에서 왜 이런 소식이 없을까 했었는데, IBM이 결국 하는군요. ‘슈퍼컴퓨팅 2010 컨퍼런스’에서 IBM은 새로운 스토리지 아키텍처 설계를 선보였습니다. IBM의 과학자들이 만든 이 새로운 파일 시스템은 GPFS-SNC(General Parallel File System-Share Nothing Cluster)라고 하는데, GPFS와 하둡(Hadoop)을 결합해 만든 모형으로 기존 HDFS(Hadoop Distributed File System)에 비해 2배나 빠르다는 것이 IBM의 주장입니다. IBM의 GPFS는 SONAS와 스마트비즈니스 컴퓨트 클라우드(SmartBusiness Compute Cloud)를 기반으로 만들었습니다. 맵리듀스(Mapreduce) 벤치마크에서 16개의 노드 클러스터와 4개의 SATA 디스크를 각 노드마다 장착하여 실시한 결과 HDFS와 비교하여 2배 정도 빠르다는 것입니다.

클라우드 컴퓨팅 인프라를 구성하는데 있어 HDFS와 같은 설계가 거의 필수적으로 요청되고 있는데요, 디지털 미디어, 데이터 마이닝, 재정/재무 분석 등을 위해 데이터 중심의 설계가 필요하고 구글 파일 시스템을 공개하면서 HDFS나  코스믹스(Kosmix)의 KFS 등과 같은 클론이 생겨나기 시작하였습니다. 핵심은 많은 데이터를 어떻게 분산 환경에서 최고의 성능을 내도록 하는가 하는 것인데, 슈퍼컴퓨팅 2010의 SC10 챌린지(Challenge)라는 프로그램에서 스토리지 챌린지(Storage Challenge)에서 IBM이 GPFS-SNC라는 분산 스토리지 설계로 수상을 하게 되었습니다. SC10의 스토리지 챌린지는 성능(performance), 확장성(scalibility), 스토리지 서브시스템의 이용률(utilization) 등을 바탕으로 평가를 한다고 합니다.

GPFS-SNC는 스토리지 시스템을 구성하는 각각의 독립적인 노드들 내에서 ‘공유를 하지 않는(shares nothing)’ 클러스터이며, 각각의 독립적인 노드들 사이에서 태스크(task)를 나누기 때문에 대기(wait)하는 현상이 없어진다는 것입니다. IBM의 주장에 따르면 현존하는 파일 시스템중 자신들의 파일 시스템이 제일 빠르다고 하는데요, 구글의 맵리듀스 프레임워크를 비롯하여 오라클의 엑사데이터 데이터베이스 머신(Exadata Database Machine)이나 그린플럼 데이터 컴퓨팅 어플라이언스(Greenplum Data Computing Appliance) 등과 비교하여 월등하다고 합니다.

IBM의 이러한 시도는 상당히 의미 있는 것이라고 여겨집니다. 대형  IT 기업들이 이런 분야에서 그다지 많은 연구성과를 내지 못하고 대개 마케팅 용어로만 그치는 경우도 많이 있습니다. 보다 자세한 내용이 공개되어 있다면 좋겠는데 공개되어 있는 것이 아직은 너무 적습니다. 좀 더 기술적이고 연구해 볼만한 내용이 없어 아쉽기는 하지만 그래도 오랜만에 접하는 좋은 소식이었네요.

퓨전IO, 백만 IOPS 달성

퓨전IO(Fusion-IO)가 슈퍼컴퓨팅 2010에서 IOPS와 대역폭(bandwidth) 등에서 우수한 면을 보였다고 합니다. IOPS는 1백만 이상을 기록했고, 초당 6.2GB로 대역폭 부분에서도 최고의 성능을 기록했다고 합니다. 성능 뿐만 아니라 하나의 PCI 익스프레스 슬롯에 최대 5.7TB까지 수용할 수 있게 되었다고 합니다. 또한 로스 알라모스 국립 연구소(Los Alamos National Laboratory; LANL)에서 적용했던 사례도 소개하였는데요, 기후 데이터를 처리하면서 데이터 중심적인 애플리케이션의 운용을 위해 퓨전I/O의 제품과 하둡(Hadoop)을 이용하여 기존 대비 500%나 빨라지게 되었다고 합니다. 참고로 LANL은 기후변화 및 무기 시스템 등에 관한 연구 활동을 하고 있는 기관으로서 1943년에 설립된 상당히 전통있는 연구기관입니다. 우리가 잘 아는 네바다 핵무기실험도 이 기관이 수행했는데, 요즘은 주로 기후 변화와 같은 이슈를 다루지만 과거 냉전 시대에는 핵무기를 비롯해 대량 학살 무기 등을 연구하고 실험했던 그런 기관입니다. 슈퍼컴퓨팅이 많이 사용되는 그런 곳이죠.

또한 고객 정보가 드러나지는 않았지만 항공우주 연구를 하는 기관에서는 퓨전 IO의 io메모리(ioMemory) 기술을 이용하여 일리노이즈에서 매릴랜드까지 데이터 전송을 하고 그 데이터를 뉴 올리언즈로 전송시키는 작업을 수행하였다고 하는데요, 하나의 ‘io드라이브 옥텔(ioDrive Octal)’에서 4개의 10Gbit 이더넷을 연결하여 400MB/sec의 전송 속도를 냈다고 합니다.

IOdrive_Octal-250

퓨전IO사의 io드라이브(ioDrive)

NANL의 500% 향상, 상당히 경이로운 수치입니다. 물론 전통적인 RAID 시스템과 파일 시스템을, 하둡과 SSD를 이용한 시스템과 비교해 500%나 빨라졌다고 이야기 하는 것이 적절한 비교가 아니기 때문에 이러한 주장 자체는 억측이라고 생각합니다. 하지만 중요한 것은 일반적인 RAID 기술과 일반적인 파일 시스템이 현재 대중적으로 많이 사용되고 있고 다양한 레퍼런스 모델을 가지고 있지만 앞으로 점점 하둡과 같은 분산 파일 시스템이 대세를 이루면서 기업의 스토리지 기초가 되지 않을까 하는 생각이 듭니다. 앞서 IBM의 GPFS-SNC의 사례에서도 보듯이 대용량 처리 시스템에 관한 지식의 습득이 스토리지 기업들이 향후 갖게 될 과제가 되지 않을까 싶네요.

2분기 30% 이상의 성장을 한 넷앱

2분기 넷앱(NetApp, Inc.)의 실적이 공개되었습니다. 지난 10월 29일로 FY 2011의 2분기를 마감한 넷앱은 실적이 상당히 좋게 평가되고 있습니다. FY11 2분기의 경우 12억700만 달러 매출에 1억6천460만 달러의 이익을 남김으로써 전년 동기 9억1천만 달러 매출에 9천570만 달러의 이익을 남긴 것과 비교하면 33%의 성장을 기록하였습니다. 회계연도 6개월만 비교해보면 FY10의 6개월 간의 매출은 17억4천800만 달러, 이익은 1억4천730만 달러를 올렸으나 FY11의 6개월 동안은 23억4천500만 달러 매출에 3억640만 달러의 이익을 올림으로써 34%라는 경이로운 성장을 하였습니다.

이러한 성장의 원인으로는 VM웨어(VMware)와의 비즈니스가 주효했던 것으로 평가를 하고 있는데요, VM웨어의 v클라우드(vCloud Director) 소프트웨어와의 연계를 비롯하여 손쉬운 통합과 비용 효과적인 클라우드 솔루션으로서 평가를 받으면서 넷앱과 VM웨어의 조합, 선택이 많이 이뤄지고 있다고 합니다. 최근 넷앱이 발행하는 문서들을 보면 그러한 것을 많이 볼 수 있습니다. VM웨어 뿐만 아니라 후지쯔(Fujitsu)와의 관계도 좋기 때문에 당분간 후지쯔와 넷앱은 공생, 협조 관계를 계속해 나갈 것 같습니다. 물론 IBM도 빠질 수 없는 중요한 파트너로서 서로가 기대는 면이 많아 보입니다. 또한 시만텍과의 협력도 이러한 실적의 원인이 되었다고 합니다.

이러한 실적과 더불어 #1 하드웨어 벤더, 전체 IT 중 두 번째 벤더 등으로 지목이 되고 있는데요, 2010 CIO Insight Vendor Value Ratings에서 상당히 좋은 평가를 받았습니다(평가자료 PDF 파일 링크). 사실 이런 자료는 외부 압력이나 평가 업체들의 로비, 스폰서로부터 자유로울 수 없기 때문에 전적으로 신뢰할 수 있는가에 대해서는 구조적으로 한계가 있기는 하지만 그래도 넷앱의 평가 자체가 무시될 것은 아닐 것입니다.

CIO_insight_survey

어닝 콜 스크립트(earning call script)를 보니 다음 분기에도 계속 성장할 것이라고 하는데요, 그 성장이 앞으로 어떻게 이어질지 궁금해 집니다. 참 대단한 넷앱입니다.

델의 지난 분기 스토리지 실적 공개

델(Dell Inc.)의 FY 2011년 3분기가 지난 10월 29일 마감되어 실적이 공개되었는데요, 기업 규모에 비해 실적 집계와 공개가 빠른 기업이군요. 스토리지 실적만 보면 7%라는 좋은 성적을 거두었습니다. 지난 분기 5억4천300만 달러 매출을 기록했는데, 전년 동기 매출은 5억800만 달러였습니다. 지난 9개월간의 실적을 놓고 보면 17억2천100만 달러의 매출을 올림으로써 전년 같은 기간과 비교하면 8%라는 안정적인 성장을 이어가고 있습니다.

분석가들에 따르면 델의 이퀄로직 부문의 성장은 기록적으로 늘어가고 있지만 EMC 부문의 경우 예전만큼 많이 팔지는 못한다고 합니다. 그리고 쓰리파(3PAR)와 아이실론(Isilon) 등과 같은 스토리지 기업을 인수하지 못함으로써 미드레인지나 소규모 비즈니스용으로 사용되는 iSCSI 솔루션 외 다른 분야로의 진출이 이뤄지지 않는 한 놀랄만한 성장은 어렵다는 것이 전망입니다. CEO인 마이클 델의 어닝 스크립트를 보니 이퀄로직은 66%나 성장을 하였고 엑사넷(Exanet)이나 오카리나(Ocarina Networks)의 중복 제거 솔루션 등을 통해 포트폴리오를 확장해 나갈 것이라고 합니다. EMC와의 관계에 대해서는 이미 지난 10년 동안 관계를 이어왔고 앞으로도 진화할 것이라고 하는데요, EMC는 다른 이야기를 하고 있지요. EMC의 서운함이 어떠했는지 짐작할 수 있겠네요.

델이 아직 스토리지 분야의 충분한 진용을 갖추지는 못했지만 분명 중요한 것은 기반을 착실하게 준비하고 있다는 것입니다. 오카리나 인수할 때 참 적절한 기업을 인수했다는 생각이 들면서 SAN도 중요하지만 더욱 더 중요한 것은 NAS 분야일텐데, 인수는 잘했다는 생각이 들었습니다. 다른 한편으로는 이제 인수할 기업이 남아있을 까 하는 생각이 들 정도로 많은 기업들이 인수 및 합병되고 있는 요즘, 업계의 지도를 그릴 필요조차 없는 것 아닌가 하는 생각이 드는군요.

인텔, 5개 스토리지 기업과 사업 부문 협력

인텔(Intel Corporation)이 5개 스토리지 기업들과 협력한다고 합니다. 인텔의 CPU를 이용하는 5개 스토리지 기업은 HDS, IBM, 넷앱(NetApp), 오라클, 프로미스(Promise Technology) 등인데요, 이들 기업의 스토리지 제품들은 제온 프로세서 기반의 스토리지 프로세서를 사용하고 있습니다. 기존 EMC와 아이실론(Isilson), HP 등을 포함하여 새롭게 추가된 제품들이 있고 그래서 인텔 계열의 CPU를 스토리지에 사용하는 제품들이 늘어나면서 이 프로그램에 속하게 되는 제품들이 늘게 되었습니다. HDS의 경우 VSP(Virtual Storage Platform)을 비롯하여 AMS 계열, HCP(Hitachi Content Platform) 등이 이 프로그램에 속하게 되었고, IBM은 SONAS, 스토어와이즈 V7000 등이 해당되며, 넷앱은 FAS V6200, V3200, 썬(Sun)은 ZFS 스토리지 어플라이언스(ZFS Storage Appliance), 프로미스는 VTrak Ex30 등이 해당되게 되었습니다. 이제 RISC 계열의 CPU를 사용하는 스토리지 시스템은 거의 없어지고 있는데요, 이러다가 인텔 CPU만 남게 되는 건 아닌가 하는 우려도 듭니다.