소사이어티

사람들

arrow_downward최신기사

구글

[현장] 전설의 개발자 제프 딘, 한국 개발자를 만나다

최근 알파고와 이세돌 9단의 대국에 많은 관심이 쏠리고 있습니다. 데미스 하사비스 구글 딥마인드 최고경영자부터 에릭 슈미트 알파벳 회장까지 한국에 방문해 인간과 인공지능과의 대결에 관심을 보이고 있는데요. 지난 월요일 알파고 인기 못지 않게 유명한 구글 직원이 한국에 방문했습니다. 바로 제프 딘이라는 구글 시니어 펠로우입니다. 제프 딘은 일반인에게는 조금 생소하지만 IT 업계에서는 널리 알려진 '전설'같은 인물입니다. 제프 딘은 1999년 중반 구글에 합류했는데요. 구글의 대부분의 제품의 기본이 되는 구글의 크롤링, 인덱싱 및 쿼리 서빙 시스템을 비롯해 구글의 주요 초기 광고 모델과 애드센스 시스템을 공동 설계하고 구현하는 데 기여한 인물입니다. 뿐만 아니라 '스패너', '빅테이블', '맵리듀스' 등을 개발한 엔지니어로 현재는 머신러닝을 위한 대용량 분산 시스템에...

T-MR

SKT, 빅데이터 분석 서비스 출시

KT에 이어 SK텔레콤도 클라우드 기반의 빅데이터 분석 서비스를 출시했다. SK텔레콤은 12월18일 빅데이터에서 필요한 정보를 손쉽고 빠르게 추출할 수 있는 분석엔진 'T-MR'을 선보였다. T-MR 서비스는 중소중견 기업들이 대량의 데이터에서 원하는 정보를 간편하게 얻을 수 있도록 도와주는 빅데이터 분석엔진으로 하둡과 맵리듀스 기술을 사용했다. 앞서 지난 9월 KT가 출시한 '유클라우드 비즈 맵리듀스' 역시 하둡과 맵리듀스 기술을 활용하는 등, 빅데이터 분석엔진 시장에서 두 업체의 경쟁이 예고된다. 한남석 SK텔레콤 IT기술원장은 "빅데이터에 관한 관심과 필요성은 나날이 높아지고 있지만, 기술에 대한 이해부족으로 활용이 더딘 상황"이라며 "SK텔레콤은 이를 해결하기 위해 T- MR 등 빅데이터 관련 서비스를 지속해서 개발해 더욱 쉽고, 빠르고, 정확하게 빅데이터를 사용할 수 있도록 도울 것"이라고 말했다.   SK텔레콤은...

EMR

KT 유클라우드, 빅데이터 분석 서비스 출시

KT가 자사 클라우드 서비스인 유클라우드를 이용해 대용량 데이터를 손쉽게 처리하고 분석할 수 있게 돕겠다고 나섰다. 클라우드 서버에 하둡과 같은 빅데이터 플랫폼을 얹은 '유클라우드 비즈 맵리듀스'로 말이다. 이정석 KT클라우드추진본부 상무는 "기업이 관리해야 할 데이터 정보의 단위가 제타바이트(ZB)까지 확장되고 있다"라며 "맵리듀스 서비스 출시로 기업들이 다양한 분야에서 빅데이터 분석을 통해 새로운 서비스를 창출할 수 있게 돕겠다"라고 말했다. 1ZB는 DVD 2500억개에 달하는 분량으로 실로 어마어마한 양이다. 지금까지 기업들은 하드 디스크에 적게는 수 테라바이트(TB)에서 페타바이트(PB)에 이르는 웹 로그 같은 데이터들을 쌓아두고 있었지만 제대로 활용하지 못했다. 전통적인 데이터 처리 방식인 데이터베이스(DB) 기반 처리로는 대량의 데이터를 사용자 다수가 동시에 처리해 정합성은 보장받을 수 있으나, 비용이 많이 들어가기...

HDFS

빅데이터 플랫폼, 표준은 '하둡'

"하둡 자체는 파일 시스템과 분산 처리 플랫폼이지만, 하둡을 중심으로 다양한 에코 시스템이 구축되면서 하둡은 빅데이터에 있어 산업계 표준이라고 할 수 있습니다." 국내 하둡 전문기업 그루터의 김형준 수석이 자신의 블로그를 통해 남긴 글이다. 그의 말처럼 하둡이 빅데이터 처리와 분석을 위한 플랫폼 시장에서 사실상 표준이 되고 있다. 국내외 빅데이터 컨퍼런스 관련 주제에서 하둡이 빅데이터 플랫폼에 빠지지 않고 거론되는 걸 보면 알 수 있다. 해외 '빅데이터 컨퍼런스', 국내 한국데이터베이스진흥원이 주관하는 '빅데이터 전문가로 가는 길', 국내 커뮤니티가 준비한 빅데이터 행사인 '빅데이터 오픈소스 플랫폼 기술세미나' 등 여러 행사에서 아파치 하둡과 다양한 NoSQL에 대한 기술 논의가 빠지지 않고 등장한다. 이유는 단순하다. 관계형 데이터베이스 관리 시스템(RDBMS) 기반의...

emc

IDC "하둡 시장, 매년 60%씩 성장"

하둡 관련 시장이 앞으로 어떻게 성장할 것인지 예측한 첫 보고서가 나왔다. 시장조사기관 IDC는 5월7일(현지기준) 하둡의 시장성을 판단하고 분석한 평가 보고서를 발표했다. IDC는 '하둡과 맵리듀스 생태계 소프트웨어 풍경 2012'라는 보고서를 통해 2011년 7700만달러 수준인 하둡과 맵리듀스과 관련 시장이 2016년이 되면 8월1280만달러에 이를 것으로 보인다고 분석했다. 매년 60% 넘게 성장하는 셈이다. 칼 오로프슨과 댄 배셋 IDC 애널리스트는 보고서를 통해 "이번 기회에 말로만 무성했던 하둡과 맵리듀스 시장의 실체와 가능성을 파악하고, 이들이 비구조화된 데이터로부터 기존에는 발견하지 못했던 새로운 가치를 만들어내고 있다는 사실을 깨닫게 됐다"라며 "지금까지는 하둡에 대한 개념 정리가 주를 이뤘다면, 2013년부터는 하둡을 통해 실제로 가치를 만들어 내는 방향으로 관련 시장이 발전할 것으로 보인다"라고...

그루터

[기고] 빅데이터란 무엇이고, 어떻게 해야 할까

'빅데이터'에 대한 관심이 그 어느 때보다 뜨겁습니다. 많은 시장조사기관과 수많은 외산 벤더들이 빅데이터에 대해 이야기를 하고 있습니다. 이야기는 많이 나오는데 '감'을 잡기 쉽지 않습니다. 기존 데이터들하고는 어떻게 다르고 이를 처리하기 위해서 어떻게 접근해야 될 지 걱정하는 분들이 많습니다. 이런 상황에서 그루터의 김형준(@babokim) 컨설턴트가 자신의 블로그에 ' 빅데이터란 무엇이고 어떻게 해야 할까?' 라는 글을 올렸습니다. 김형준 컨설턴트는 삼성SDS와 NHN을 거쳐 지금은 소셜 분석 서비스(www.searcus.com)와 빅데이터 인프라 컨설팅을 제공하는 그루터에서 클라우드 컴퓨팅 관련 컨설팅 업무를 맡고 있습니다. 그는 또 지난 5년 동안 하둡이나 NoSQL 같은 분산 컴퓨팅, 클라우드 컴퓨팅 분야를 연구하면서 실제 서비스에 적용하고 있다. 또 구글의 데이터 관리 시스템인 빅테이블(Bigtable)을 구현하고 있는 오픈소스...

emc

IBM, 하둡을 품다...대용량 정보분석 '빅인사이트' 출시

분석 시장에 막대한 투자를 단행하고 있는 IBM이 오픈소스 소프트웨어인 하둡(Hadoop)을 끌어 안았다. 관련 업계에서는 최근의 기술 발전 흐름상 피할 수 없는 선택이라고 밝히고 있다. IBM은 미국 라스베이스거스에서 진행되고 있는 IOD(Information On Demand) 행사에서 대량의 정보 분석을 위한 해법으로 '인포스피어 빅 인사이트(Bign Insights)'를 선보였다. 하둡이라는 걸출한 오픈소스 소프트웨어를 저장과 분석을 위한 큰 저장소로 사용하고 그동안 인수했던 코드너스와 SPSS와 같은 분석 솔루션을 결합해 비용 효율적으로 대용량 정보들을 처리, 분석할 수 있도록 하겠다는 전략이다. 하둡은 대표적인 오픈소스 커뮤니티인 아파치에서 진행하는 오픈소스 프로젝트로 2004년 구글이 맵리듀스(MapReduce)를 발표하면서 이와 유사한 컨셉으로 오픈소스 진영이 만들어낸 것이다. 이후 구글이나 야후, 페이스북, 마이스페이스 등 인터넷 서비스 업체들이 자사의...

IBM

떠오르는 엔터프라이즈 기술 10선⑤

한창 유행이 되고 있는 용어는 누구라도 알고 있다. 하지만 너무나 많기 때문에 거의 소음에 가깝다. 인포월드는 이런 소음 속에서 신호를 추출해 IT 전문가에게 가치있는 것들만을 분리해 내는 일에 착수했다. 분명 현재의 IT는 비용을 절감하고 사람들이 일하는 방법을 바꾸어 놓고 새로운 경지를 열어갈 잠재력을 가진 기술들이 넘쳐나는 시대이다. 하지만 분석가들이 떠들어 대는 수준 높은 트렌드에 휩쓸리지 않고 우리 자신에게 물어보자. 과연 어떤 엔터프라이즈 기술이 지금은 아니지만, 조만간 엄청난 반향을 불러올 것인가? 여기 소개하는 10가지 기술은 거품이 하나도 없는 실제 있는 그대로의 기술이다. 미리 밝혀두지만, 이 기술들을 선정하는 과정에는 인포월드의 테스트 센터 이상의 그 어떤 과학적인 방법도 사용하지 않았다. 이들 유망 엔터프라이즈...