시간당 12억명이 넘는 사용자가 페이스북을 찾는다. 이들이 올리는 게시글과 사진의 데이터양은 수 테라바이트(TB)급. 단 한번의 클릭으로 원활한 서비스를 제공하려면 페이스북 운영자를 머리에 쥐가 날 테다. 어떻게 하면 장애 없이 페이스북을 운영할 수 있을까. 페이스북은 오픈소스로 문제 극복에 나섰다. 페이스북은 11월22일 블로그에 오픈소스 데이터베이스 ‘록스DB’를 소개했다. 락DB는 서버 PCI 슬롯에 장착되는 플래시카드 성능을 극대화한 키값 스토리지 라이브러리다. 플래시 스토리지에 빠른 읽기와 쓰기 능력을 활용한 오픈소스 데이터베이스란 얘기다. 페이스북 다루바 보타쿠을 데이터베이스 엔지니어는 “구글이 2년전 공개한 레벨DB에 기반해 록스DB를 개발하게 됐다”라며 "수많은 코어를 활용해 플래시카드의 초당 입출력(IOPS) 속도를 최대한 이끌어 빠르게 데이터를 처리할 수 있다”라고 설명했다. 전통적인 DB 구조에선 아무리 많은 CPU와...

오라클이 11월12일 '오라클 빅데이터 어플라이언스 X4-2'를 출시했다. 올해 초 빅데이터 어플라이언스 X3-2와 빅데이터커넥터를 출시한 지 1년도 채 지나지 않았는데 벌써 새로운 제품을 선보였다. 데이터베이스(DB) 시장에 이어 빅데이터 시장까지 접수하겠다는 오라클의 욕심이 엿보인다. 오라클은 지난 2011년 대용량 데이터 처리를 위해 하둡 상용 솔루션 업체 클라우데라와 손을 잡았다. 클라우데라의 하둡을 사용한 빅데이터 처리 기술을 염두에 둔 결정이었다. 협력의 결과는 이번에 새로 선보인 빅데이터 어플라이언스에 고스란히 녹아들었다. 빅데이터 어플라이언스 X4-2는 클라우데라 하둡 배포판(CDH)을 대용량 데이터 처리에 사용한다. 분석은 클라우데라의 데이터 분석도구인 ‘임팔라’와 HBASE가 맡는다. 오라클은 클라우데라 솔루션을 활용해 대용량 데이터를 관리한다. 클라우데라 백업과 장애 복구 솔루션, 클라우데라 내비게이터, 데이터 검색 기능을 활용했다. 오라클은 데이터...

고객 성향을 분석해 맞춤형 서비스를 제공할 수 있게 도와주고, 고객이 필요로 하는 자료를 즉각 제공해 줄 수 있는 서비스가 있으면 얼마나 좋을까. 기업내 마케팅 직원들이 고민하는 부분을 해결해주기 위해 IBM이 나섰다. IBM은 미국 테네시주 내슈빌에서 열리고 있는 'IBM 스마터 커머스 서밋 2013'에서 대용량 데이터를 분석해 마케팅 분야에 활용할 수 있는 '왓슨 인게이지먼트 어드바이저'를 발표했다. '왓슨 인게이지먼트 어드바이저'는 기업내 데이터를 분석해 영업 직원들이 신속하고 정확하게 자사 정보를 고객에게 전달할 수 있게 도와주는 서비스다. 영업이나 고객 대응 서비스 관련해 궁금한 것이 있을 때, 왓슨 인게이지먼트 어드바이저를 활용하면 관련 정보를 거의 실시간에 가깝게 확인한 다음 고객에게 전달할 수 있다. 기업용 지식인의 실시간 서비스라고 볼...

하둡 없이는 빅데이터 얘기를 꺼낼 수 없는 모양이다. 데이터베이스(DB)와 데이터웨어하우스(DW) 업체가 하둡 끌어안기에 나선 가운데 인텔도 빅데이터 사업 강화를 위해 아파치 하둡을 품었다. 인텔은 2월26일 싱가포르에서 개최하는 '인텔 아태지역 빅데이터 런치' 행사에서 대용량 데이터 처리를 돕는 '인텔 아파치 하둡(인텔 배포판)' 소프트웨어를 선보였다. 프로세서부터 안정적으로 대용량 데이터 처리를 돕겠다는 전략이다. 제이슨 페더 인텔 APAC&중국 데이터센터 그룹 제너럴 매니저는 "이번에 출시한 인텔 아파치 하둡엔 하둡분산파일시스템(HDFS), 하둡 프로세싱 프레임워크, 하이브, H베이스 등이 포함돼 있다"라며 "여기에 더해 인텔 제온 프로세서 안에 인텔 AES-IN을 탑재해, 하둡 분산 파일시스템과 실리콘 기반 암호화 지원을 통합해 성능 저하 없이 안전하게 데이터 세트 분석을 할 수 있는 게 특징"이라고 설명했다. 하둡은...

오라클이 실시간 빅데이터 워크로드를 위한 높은 확장성, 낮은 지연성을 주무기로 한 오라클 NoSQL 데이터베이스 2.0을 출시했다. 대용량 데이터 처리를 위해 NoSQL이 주목받고 있는 가운데 마냥 MySQL만 고집할 순 없다고 느낀 모양이다. 웹로그, 소셜네트워크, 모바일 애플리케이션 등에서 생성되는 대용량 데이터의 증가 추세도 오라클의 NoSQL DB 출시에 한몫했다. 실제로 IBM과 마이크로소프트도 대용량 데이터 처리를 위해 속속 NoSQL을 품고 있는 추세다. 바이시나비 사시칸스 오라클 개발 담당 부사장은 "오라클은 데이터 관리의 모든 측면을 포함해 지속적으로 자사의 기술 포트폴리오를 통해 혁신을 주도하고 있다"라며 "오라클 NoSQL DB 2.0은 기업 애플리케이션과 고객 사이에 중요한 실시간 상호작용을 가능케 하는 최종사용자 환경 인프라를 개발자들에게 제공한다"라고 출시 배경을 설명했다. 이번에 오라클이...

"근데 빅데이터가 도대체 뭐야? 요즘 여기저기 나오는데 뭔지 모르겠어." 빅데이터를 외치는 곳이 많다. 이젠 웹툰에서도 '빅데이터' 관련 소재가 등장할 정도다. 곽백수 작가는 네이버웹툰에 1월14일자로 올린 '가우스전자'편에서 빅데이터를 다루면서, 직장인들이 빅데이터에 대해 어떻게 생각하는지 간접적으로 다뤘다. 곽백수 작가가 빅데이터 전문가인지는 중요하지 않다. 그가 그림으로 표현한, 빅데이터에 대한 인식에 주목하자. 곽 작가는 빅데이터에 대해 "보고서를 통과시켜주는 마법의 키워드"라며 "얼마전까지 보고서에 소셜 안붙으면 통과 안됐잖아요"라고 묘사했다. IT업계 관계자들이 최근 빅데이터 붐에 대해서 외치는 말과 크게 다르지 않아 더 와닿는다. ▲'트라우마'로 잘 알려진 곽백수 작가는 현재 네이버에 '가우스전자' 웹툰을 연재 중이다. 그는 "평소의 IT쪽에 관심이 많았다"라며 "어렸을 때 컴퓨터 잡지를 읽는 등 컴퓨터 1세대로서...

검색어를 입력하기도 전에 검색 의도를 파악해서 검색 결과를 알려준다. 사람의 생각을 읽는 검색엔진이 등장하는 것일까. 대용량 데이터를 다루고 처리하는 기술을 가진 구글에겐 멀지 않은 미래다. 테크크런치는 "최근 구글이 '사이버네틱 친구'라는, 언어를 이해하는 검색엔진을 만들고 있다"라고 전했다. 사이버네틱 친구는 검색자의 의도를 파악해 검색결과를 보여주는 기술로 지난해 12월17일 구글 엔지니어링 이사로 합류한 레이 커즈와일이 주도하고 있다. 커즈와일 이사는 기계학습과 언어처리 분야 전문가로 세계적으로 잘 알려진 인공지능 전문가이기도 하다. 그가 주도해서 검색엔진을 개발중이란 얘긴, 구글이 스스로 생각하고 판단하는 인공지능형 검색엔진을 만들고 있단 얘기로 이어진다. 이를 뒷받침하듯 최근 커즈와일 이사는 최근 싱귤래리티대학 나사 캠퍼스에서 열린 한 사교모임에서 "사이버네틱 친구는 검색자보다 더 검색의도를 잘 파악하는...

최근 유행하고 있는 대용량 데이터(Big Data)의 개념은 비즈니스 기회를 창출하기 위해 페이스북과 트위터에 포스팅되는 비정형 정보까지 포함한 모든 것으로부터 지식을 수집하는 것을 의미한다. 그러나 이러한 개념에는 정확히 누가 모든 이런 데이터를 소유하고 있는가라는 문제를 제기할 수 있다는 위험도 존재한다. 기가옴(GigaOm)의 데릭 해리스 애널리스트는 “대용량 데이터”라는 용어에 대해 약간 오해의 소지가 있다. 현재 논의되는 대용량 데이터의 원천은 소셜 네트워크와 휴대폰 등이라고 설명했다. 그는 이어 대용량 데이터에 대한 IT와 경영 부서들의 관심으로 인해 “대용량 데이터는 이제야 활용될 수 있게 되었다”라며 이제 갓 본질적으로 대용량 데이터를 분석할 수 있게 된 상황이라고 말했다. 모질라의 크라스챤 헤일만 개발자는 “지금까지는 인간 게놈 정보 분석 혹은 정부...