콘텐츠

arrow_downward최신기사

넷플릭스

넷플릭스, 데이터 처리 플랫폼 오픈소스로 공개

매 초마다 150만건에 이르는 이벤트 처리 발생, 하루에 발생하는 데이터 처리 기록, 로그 메시지, 사용자 활동기록, 시스템 작동 데이터가 800억개 이상. 미국 최대 동영상 스트리밍 서비스 업체 넷플릭스가 실시간으로 쏟아내는 데이터 트래픽이다. 무수하게 쏟아지는 데이터를 처리하기 위해 넷플릭스는 스스로 데이터 처리 플랫폼을 만들어 12월10일 오픈소스로 공개했다. 플랫폼 이름은 ‘수로’다. 수로는 분산된 애플리케이션 서버에서 일어나는 이벤트 데이터를 수집해 하둡과 같은 데이터 저장소에 보내주는 플랫폼이다. 넷플릭스는 아파치 척와에서 힌트를 얻어 수로를 개발했다. 아파치 척와는 분산돼 있는 서버에서 로그 데이터를 수집해 저장하고 분석하는 오픈소스 플랫폼이다. 수집된 로그 파일은 하둡 파일시스템에 저장되며, 저장된 데이터는 실시간으로 분석할 수 있다. 수로는 이 아파치 척와에 뿌리를 두고...

MapR

맵R, 아파치 하둡 배포판 출시

하둡 상용 솔루션 업체인 맵R테크놀로지가 10월28일부터 30일까지(현지기준) 뉴욕에서 열린 ‘스트라타 컨퍼런스 + 하둡 월드 2013’에서 아파치 하둡용 맵R 배포판을 발표했다. 맵R는 이번 배포판에 보안 인증과 권한부여 기능을 추가했다. 사용자는 이번 보안 기능을 이용해 하둡에 저장된 데이터 처리 과정에서 필요한 보안 요구와 규제에 쉽게 대응할 수 있게 됐다. 이번에 맵R가 선보인 하둡 배포판은 모든 클러스터에 걸쳐 서드파티 인프라에 대한 요구 없이 안전하게 데이터를 처리할 수 있게 도와준다. 맵R는 와이어-레벨 인증을 통해 테이블, 컬럼, 잡, 큐, 볼륨 등 데이터 처리를 위해 필요한 모든 접근과 제어를 보호한다. 예를 들어 파일 읽기나 쓰기, HBase 운영, 맵리듀스 업무는 물론 원격 프로시저 호출(RPC)을 포함하는 인프라-클러스터 노드-노드...

분석

테라데이타, '익스트림 데이터 플랫폼 1700' 출시

데이터 분석 솔루션 기업인 테라데이타가 10월 22일 대용량 데이터를 저장하고 처리할 수 있는 ‘테라데이타 익스트림 데이터 플랫폼 1700’을 출시했다. 이 플랫폼은 3개의 TB급 드라이브와 SQL 엔진을 이용해 빅데이터를 저장하고 처리한다. 기존 솔루션이 수만 달러를 들여 대용량 데이터를 처리하는 것과 달리 처리 비용이 저렴하다. 이 플랫폼은 TB급 압축 데이터당 2천달러만 내면 대용량 데이터를 처리할 수 있다. 가격에 비해 성능은 부족하지 않다. 테라데이타가 공개한 벤치마크 테스트 '테라소트' 결과, ‘테라데이타 익스트림 데이터 플랫폼’은 20초 내에 데이터 처리를 완료했으며, ‘하둡 클러스터’는 60초가 소요됐다. 테라데이타는 "최근 대용량 데이터 분석을 위한 SQL 엔진 세트들이 많이 소개되고 있으나, 성능, 보안, 완벽한 기능적 특성 등이 결여된 경우가 많다"라며 "테라데이타 익스트림 데이터 플랫폼은...

A.I

EC "도전, 슈퍼컴퓨터로 뇌 만들기"

사람의 뇌는 비밀 투성이다. 태어나는 순간부터 우리와 함께하지만, 정작 뇌가 어떻게 반응하고 활동하는지에 대해 정확하게 밝혀진 게 없다. 뇌는 많은 과학자들에게 탐구 대상이다. 최근 유럽위원회가 공식적으로 이 뇌를 가상 공간에서 구현해보겠다고 나섰다. 일명 '휴먼 브레인 프로젝트'로 2023년까지 슈퍼컴퓨터로 사람의 뇌를 구현해, 실제 사람이 생각하는 걸 그대로 반영하는 뇌 지도를 만들어보겠다는 기획이다. 실제 사람의 뇌를 해부해 전극을 꽂아 반응을 지켜보는겠다는 얘기가 아니다. 유럽위원회는 유럽연합 80개국이 참여해 약 11억9천만유로를 들여 순수하게 컴퓨터만으로 사람의 뇌와 똑같이 반응하는 프로젝트를 시작했다고 밝혔다. 이 프로젝트에는 북아메리카와 일본도 함께 참여한다. 이들은 대용량의 슈퍼컴퓨터를 이용해 뇌세포를 구현한 다음, 이런 뇌세포 1천억개를 모아 가상 뇌를 만든다는 계획이다. 지금까지 생물학적으로 뇌를 해부해 '들여다보는...

dw

줌인터넷이 빅데이터를 다루는 법

웹서비스는 가장 많은 데이터를 다루는 곳 중 하나다. 빅데이터 관련 기술이 구글, 페이스북, 트위터 같은 웹서비스 분야에서 많아 나온 건 우연이 아니다. 국내에서는 빅데이터를 다루는 업체를 꼽으라면 먼저 네이버와 다음 같은 인터넷 포털을 떠올린다. 검색엔진과 검색 서비스는 대량의 데이터를 수집, 저장하고 프로세싱한 뒤 텍스트마이닝이나 데이터마이닝을 거쳐 사용자가 원하는 검색 결과를 빠르게 제공할 수 있는 기술력을 갖춰야 하기 때문이다. 압축 프로그램 '알집'과 컴퓨터 백신 '알약'으로 잘 알려진 이스트소프트의 자회사 줌인터넷이 지난 2011년 개방형 포털을 표방하며 선보인 '줌닷컴'도 마찬가지다. 줌닷컴은 블로그, 뉴스, 지식, 이미지, 동영상 등 자체적으로 약 200테라바이트(TB)에 이르는 데이터를 저장하고 처리하는 기술을 갖추고 있다. 200TB는 일반적으로 MP3 음악파일 5천만개를 저장해 둘...

검색엔진

구글 "인공지능 검색엔진 개발중"

검색어를 입력하기도 전에 검색 의도를 파악해서 검색 결과를 알려준다. 사람의 생각을 읽는 검색엔진이 등장하는 것일까. 대용량 데이터를 다루고 처리하는 기술을 가진 구글에겐 멀지 않은 미래다. 테크크런치는 "최근 구글이 '사이버네틱 친구'라는, 언어를 이해하는 검색엔진을 만들고 있다"라고 전했다. 사이버네틱 친구는 검색자의 의도를 파악해 검색결과를 보여주는 기술로 지난해 12월17일 구글 엔지니어링 이사로 합류한 레이 커즈와일이 주도하고 있다. 커즈와일 이사는 기계학습과 언어처리 분야 전문가로 세계적으로 잘 알려진 인공지능 전문가이기도 하다. 그가 주도해서 검색엔진을 개발중이란 얘긴, 구글이 스스로 생각하고 판단하는 인공지능형 검색엔진을 만들고 있단 얘기로 이어진다. 이를 뒷받침하듯 최근 커즈와일 이사는 최근 싱귤래리티대학 나사 캠퍼스에서 열린 한 사교모임에서 "사이버네틱 친구는 검색자보다 더 검색의도를 잘 파악하는...