소사이어티

사람들

arrow_downward최신기사

ASF

[IT열쇳말] 아파치소프트웨어재단

아파치소프트웨어재단(Apache Software Foundation, ASF)은 다양한 오픈소스 프로젝트를 지원하고 관리하는 비영리재단이다. 자유소프트웨어재단(Free Software Foundation, FSF)과 함께 오픈소스 문화를 꽃피운 대표 단체로 꼽힌다. ASF에서 관리하는 오픈소스 소프트웨어는 누구나 참여할 수 있는 동시에 ‘아파치 방식(Apache Way)’이라는 독특한 문화 아래에서 관리된다. 아파치 웹서버에서 물꼬 튼 비영리단체 ASF는 1999년 설립된 미국의 공식 비영리단체다. ASF 설립에 참여한 이들은 이미 1995년부터 1999년까지 ‘아파치그룹’이란 이름으로 활동했으며, 당시 ‘아파치 HTTPD 웹서버’를 개발하는 데 힘쓰고 있었다. 아파치 웹서버는 누구나 무료로 사용할 수 있고, 소스코드를 수정하고 재배포할 수 있는 서버였다. 동시에 지속적인 유지보수도 필요했다. 당시 브라이언 벨렌도프라는 개발자는 보다 체계적으로 아파치 웹서버 기술을 개선하고자 메일링 리스트를 만들었고, 이후 많은 기여자가 협업하면서...

데이터 노트북

제플린 프로젝트, 아파치재단 톱레벨 프로젝트로 승격

아파치소프트웨어재단은 '아파치 제플린’이 아파치 인큐베이터 프로그램(Apache Incubator)에서 졸업해 '톱레벨 프로젝트'(Top-Level Project, TLP)로 승격됐다고 5월25일 발표했다. TLP란 프로젝트의 개발자, 사용자 커뮤니티가 아파치의 원칙과 프로세스에 의해 잘 진행되고 있음을 공식적으로 인정하는 것이다. 아파치 제플린은 한국의 빅데이터 기업인 엔에프랩스에서 2013년부터 시작한 프로젝트로, 2014년12월 아파치 인큐베이터 프로그램에 편입됐다. 제플린은 데이터 분석하고, 코드를 작성하고, 분석 결과 및 시각화 내용들을 정리해주는 데 특화돼 있다. 데이터과학자나 데이터 분석 작업을 해야 하는 개발자들이 주로 사용하며, 제플린을 사용해 분석용 코드나 쿼리 결과들을 보다 쉽게 정리할 수 있다. 데이터 분석 결과를 공유하는 협업 도구로도 제플린이 많이 쓰인다. 이문수 아파치 제플린 프로젝트 부의장은 “전 세계 118명의 기여자들이 제플린을 만들고 있으며, 수많은...

IBM

IBM, 스트리밍 데이터 분석도구 '쿼크' 오픈소스로 공개

IBM이 2월17일 사물인터넷(IoT) 개발도구 '쿼크'를 오픈소스로 공개했다. 쿼크는 사물인터넷 분석에 쓸 수 있는 개발도구다. 사물인터넷 기술에선 다양한 기기들에 퍼져 있는 데이터를 중앙 시스템으로 가져온다. 이때 데이터를 송·수신하는 과정에선 비용과 시간이 많이 든다. 쿼크는 수집한 데이터를 일괄적으로 중앙 시스템에 전송하거나 받지 않는다. 중앙 시스템이 아닌 기기 내부에서 데이터를 바로 분석해 이상 징후 및 의미있는 사건을 감지한다. IBM은 이를 통해 분석 성능이나 효율성을 높일 수 있다고 설명한다. IBM은 "쿼크를 이용하면 굳이 모든 네트워크에 있는 센서값을 보낼 필요가 없다"라며 "평범한 99% 데이터는 그대로 두고, 1%의 독특한 데이터를 발견해 전송할 수 있다"라고 설명했다. IoT 시스템에 연결된 기기 자체를 더 똑똑하게 만들 때도 쿼크를 이용할 수 있다. 예를...

BB

[BB-0328] 소니, e잉크 태블릿 '디지털 페이퍼' 공개

소니, e잉크 태블릿 '디지털 페이퍼' 공개 소니가 독특한 제품을 공개했습니다. 이름은 ‘디지털 페이퍼’. 역할은 태블릿 PC입니다. 화면 크기가 무려 13.3인치입니다. 보통 노트북 수준입니다. 하지만 두께는 6.8mm, 무게는 불과 358g에 지나지 않습니다. 전자책 단말기에서 자주 볼 수 있는 e잉크를 쓰는 태블릿PC인 덕분입니다. 화면 해상도 1600×1200에 이르는 e잉크 태블릿 PC입니다. 소니는 이 제품이 사용자의 업무 효율성을 높여줄 것이라고 광고하고 있는데, 엔가젯은 '세상에서 가장 지루한 제품’이라고 농을 건냈습니다. [Sony] MS, '아이패드용 MS 오피스' 출시 마이크로소프트가 현지시각으로 3월27일, 아이패드용 오피스 제품군을 공개했습니다. 너무 늦은 감이 있지만, 그래도 MS는 아이패드용 오피스로 1년에 8억달러 이상의 수익을 기대하고 있습니다. 아이패드용 오피스는 앱스토어에서 무료로 내려받을 수 있지만, 쓰려면...

넷플릭스

넷플릭스, 데이터 처리 플랫폼 오픈소스로 공개

매 초마다 150만건에 이르는 이벤트 처리 발생, 하루에 발생하는 데이터 처리 기록, 로그 메시지, 사용자 활동기록, 시스템 작동 데이터가 800억개 이상. 미국 최대 동영상 스트리밍 서비스 업체 넷플릭스가 실시간으로 쏟아내는 데이터 트래픽이다. 무수하게 쏟아지는 데이터를 처리하기 위해 넷플릭스는 스스로 데이터 처리 플랫폼을 만들어 12월10일 오픈소스로 공개했다. 플랫폼 이름은 ‘수로’다. 수로는 분산된 애플리케이션 서버에서 일어나는 이벤트 데이터를 수집해 하둡과 같은 데이터 저장소에 보내주는 플랫폼이다. 넷플릭스는 아파치 척와에서 힌트를 얻어 수로를 개발했다. 아파치 척와는 분산돼 있는 서버에서 로그 데이터를 수집해 저장하고 분석하는 오픈소스 플랫폼이다. 수집된 로그 파일은 하둡 파일시스템에 저장되며, 저장된 데이터는 실시간으로 분석할 수 있다. 수로는 이 아파치 척와에 뿌리를 두고...

dw

아파치 '타조0.2' 공개

오픈소스 빅데이터 웨어하우스 솔루션 '타조0.2'가 11월26일 공개됐다. 첫 공식 배포판이다. 타조는 하둡에 저장된 대용량 데이터를 SQL 질의를 이용해 분석하는 SQL온하둡 계열의 솔루션이다. 대규모 배치 작업과 실시간 상호 분석에 모두 사용할 수 있다. 이번에 출시된 타조0.2는 하이브가 사용하는 느린 속도의 맵리듀스 대신 자체 분산 처리 엔진을 사용해, 각 노드와 디스크 간 부하와 성능차이를 고려해 동적으로 작업을 할당할 수 있게 됐다. 또 질의 실행 중 수집한 통계 정보를 이용해 이후 실행 계획을 동적으로 최적화할 수 있는 데이터베이스 분야 고급 성능 향상 기법을 적용해 성능을 끌어올렸다. 현재 빅데이터 웨어하우스 솔루션 시장에는 아파치 하이브를 비롯해 클라우데라 ‘임팔라', 호튼웍스 ‘스팅거’, 아파치 ‘드릴’, EMC ‘호크(HAWQ)’, 페이스북...

MapR

맵R, 아파치 하둡 배포판 출시

하둡 상용 솔루션 업체인 맵R테크놀로지가 10월28일부터 30일까지(현지기준) 뉴욕에서 열린 ‘스트라타 컨퍼런스 + 하둡 월드 2013’에서 아파치 하둡용 맵R 배포판을 발표했다. 맵R는 이번 배포판에 보안 인증과 권한부여 기능을 추가했다. 사용자는 이번 보안 기능을 이용해 하둡에 저장된 데이터 처리 과정에서 필요한 보안 요구와 규제에 쉽게 대응할 수 있게 됐다. 이번에 맵R가 선보인 하둡 배포판은 모든 클러스터에 걸쳐 서드파티 인프라에 대한 요구 없이 안전하게 데이터를 처리할 수 있게 도와준다. 맵R는 와이어-레벨 인증을 통해 테이블, 컬럼, 잡, 큐, 볼륨 등 데이터 처리를 위해 필요한 모든 접근과 제어를 보호한다. 예를 들어 파일 읽기나 쓰기, HBase 운영, 맵리듀스 업무는 물론 원격 프로시저 호출(RPC)을 포함하는 인프라-클러스터 노드-노드...

emc

'아파치 하둡'과 손 잡은 기업들

'아파치 하둡'은 오픈소스 검색 라이브러리인 아파치 루씬의 창시자인 더그 커팅이 구글의 파일 시스템 논문 공개 후 개발한 오픈소스 프로젝트다. 지난 2004년 구글은 대용량 데이터를 처리할 수 있는 구글 파일시스템 기술을 발표했는데, 이를 오픈소스 진영이 유사한 컨셉으로 만들어내면서 '아파치 하둡'이 생겨났다. 하둡은 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템과 데이터를 분산시켜 처리한 뒤 하나로 합치는 기술인 맵리듀스를 구현한 오픈소스 프레임워크를 일컫는다. 하둡 프레임워크를 이용하면 대용량 데이터를 저렴하면서도 빠르게 분석할 수 있다.  기존에 슈퍼컴퓨터를 며칠씩 돌려야 했던 데이터를 하둡을 이용하면 x86 서버로 실시간 분석이 가능졌다고 할까. DB·DW 업계는 앞다퉈 하둡과 손을 잡았고, 하둡은 빅데이터 처리와 분석을 위한 플랫폼 시장에서 사실상 표준이...

emc

[말말말] EMC "빅데이터 두려워 말라"

지난 2일 싱가폴에서 열린 ‘휴먼 페이스 오브 빅데이터’ 행사는 짧고 빨랐지만, 일관되게 빅데이터의 당위성에 대한 메시지를 이끌어냈다. 직접적으로 명확한 답이 눈 앞에 펼쳐지지는 않았지만 자연이, 도시가, 인간이 만들어내는 신호에 귀를 기울이고 그 안에서 정보를 꺼내는 사례와 고민들을 나누었다. 하지만 여전히 빅데이터는 논란의 여지가 많다. 그 효용성부터 정보의 권력화, 데이터의 잡음, 심지어 빅데이터의 중심에 서 있는 하둡 자체도 이야기거리가 된다. 그만큼 범위나 가능성이 큰 것이 빅데이터다. 이번 행사는 빅데이터를 어떻게 쓸 것인가에 대한 이야기에서 시작됐지만 EMC가 생각하는 빅데이터에 대한 이야기도 궁금했다. 직접적인 인터뷰 시간이 충분히 허락되지 않았지만 EMC와 그린플럼이 빅데이터를 다루고 시장을 만드는 이야기를 짧게나마 들어 봤다. ▲스티브 레너드 EMC 수석...

Hive

VM웨어 "하둡도 가상화로"

VM웨어가 본격적으로 하둡 끌어앉기에 나섰다. 지난해 2월 분산처리기술 하둡과 자바 프레임워크 스프링을 통합하는 '스프링 하둡' 프로젝트를 시작하더니, 가상화와 클라우드에 최적화된 하둡을 만들겠다고 도전장을 내밀었다. VM웨어는 6월13일 아파치 하둡 커뮤니티와 손잡고 새로운 오픈소스 프로젝트인 '세렝게티'를 시작하겠다고 밝혔다. 세렝게티는 기업들이 가상화나 클라우드 환경에서도 아파치 하둡을 배포하고 관리할 수 있게 도와준다. 가상화와 클라우드를 고려한 최초의 오픈소스 하둡 프로젝트다. 세렝게티 프로젝트는 아파치2.0 라이선스 조건으로 무료로 내려받을 수 있으며, 단 한번의 구동으로 기업이 활용할 수 있는 아파치 하이브(Hive)나, 피그(Pig) 같은 하둡 구성요소를 만들 수 있다. VM웨어가 v스피어 플랫폼을 활용해 아파치 하둡 클러스터를 몇 분만에 설치할 수 있게 만든 '원클릭 툴킷' 덕이다. 제레 첸 VM웨어 클라우드 겸 응용서비스...