소사이어티

사람들

arrow_downward최신기사

ASF

[IT열쇳말] 아파치소프트웨어재단

아파치소프트웨어재단(Apache Software Foundation, ASF)은 다양한 오픈소스 프로젝트를 지원하고 관리하는 비영리재단이다. 자유소프트웨어재단(Free Software Foundation, FSF)과 함께 오픈소스 문화를 꽃피운 대표 단체로 꼽힌다. ASF에서 관리하는 오픈소스 소프트웨어는 누구나 참여할 수 있는 동시에 ‘아파치 방식(Apache Way)’이라는 독특한 문화 아래에서 관리된다. 아파치 웹서버에서 물꼬 튼 비영리단체 ASF는 1999년 설립된 미국의 공식 비영리단체다. ASF 설립에 참여한 이들은 이미 1995년부터 1999년까지 ‘아파치그룹’이란 이름으로 활동했으며, 당시 ‘아파치 HTTPD 웹서버’를 개발하는 데 힘쓰고 있었다. 아파치 웹서버는 누구나 무료로 사용할 수 있고, 소스코드를 수정하고 재배포할 수 있는 서버였다. 동시에 지속적인 유지보수도 필요했다. 당시 브라이언 벨렌도프라는 개발자는 보다 체계적으로 아파치 웹서버 기술을 개선하고자 메일링 리스트를 만들었고, 이후 많은 기여자가 협업하면서...

게임 플랫폼

게임빌·컴투스 통합 플랫폼 ‘하이브’ 시동

모바일게임 개발업체 게임빌과 컴투스가 게임 통합 플랫폼 ‘하이브(HIVE)’를 6월25일 처음으로 소개했다. 게임빌과 컴투스가 따로 운영해오던 게임 플랫폼을 하나로 합쳐 해외 모바일게임 시장에서 더 효율적인 사업을 꾸려 나가겠다는 게 두 업체의 의지다. 게임빌의 기존 플랫폼은 ‘서클’과 ‘라이브’다. 게임빌이 만든 게임에 모듈처럼 심고, 게임을 즐기는 이들을 하나로 묶어주는 역할을 했다. 서클은 게임과 게임 사이에서 유기적인 마케팅을, 라이브는 게이머와 게이머가 서로 소통할 수 있는 창구 기능을 담당했다. 컴투스의 ‘컴투스 허브’도 게임 통합 로그인 기능과 커뮤니티 기능을 포함한 다양한 플랫폼 역할을 했다. 김용훈 게임빌 홍보실장은 “두 업체가 그동안 해 왔던 것들을 통합해 우리가 강점이라고 생각해 온 유기적인 연동으로 해외 시장에 진출하는 것이 목표”라며 “비슷한...

dw

아파치 '타조0.2' 공개

오픈소스 빅데이터 웨어하우스 솔루션 '타조0.2'가 11월26일 공개됐다. 첫 공식 배포판이다. 타조는 하둡에 저장된 대용량 데이터를 SQL 질의를 이용해 분석하는 SQL온하둡 계열의 솔루션이다. 대규모 배치 작업과 실시간 상호 분석에 모두 사용할 수 있다. 이번에 출시된 타조0.2는 하이브가 사용하는 느린 속도의 맵리듀스 대신 자체 분산 처리 엔진을 사용해, 각 노드와 디스크 간 부하와 성능차이를 고려해 동적으로 작업을 할당할 수 있게 됐다. 또 질의 실행 중 수집한 통계 정보를 이용해 이후 실행 계획을 동적으로 최적화할 수 있는 데이터베이스 분야 고급 성능 향상 기법을 적용해 성능을 끌어올렸다. 현재 빅데이터 웨어하우스 솔루션 시장에는 아파치 하이브를 비롯해 클라우데라 ‘임팔라', 호튼웍스 ‘스팅거’, 아파치 ‘드릴’, EMC ‘호크(HAWQ)’, 페이스북...

sk텔레콤

SKT 빅데이터 분석, '타조'에 맡긴 까닭

SK텔레콤이 자사 빅데이터 처리를 위해 오픈소스 'Tajo(타조)'를 올해 초 도입했다. 타조는 국내 고려대학교 연구진이 빅데이터 분석을 위해 만든 오픈소스 빅데이터 분석 쿼리 엔진이다. 타조를 이용하면 하둡에 저장된 데이터를 SQL 언어로 빠르게 조회하고 분석할 수 있다. SK텔레콤은 국내 빅데이터 플랫폼 업체 그루터와 함께 기존 타조를 자사 시스템에 맞게 손질해 적용했다. SK텔레콤은 초창기 빅데이터 분석을 위해 다양한 오픈소스 솔루션을 도입했다. 하둡을 이용해 전체 데이터를 수집하고, R과 파이썬으로 분석했다. 복잡한 데이터는 데이터베이스(DB)를 활용했다. 서비스마다 별도의 인프라를 사용하고 분석했다. 처음엔 문제가 없었다. 그러나 데이터가 늘어나면서 SK텔레콤은 어려움을 겪었다. 다양한 종류의 오픈소스 SW가 빅데이터 분석에 활용되면서 시스템이 멈추는 일이 발생했다. 서비스마다 따로 사용되는 빅데이터 기술을 관리하는 일도...

대용량 데이터

인텔, '인텔 아파치 하둡' 출시

하둡 없이는 빅데이터 얘기를 꺼낼 수 없는 모양이다. 데이터베이스(DB)와 데이터웨어하우스(DW) 업체가 하둡 끌어안기에 나선 가운데 인텔도 빅데이터 사업 강화를 위해 아파치 하둡을 품었다. 인텔은 2월26일 싱가포르에서 개최하는 '인텔 아태지역 빅데이터 런치' 행사에서 대용량 데이터 처리를 돕는 '인텔 아파치 하둡(인텔 배포판)' 소프트웨어를 선보였다. 프로세서부터 안정적으로 대용량 데이터 처리를 돕겠다는 전략이다. 제이슨 페더 인텔 APAC&중국 데이터센터 그룹 제너럴 매니저는 "이번에 출시한 인텔 아파치 하둡엔 하둡분산파일시스템(HDFS), 하둡 프로세싱 프레임워크, 하이브, H베이스 등이 포함돼 있다"라며 "여기에 더해 인텔 제온 프로세서 안에 인텔 AES-IN을 탑재해, 하둡 분산 파일시스템과 실리콘 기반 암호화 지원을 통합해 성능 저하 없이 안전하게 데이터 세트 분석을 할 수 있는 게 특징"이라고 설명했다. 하둡은...

dw

줌인터넷이 빅데이터를 다루는 법

웹서비스는 가장 많은 데이터를 다루는 곳 중 하나다. 빅데이터 관련 기술이 구글, 페이스북, 트위터 같은 웹서비스 분야에서 많아 나온 건 우연이 아니다. 국내에서는 빅데이터를 다루는 업체를 꼽으라면 먼저 네이버와 다음 같은 인터넷 포털을 떠올린다. 검색엔진과 검색 서비스는 대량의 데이터를 수집, 저장하고 프로세싱한 뒤 텍스트마이닝이나 데이터마이닝을 거쳐 사용자가 원하는 검색 결과를 빠르게 제공할 수 있는 기술력을 갖춰야 하기 때문이다. 압축 프로그램 '알집'과 컴퓨터 백신 '알약'으로 잘 알려진 이스트소프트의 자회사 줌인터넷이 지난 2011년 개방형 포털을 표방하며 선보인 '줌닷컴'도 마찬가지다. 줌닷컴은 블로그, 뉴스, 지식, 이미지, 동영상 등 자체적으로 약 200테라바이트(TB)에 이르는 데이터를 저장하고 처리하는 기술을 갖추고 있다. 200TB는 일반적으로 MP3 음악파일 5천만개를 저장해 둘...

dw

그루터 "제대로 된 빅데이터 도입할 때"

올 한해 업계 최대 화두를 꼽으라면 당연 빅데이터다. 다양한 분야에서 무수하게 쏟아지는 빅데이터를 어떻게 처리하고 분석하냐에 따라 기업의 미래가 달라질 수 있다는 얘기가 나올 정도다. 이 과정에서 빅데이터를 효율적으로 처리하는 기술인 하둡도 떴다. 해외에선 야후, 페이스북, 트위터, 구글 등 유명 기업들은 대용량 데이터를 분산 처리할 수 있는 하둡 솔루션을 도입하는 등 빅데이터 시대를 준비하고 있다. 클라우데라, 호튼웍스 등 하둡 솔루션 업체는 벤처캐피털로부터 투자를 받으며 데이터 처리 기술력을 키워나가고 있다. 국내 사정은 어떨까. 아쉽게도 빅데이터 처리의 표준으로 자리잡았다는 하둡을 얘기하는 곳은 손에 꼽을 정도다. 대부분 오라클, IBM, SAP 등 외국계 기업의 데이터웨어하우스(DW) 솔루션을 도입했다거나 구축했다는 사례만 들릴 뿐이다. 이러다가 국내에선 외산 DW 중심의...

그루터

"빅데이터도 이젠 서비스 시대"

서비스로 빅데이터 시장에 뛰어든 업체가 등장했다. '빅데이터 플랫폼 구축 못지않게 빅데이터를 잘 운영할 수 있게 도와주는 도구도 중요하다'는 게 이들의 주장이다. 하둡 사용자 인터페이스(UI)인 '플라밍고 하둡 매니저'를 개발한 클라우다인과 어니컴 얘기다. 김병곤 클라우다인 대표는 "데이터웨어하우스(DW)와 비즈니스 인텔리전스(BI) 솔루션으로 데이터를 다루는 사람들에게 하루 아침에 빅데이터를 다루라면서 하둡을 건네주면, 누구나 당황할 것"이라며 "하둡을 몰라도 하둡 기술로 빅데이터를 다룰 수 있게 도와주는 도구와 서비스가 빅데이터 시장에 필요하다"고 설명했다. 빅데이터에 대한 기업의 관심은 그 어느때보다 높다. 빅데이터 분석을 통한 고객 맞춤형 서비스를 제공하겠다는 기업이 늘어나고 있고, 빅데이터 처리를 위해 하둡을 활용한 데이터 처리 플랫폼을 만들었다는 기업도 등장했다. 그러나 일부일 뿐이다. 여전히 대다수의 기업 마케팅 담당자들을 빅데이터를 통해 무엇을...

SK플래닛

SK플래닛 "빅데이터 분석, 하둡이 해법"

T스토어 웹사이트 화면 오른쪽 아래엔 '앱코디'라는 사용자별 응용프로그램(앱) 추천서비스가 자리잡고 있다. 앱코디는 사용자 계정을 바탕으로 구매 이력을 분석해 사용자 성향과 연관도 높은 앱을 추천해주는 서비스다. 나와 비슷한 구매 이력을 가진 사용자들을 분석해 이들이 구매한 앱 중 내가 구매하지 않은 앱이나, 나와 비슷한 앱 취향을 가진 사용자들이 가장 많이 내려받은 앱을 찾아 보여준다. 이 같은 서비스를 제공하기 위해 SK플래닛은 2006(당시 SK텔레콤)부터 인프라 개발을 준비했다. 모바일 데이터를 비롯한 각종 데이터를 분석하기 위해서다. SK플래닛에서 데이터 분석 관련 업무를 맡은 이준섭 팀장은 데이터 분석 초창기 시절만 해도 테라바이트(TB)급 단위의 데이터를 처리하기 위해 30억원이 넘는 SAN 스토리지를 샀다고 설명했다. "10억원이나 들여 서버를 사고 여기에 더해...

EMR

KT 유클라우드, 빅데이터 분석 서비스 출시

KT가 자사 클라우드 서비스인 유클라우드를 이용해 대용량 데이터를 손쉽게 처리하고 분석할 수 있게 돕겠다고 나섰다. 클라우드 서버에 하둡과 같은 빅데이터 플랫폼을 얹은 '유클라우드 비즈 맵리듀스'로 말이다. 이정석 KT클라우드추진본부 상무는 "기업이 관리해야 할 데이터 정보의 단위가 제타바이트(ZB)까지 확장되고 있다"라며 "맵리듀스 서비스 출시로 기업들이 다양한 분야에서 빅데이터 분석을 통해 새로운 서비스를 창출할 수 있게 돕겠다"라고 말했다. 1ZB는 DVD 2500억개에 달하는 분량으로 실로 어마어마한 양이다. 지금까지 기업들은 하드 디스크에 적게는 수 테라바이트(TB)에서 페타바이트(PB)에 이르는 웹 로그 같은 데이터들을 쌓아두고 있었지만 제대로 활용하지 못했다. 전통적인 데이터 처리 방식인 데이터베이스(DB) 기반 처리로는 대량의 데이터를 사용자 다수가 동시에 처리해 정합성은 보장받을 수 있으나, 비용이 많이 들어가기...