소사이어티

사람들

arrow_downward최신기사

빅데이터

"인공지능에 미래 거는 기업, 설계 도입 모델 중요해"

“그렇다.” 망설임 없는 대답이 돌아왔다. 테라데이타에서 하둡 컨설팅 조직을 이끄는 팀 시어스 씽크빅 애널리틱스 매니징 파트너는 인공지능(AI)을 활용하는 일이 기업에 도움이 된다고 자신했다. 영화 '매트릭스'에서 엿볼 수 있는, 인공지능이 사람을 대신하고 오히려 사람을 착취한다는 등의 디스토피아는 단순한 기우라면서 말이다. 그는 인공지능이 인간의 삶의 도움을 주고, 이로 인해 선한 결과를 끌어낼 수 있다는데 확신을 보였다. “기술 발전이 이뤄지면 항상 고민하는 문제죠. 그러나 어두운점 말고 밝은점도 있습니다. 단순히 인공지능이 사람을 대신하기 때문에, 사람을 대체해 나간다는 생각보다는 좀 더 희망적인 부분을 보길 바랍니다. 산업혁명이 일어났을 때도 기기가 사람 노동력을 대신했습니다. 결과는요? 좀 더 재미있는, 덜 지루한 일에 사람이 투입됐지요. AI가 열어가는 미래는 분명...

ASF

[IT열쇳말] 아파치소프트웨어재단

아파치소프트웨어재단(Apache Software Foundation, ASF)은 다양한 오픈소스 프로젝트를 지원하고 관리하는 비영리재단이다. 자유소프트웨어재단(Free Software Foundation, FSF)과 함께 오픈소스 문화를 꽃피운 대표 단체로 꼽힌다. ASF에서 관리하는 오픈소스 소프트웨어는 누구나 참여할 수 있는 동시에 ‘아파치 방식(Apache Way)’이라는 독특한 문화 아래에서 관리된다. 아파치 웹서버에서 물꼬 튼 비영리단체 ASF는 1999년 설립된 미국의 공식 비영리단체다. ASF 설립에 참여한 이들은 이미 1995년부터 1999년까지 ‘아파치그룹’이란 이름으로 활동했으며, 당시 ‘아파치 HTTPD 웹서버’를 개발하는 데 힘쓰고 있었다. 아파치 웹서버는 누구나 무료로 사용할 수 있고, 소스코드를 수정하고 재배포할 수 있는 서버였다. 동시에 지속적인 유지보수도 필요했다. 당시 브라이언 벨렌도프라는 개발자는 보다 체계적으로 아파치 웹서버 기술을 개선하고자 메일링 리스트를 만들었고, 이후 많은 기여자가 협업하면서...

맵알

맵알, '아파치 스파크' 교육 과정 무료로 공개

맵알테크놀러지가 '아파치 스파크' 기술을 배울 수 있는 무료 온라인 수업을 공개했다. 맵알테크놀러지는 2015년 1월 무료 온라인 교육 플랫폼 '맵알 아카데미'를 만들고 하둡 교육을 확장하고 있다. 기존에는 하둡 중심 강의만 존재했지만 2월부터 아파치 스파크와 관련된 수업을 들을 수 있다. 먼저 '아파치 스파크 에센셜'이라는 수업이 개설됐다. 이 수업에선 빅데이터 애플리케이션 개발을 위한 아파치 스파크의 주요 장점을 알려준다. 수강생은 데이터를 로드하고 검사하기 위해 스파크 인터랙티브 셸(Interative Shell)을 사용한다. 또한 수강생들이 혼자 스파크 애플리케이션을 개발하고 출시할 수 있도록 다양한 스파크용 배포(deployment) 모드를 지원한다. 수강자들은 기본 실습을 통해 다양한 개발 상황을 경험하고 개념을 습득할 수 있다. 두번째로 '아파치 스파크 애플리케이션 개발 및 모니터'란 수업이 생겼다....

HAWQ

피보탈, 아파치재단에 분석엔진·머신러닝 기술 제공

피보탈이 고급 SQL 분석 기술인 ‘호크(HAWQ)’와 기계학습 기술 ‘매드립(MADlib)’을 아파치소프트웨어재단(ASF)에 제공한다고 10월5일 밝혔다. 호크는 병렬 처리에 최적화된 하둡 기반 분석 엔진이다. 피보탈은 호크를 ASF에 제공하고 데이터과학, 비즈니스 인텔리전스(BI), 데이터 웨어하우스 분야에서 보다 하둡이 많이 사용될 수 있도록 지원할 예정이다. 아파치 호크는 피보탈의 하둡 배포판, 호튼웍스 데이터 플랫폼(HDP)과 향후 출시 예정인 ODPi 코어에 기반한 하둡 클러스터에서도 사용할 수 있다. 매드립은 기계 학습 라이브러리로 대규모 예측 분석기술에서 활용된다. 피보탈, 캘리포니아대학교 버클리캠퍼스, 스탠포드대학교, 플로리다대학교 연구진 및 피보탈 고객들과 협력해 개발한 제품이다. 현재 금융, 자동차, 미디어, 통신 및 교통같은 산업군에서 매드립이 활용되고 있다. 매드립은 호크, 피보탈 그린플럼, 포스트그레SQL 등과 함께 이용할 수 있다. 피보탈은 향후 ASF를...

구글

구글, 스파크·하둡 관리 클라우드 서비스 공개

구글이 하둡과 스파크를 관리해주는 서비스 ‘클라우드 데이터프록’을 9월23일 공개했다. 클라우드 데이터프록은 매니지드 스파크 및 하둡 서비스다. 오픈소스 데이터 도구를 쉽게 이용할 수 있게 구성됐다. 사용자는 복잡한 초기 구축 과정 없이 배치 프로세싱, 쿼리 작업, 스트리밍 작업, 머신러닝 기술 등을 활용할 수 있다. 구글은 9월23일 공식 블로그를 통해 “클라우드 데이터프록의 자동화 기능으로 쉽게 클러스터를 생성하고 관리할 수 있다”라며 “필요없을 때 클러스터를 꺼놓으면서 비용을 절감할 수 있다”라고 설명했다. 클라우드 데이터프록 가격은 가상 CPU 한 대를 시간당 이용하는 기준으로 1센트다. 구글은 클라우드 데이터프록의 장점으로 빠른 속도를 강조했다. 구글은 “보통 스파크나 하둡 클러스터를 구축형 인프라 혹은 IaaS(Infrastruture as a Servie) 위에서 생성하면 5분에서 30분 정도의...

hbase

구글, 고성능 NoSQL DB 서비스 출시

구글이 5월6일 NoSQL DB 서비스 ‘클라우드 빅테이블’을 공개했다. 클라우드 빅테이블은 테라바이트에서 페타바이트 규모의 데이터를 처리할 수 있도록 성능과 보안성을 높인 서비스다. 구글은 “경쟁 기술인 HBase나 카산드라보다 성능은 2배 높으며, 지연시간은 한자릿수로 낮췄다”라고 설명했다. 클라우드 빅테이블은 구글 내부에서 실제로 사용하는 DB 기술이다. 구글은 2006년 분산형 DB 기술인 ‘빅테이블’ 논문을 공개했고, 이를 구글 애널리틱스와 구글 지도, G메일 같은 기술에 활용하고 있다. 아파치재단이 하둡 플랫폼을 위해 만든 오픈소스 비관계형 분산 DB HBase도 빅테이블을 참고해 만든 기술이다. 구글은 클라우드 빅테이블에 ‘아파치 HBase API’를 지원했기 때문에, 개발자들은 클라우드 빅테이블과 기존 하둡 시스템을 통합해 사용할 수 있다. 구글은 빅테이블과 비슷한 NoSQL 기술 ‘클라우드 데이터스토어’를 출시한 바...

김점배 맵알 코리아 지사장

맵알, 무료 온라인 하둡 강좌 오픈

맵알이 1월28일 무료 온라인 교육 플랫폼을 공개했다. 맵알은 이 플랫폼으로 대학생과 실무 관계자에게 하둡 교육을 확대해나갈 예정이다. 현재 맵알이 공개한 무료 하둡 교육은 3개다. ‘하둡 에센셜’, ‘하둡 운영: 클러스터 관리’, ‘하둡 애플리케이션 개발’이다. ‘하둡 에션셜’은 하둡에 관한 가장 기본적인 지식을 배우는 수업이다. 나머지 수업에선 관리 및 맵리듀스 등 심화 기술을 가르친다. 정덕원 맵알코리아 과장은 “하둡 에션셜은 대학생이나 하둡을 처음 접하는 실무자가 들으면 좋은 수업”이라며 “나머지 두 개 수업은 자바 지식이 있거나 리눅스, 네트워크 등에 대한 기본 지식이 있는 사람이 이해 할 수 있는 수업”이라고 설명했다. 이번에 공개되는 모든 수업은 맵알 직원이 직접 강의한다. 수업마다 동영상 강의, 퀴즈, 실습 과정 등을...

MapR

맵알, “하둡으로 규모·확장성 한꺼번에 잡자”

‘스키마에서 벗어나 더 많은 데이터를 빨리 처리하자.’ 최근 맵알테크놀로지가 집중하는 기술 방향이다. 하둡 기술이 점점 세분화되면서 기술 경쟁도 가속화되고 있다. 특히 최근 SQL을 하둡에서 쓰기 위한 ‘SQL온하둡’ 기술을 여러 빅데이터 업체나 오픈소스 커뮤니티가 내놓고 있다. 맵알도 최근 ‘아파치 드릴’이라는 오픈소스 기술을 내놓고 입지를 확장하고 있다. 맵알은 2014년 초 한국지사를 설립하고, 한국 고객을 잡기 위한 여러 노력을 기울이고 있다. 하둡은 오픈소스로 공개된 만큼 누구나 자체 개발 및 이용할 수 있지만, 맵알은 이를 기업에서 사용할 수 있도록 안정성을 보강해 제공하고 있다. 실제로 하둡 내부 구조가 복잡해, 자체 개발하기보다 맵알 같은 외부 전문 업체 기술력을 빌리는 업체들이 여럿 있다. 국내에선 전자회사, 보험회사, 연구소...

HD

인메모리 기술 품은 'MS SQL 서버 2014' 출시

한국마이크로소프트(이하 한국MS)가 4월16일 'SQL서버 2014'를 공식 출시했다. 새  SQL서버 2014는 인메모리 기술을 가장 앞세웠다. 김경윤 한국MS 상무는 "데이터 처리속도 늘리고 싶을 때 좋은 장비를 쓰는 방법도 있지만, 소프트웨어를 업데이트하는 방법도 있다"라며  "MS SQL서버 2014는 인메모리 기술을 사용하면서 기존에 짧게는 20분, 길게는 3박4일 걸렸던 데이터 처리를 1~2분 만에 할 수 있도록 도와줄 것"이라고 설명했다. 인메모리 기술은 많은 DB 업체들이 앞다퉈 내세우는 기술로, 디스크가 아닌 메모리에 데이터를 보유해 처리 속도를 빠르게 만들어 준다. ▲한국MS 서버 및 툴 사업부 총괄 김경윤 상무 한국MS 서버 및 툴 사업부 총괄 김경윤 상무는 "시장엔 이미 인메모리 데이터베이스가 많이 나왔지만 대부분 데이터웨어하우스에 많이 쓰이고, 조회 기능 등에 인메모리 기술이...