삼성SDS, 제조 공정에 ‘하둡’을 담다

가 +
가 -

반도체 제조 공정 중 발생하는 센서 데이터는 빅데이터의 대표 사례로 꼽힌다. 부품 제조를 위한 단위공정 설비에서 발생하는 센서데이터는 500~1천여개. 각 센서에서는 매 초마다 데이터가 발생한다. 반도체 제조 업체는 각 센서 데이터를 분석해 양품 반도체와 불량 반도체를 가른다.

처음에는 이같은 방식이 문제가 없었다. 발생한 센서 데이터를 관계형 데이터베이스(RDB)에 저장하고 분석하면 끝났다. 그러나 반도체 공정이 복잡해지고 센서 데이터가 늘어나면서 기존 RDB 방식으로 분석하는 데 한계가 왔다.

“센서 데이터가 500여만건을 넘어서자 분석 속도가 급격히 느려지더군요. 그렇다고 데이터가 늘어날 때마다 RDB를 추가할 수는 없고요. 하둡에 데이터를 저장해 병렬 분석 처리하는 게 낫겠다는 생각이 들었습니다.”

안대중 삼성SDS 수석이 하둡을 저장공간으로 활용한 이유는 간단하다. 데이터가 늘어날수록 속도가 떨어지는 RDB와 달리, 하둡은 저장하는 데이터가 늘어날수록 속도가 빨라졌기 때문이다. 3억건 이상의 데이터가 발생해도 원활하게 처리했다. 게다가 하둡은 x86과 같은 범용 서버에서도 원활하게 작동했다.

“비용과 속도 모두 고려했을 때, 센서 데이터를 하둡에 저장하는 게 훨씬 유리하더군요. 내친김에 저가의 대용량 데이터를 저장한 곳에서 분석까지 수행할 수 있다면 더 좋겠다는 생각이 들었습니다. 빅데이터 뒤에 수식처럼 따라다니는 단어가 ‘분석’이잖아요.”

samsung sds saf

삼성SDS는 이미 자회사 덕에 반도체 공정, 디스플레이, 용광로를 활용해 유리는 만드는 산업 등 설비 데이터를 분석할 수 있는 솔루션을 개발한 경험이 있다. 해당 솔루션에서 데이터 저장공간을 기존 RDB에서 하둡으로 바꾸기만 하면, 훨씬 저렴한 비용으로 데이터를 분석할 수 있다. 삼성SDS 내 직원들도 이와 같은 생각을 한 모양이다.

삼성SDS는 지난 6월말 하둡 기반의 분석・시각화 솔루션인 ‘스마트 애널리틱 파운데이션(SAF)’을 선보였다. SAF는 병렬적 통계분석 플랫폼이다. 하둡 위에 R, SAS, 애스터와 같은 분석 솔루션과 연동할 수 있는 플러그인을 얹었다. 설비데이터 분석을 위한 플랫폼은 삼성SDS가 독자적으로 개발했다. 빅데이터를 고속으로 연산처리하기 위한 하둡 맵리듀스 기반의 데이터 마이닝, 다중병렬처리 방식의 통계 기능 함수를 포함했다. 수율 불량 정보를 통해 불량 유형을 분류하고, 고급 통계 분석을 활용한 근원분석 기능도 제공한다.

“SAF 이용방법은 쉽습니다. 기업 내 데이터를 하둡에 저장하는 구조로 만들면 SAF가 알아서 하둡내 저장한 데이터를 실시간에 가깝게 분석합니다. 보통 하둡에 저장된 데이터를 3분 또는 5분 간격으로 배치 분석해 불량율을 파악합니다. 이 과정에서 엔지니어가 신경 쓸 일은 전혀 없습니다.”

안대중 수석은 SAF가 하둡을 저장공간으로 활용한 덕에 훨씬 더 많은 데이터를 분석할 수 있어 불량율을 줄일 수 있다고 설명했다. SAF는 센서 데이터를 초당 수집해 분석한다. 기존에는 1초마다 발생한 데이터를 1분 또는 3분마다 모아 평균을 낸 다음, 평균값을 1분 또는 3분마다 분석했다. 각 센서에서 발생한 데이터를 모두 수집해 분석하지 않았다. 특정 센서에서 불량값이 나와도 평균에 묻혀 감지 못할 수도 있었다는 얘기다.

“특히 제품 자체 집적도가 높아지면서 불량율을 잡아내기 힘들어지더군요. 민감하게 분석해야 불량율을 잡아낼 수 있습니다. 이 경우 초 단위 데이터까지 내려가 각 센서 데이터 패턴이 시간순으로 어떻게 변화하는지 가려내야 합니다.”

공정 과정에서 발생하는 모든 데이터를 수집해 처리할 수 있는 기술을 녹인 것까지는 좋았다. 발생한 데이터를 재빨리 분석해 불량인지 아닌지를 빨리 판단하는 작업이 남았다. 지금까지는 사람이 일일히 이 과정을 살폈다. 삼성SDS는 초 단위로 발생하는 센서 데이터의 패턴을 분석해 자동으로 불량 여부를 판단할 수 있는 기능을 SAF에 추가했다.

예를 들어 반도체 공정이라면, 불량이라고 판단하는 기준을 먼저 설정해 패턴화한다. 그 다음 수집되는 데이터를 불량 패턴 데이터와 비교 분석한다. SAF는 수집되는 데이터가 불량 패턴 데이터와 얼마나 차이가 나는지 비교 분석해 불량 여부를 판단한다. 걸리는 시간은 단 4초. 불량 여부는 바로 리포트로 확인할 수 있다. 사람이 중간에 수집된 데이터를 코딩해 따로 분석할 필요가 없다.

“SAF로 품질 분석을 자동화할 경우 기존 방법과 비교해 평균적으로 불량율을 분석하는 데 걸리는 시간이 240분에서 37분으로 6.5배 개선, 같은 시간 당 불량 분석처리 건수는 2건에서 13건으로 늘어납니다.”

삼성SDS는 현재 EMC의 그린플럼HD를 활용해 SAF를 운영하고 있다. 향후 테라데이타 에스터 플랫폼과 협력해 서비스할 방침이다.