데이터는 늘어나고, 동일한 데이터는 기업 내 이곳 저곳에 복제돼 있어서 또 스토리지 장비를 구매해야 하는 악순환에 빠진 기업들은 최근 데이터중복제거 기술에 주목하고 있다. 초기엔 고가용성을 위해 원본을 손상시키지 않고 데이터를 중복시켜 배포할까 고민했다면 이제는 이렇게 복제된 중복 데이터들을 어떻게 효과적으로 제거할지 딜레마에 빠진 것이다.
권오규 컴볼트코리아 지사장은 이번 기고문을 통해 “기존의 데이터를 어떻게 관리함으로써 효율성을 극대화할 것인지 고민하는 것도 매우 중요하다. 데이터중복제거는 이런 고민을 해결해 줄 수 있는 몇 안 되는 기능 중에 하나라고 보여진다”라고 밝혔다.
최근 경제 위기와 맞물려 많은 기업들이 효과적으로 비용을 절감할 수 있는 방법 찾기에 몰두하고 있다. 대부분의 기업들은 특정 솔루션이나 인프라를 축소를 통해 단기적인 비용 절감을 꾀하는 방법에서 한 단계 나아가, 비록 솔루션 교체나 도입으로 인해 추가 비용이 들어가더라도 장기적으로 비용 절감의 효과를 발휘하는 것들에 주목하고 있다.
이러한 기업의 요구가 활발하게 반영되고 있는 곳이 바로 데이터 관리 분야가 아닐까 싶다. 과거 기업들은 데이터 관리 비용의 규모를 인식하지 못했다. 하지만, 데이터가 폭발적으로 증가하고 이를 감당하기 위해 스토리지가 꾸준히 추가되자 효과적인 데이터 관리 솔루션을 도입하고자 많은 기업들이 노력하고 있다.
백업, 복구, 아카이빙 등 효과적인 데이터 관리 솔루션이 갖추어야 할 요소들은 많다. 하지만 최근 이 중에서도 주목 받는 기능이 있으니 바로 데이터중복제거(Deduplication)이다.
데이터중복제거에 대해서 설명하기에 앞서 기업이 운용하고 있는 스토리지를 한 번 생각해보자. 스토리지는 하루에도 엄청난 분량의 데이터를 저장하고 관리한다. 그런데, 이 엄청난 분량을 자세히 들여다보면 중복되는 데이터가 생각보다 많다는 것을 알 수 있다.
예를 들어, A라는 데이터가 인사부서에서도 사용되고 회계부서에서도 사용된다고 가정해보자. 인사부서는 A를 인사부서 관련 스토리지에 사본을 저장할 것이고, 회계부서는 또 회계부서대로 회계부서 관련 스토리지에 사본을 저장할 것이다.
즉, A라는 데이터는 원본을 포함 총 3개가 스토리지에 존재하게 되는 것이다. 이런 중복되는 데이터가 엄청나게 많은 공간을 차지하고 있다는 사실을 알고 있는가? 최근 조사에 따르면, 기업은 중복된 데이터로 인해 그들이 실제로 필요로 하는 스토리지의 2배에서 50배까지 추가 구매해서 사용하고 있다고 한다. 이것만 보더라도, 데이터중복제거 솔루션의 도입은 비용절감을 위해 반드시 필요하다는 것을 알 수 있을 것이다.
그렇다면, 효과적인 데이터중복제거 솔루션을 선택하기 위해서 피해야 할 것들은 무엇일까? 우선, 효과적인 데이터중복제거 솔루션은 분리된 제품으로 존재해서는 안 된다. 효과적인 데이터중복제거를 위해서는 전체적인 데이터 관리 솔루션과 스토리지 전략을 고려, 다른 데이터 관리 기능들과 유기적으로 운영될 수 있도록 구축되어야만 한다.
특히, 애플리케이션 기반의 데이터중복제거 솔루션을 이용, 중복되는 데이터를 발견하고 삭제하는 것은 매우 많은 비용이 들어간다. 전체적인 데이터 시스템에 대한 배경 지식 없이 데이터중복제거를 진행하는 것은 자칫하면 기업의 데이터 전체에 영향을 미칠 수도 있다.
두 번째로는 효과적인 데이터중복제거 솔루션은 관리가 쉬워야 한다는 것이다. 오늘날 많은 데이터중복제거 솔루션들이 자체적인 기준에 의해 업무의 흐름을 움직인다. 한 예로, 테이프-투-테이프와 같은 업무와 관련해서 데이터중복제거 어플라이언스로부터 자료를 이동하는 것은 거의 불가능하다고 보면 된다. 이 때문에 기업이 네트워크 최적화로부터 혜택을 받기 위해서는, 지사에 새로운 하드웨어나 소프트웨어가 필요하다.
이처럼 많은 데이터중복제거 솔루션이 하드웨어와 소프트웨어의 통합을 요구하거나, 새로운 독립 어플라이언스를 통해 전체를 관리하는 방법을 채택하고 있다. 이런 방식은 기존의 시스템 이외에도 추가적인 관리가 필요하기 때문에, 효율성을 현저하게 떨어뜨린다.
마지막으로 효과적인 데이터중복제거 솔루션이라면 반드시 유연해야만 한다. 스토리지에는 데이터 사본, 아카이빙 등의 다양한 계층이 있다. 많은 데이터중복제거 솔루션들은 이런 다양한 계층의 특정 부분만 지원한다. 이러한 데이터중복제거 솔루션은 데이터중복제거 기능을 통해 기업이 장기적으로 절감할 수 있는 부분을 축소시키는 부작용을 가지고 온다.
이러한 데이터중복제거의 필수 요소를 모두 포함하는 가장 좋은 방법은 단일 플랫폼 기반의 솔루션을 구축하는 것이다. 즉, 백업, 아카이빙, 복구, 데이터중복제거 등이 하나의 플랫폼에서 이루어진다면 위에서 언급한 문제들을 대부분 해결할 수 있고, 궁극적으로는 효과적인 비용 절감이 가능하다.
늘어나는 데이터를 어떻게 관리할 것인지에 대해 고민하는 것도 물론 중요하겠지만, 기존의 데이터를 어떻게 관리함으로써 효율성을 극대화할 것인지 고민하는 것도 매우 중요하다. 데이터중복제거는 이런 고민을 해결해 줄 수 있는 몇 안 되는 기능 중에 하나라고 보여진다.
효과적인 데이터중복제거 솔루션을 선택을 통해, 많은 기업들이 현명하게 경제 위기를 극복할 것을 기대해본다.
- 컴볼트 코리아 권오규 지사장 d.kwon@commvault.com
