• 미디어 >
  • 엔코아 리포트
Weekly Brief
[조회수 : 5449]  다운로드
DW 어플라이언스 도입 필요한가?

국내 DW 시장이 격동기를 맞이하고 있다. 최근 DW 시장의 가장 큰 화두는 전사적인 실시간 통합 DW의 구축과 DW 어플라이언스의 등장이다. 특히 하드웨어와 SW를 하나로 묶은 전용 어플라이언스 제품이 DW 시장의 최대 변수로 등장, 서버에 DW 엔진을 탑재하여 기존 DW 기술과 비교해 유용성 논란이 가열되고 있다. DW 어플라이언스는 폭발적인 데이터 양의 증가에 따른 효과적인 DW 구축을 위한 대안으로 제시되고 있어 높은 관심을 받고 있다. 

 

IT 시장 전문 분석 기업 가트너(Gartner)에 따르면 현재 전 세계 DW 어플라이언스 도입은 10% 정도지만 오는 2015년에는 50% 이상으로 늘어날 것이라 전망한 바 있다. DW 어플라이언스를 통해 얻을 수 있는 효과를 확인하게 되면서 앞으로 어플라이언스 도입 속도가 빨라질 것이라 예측한 것이다.

 

이번 엔코아 리포트에서는 최근 재조명되고 있는 DW 어플라이언스에 대해 알아보고자 한다.

 

1. DW 어플라이언스란?
DW어플라이언스는 데이터웨어하우징(데이터의 추출, 변환, 적재, 분석)을 위해 하나의 디바이스에 HW, DB, 스토리지를 통합해 일체형으로 구성하는 것을 의미하는 것으로서 2002년 네티자가 첫 제품을 출시하며 처음 사용했다.

 

그러나 시장에 등장한 첫 번째 DW 어플라이언스는 1983년에 테라데이터가 출시한 DBC/1012 모델 1이다. 당시에는 어플라이언스 개념이 없었고 심지어 DW라는 용어가 나오기도 전이었지만, 가트너는 이 제품이 DW 어플라이언스의 효시라고 설명한다. 현재의 DW어플라이언스 정의를 충족시킨다는 것이다.

 

가트너에 따르면 DW 어플라이언스는 사전 패키징 혹은 사전에 구성된 HW와 SW, 서비스와 유지보수를 총체적으로 제공해야 한다. 서버, 메모리, 스토리지, I/O 채널 등 HW 요소와 운용체계(OS), DBMS와 관리 SW 등 SW 요소들이 사전에 구성되고, DW 플랫폼으로서 요구되는 고가용성을 만족시킬 수 있도록 이중화 구성을 제공해야 한다.

 

또한 원시 데이터(추출괸 데이터의 소스 시스템)의 총 용량을 기준으로 해야 한다. 가트너에 따르면 DW에 저장될 원시 데이터의 용량을 기준으로 가격이 매겨져야 하며, 서버나 스토리지 등 HW  기준이어서는 안 된다. 그리고 DW 어플라이언스의 가장 중요한 핵심 요소는 사용자가 임의로 어플라이언스의 구성을 변경할 수 없다는 것이다.

 

2. DW 어플라이언스에 대한 오해
수 년이 지났지만 DW 어플라이언스에 대한 이해는 여전히 부족하다. 가트너는 DW 어플라이언스의 개념과 비용, 기술에 대한 우려를 대표적인 오해로 꼽고 있으며 DW 어플라이언스는 충분히 성숙된 기술이라고 소개하고 있다. 가트너가 말하는 DW 어플라이언스에 대한 오해 4가지를 소개한다.

 

1) DW 어플라이언스는 단지 서버에 DW 소프트웨어를 설치한 것이다?
DW는 DW 어플라이언스 혹은 하드웨어에서 운영되는 DBMS 이상의 것이다. DW 어플라이언스를 설치하면 DW용 DBMS는 이 어플라이언스 내부에서 운영되지만 기업의 DW 모델, 스키마 혹은 데이터는 DW 어플라이언스 내에 있지 않다.

 

일부 DW 어플라이언스 업체에서는 논리적 데이터 모델을 어플라이언스 내에서 제공하기도 하지만 이것이 기업의 EDW 요구 사항을 모두 충족시킬 수는 없다. 나아가 데이터는 논리적 데이터 모델의 일부가 아니며, 데이터는 여전히 DW 내로 불러들여져야 한다. 데이터통합(DI) 솔루션과 함께 DW 어플라이언스가 공급, 설치되는 경우에도 기업은 DW 스키마와 데이터를 사용할 수 있도록 구현 작업을 거쳐야 한다.

 

DW 어플라이언스는 DW 아키텍처 설계를 확실히 단순화시켜준다. 그러나 DW 모델링을 하거나 논리적 데이터 모델을 수정하고 데이터 통합 템플릿을 만들며 데이터를 로딩하는 작업은 여전히 사용자의 몫이다. DW 어플라이언스를 사용한다고 해도 고품질 데이터와 DW 모델링은 여전히 필요하다. 다만 DW 어플라이언스를 이용하면 DW를 다른 제품으로 교체할 경우에도 마이그레이션 위험과 프로젝트 기간, 투입 리소스를 줄일 수 있다.

 

2) DW 어플라이언스는 아직 미숙하다?
네티자, 테라데이타 등이 DW 어플라이언스를 내놓고 영업을 시작한 지 몇 년째 되었음에도 국내 DW 어플라이언스 도입 사례는 그리 많지 않다. 가트너는 현재 DW 어플라이언스를 내놓고 있는 공급업체와 제품 수만으로도 DW 어플라이언스 기술 수준에 대한 우려는 기우라고 주장한다. 새롭게 진출하는 신규 업체라고 할지라도 표준, 특히 하드웨어 콤포넌트들은 개방형 표준을 채택하고 있기 때문이다.

 

DW 어플라이언스의 하드웨어 플랫폼 대부분은 개방형 표준의 상용 컴포넌트들로 구성된다. 하드웨어에서 오는 문제는 없거나 극히 미미하다는 것이 가트너의 견해로, 가트너는 전통적인 DW 구현 방식보다 오히려 위험이 줄어든다고 보고 있다.

 

물론 새로운 DBMS 소프트웨어에 기반한 어플라이언스는 위험이 잠재돼 있을 수 있다. 그렇다고 하더라도 이미 충분히 성숙된 기술의 시장 검증을 마친 DBMS에 기반한 DW 어플라이언스들이 많이 나와 있다.

 

3) DW 구성 인증이면 다 해결된다?

구성 인증(certified configuration)은 검증된 환경 설정이라고도 불린다. 가트너는 TB급 대용량 DW를 구현하는 기업들이 인증 혹은 검증 획득이라는 모호한 용어에 과도하게 의지한다고 지적하고 있다.


구성 인증은 하드웨어와 소프트웨어를 결합해 단일 시스템으로 구현하는 DW 어플라이언스를 평가하는 몇 가지 항목 중 하나일 뿐이다. 부가적인 혜택은 DW 구현을 위한 튜닝 툴로서 사용할 수 있다는 것이며, DW 성능 목표에 따라 DW 어플라이언스를 선택, 구현하는 데 참고할 요소 중 하나다.

 

가트너는 단일 서비스 지원을 DW 어플라이언스 요건 중 하나로 보고 있기 때문에 이를 충족시키지 못할 경우 구성 인증은 그리 큰 의미가 없는 것으로 여기고 있다. 게다가 기업이 DW 어플라이언스 업체가 제안한 사전 구성을 일부 혹은 전부 변경할 경우 구성 인증은 소용이 없을 수 있다. 또한 구성 인증이 서비스수준계약(SLA)에서 정한 서비스 수준을 보장해주는 것도 아니다.

 

4) DW 어플라이언스는 비싸다?

가트너는 많은 DW 어플라이언스 제안서를 검토한 결과 이 주장에 동의할 수 없다고 밝히고 있다. 가트너에 따르면 이는 DW 어플라이언스를 DW 소프트웨어+서버 시스템으로만 여길 때 생기는 오해다.

 

전통적인 DW를 구축할 때 소요되는 추가적인 자원들, 즉 DW 아키텍처 설계, 구성(configuration), 설치와 디버그 작업 등에 투입되는 인적, 물적 자원을 고려하면 이러한 작업에서 해방시켜주는 DW 어플라이언스의 가격은 높은 것이 아니다. 특히 DW용 DBMS를 최적화하는 작업에서 해방될 수 있다는 점에 주목해야 한다. 목표한 성능치에 부합하도록 DBMS를 최적화하는 데에는 상당한 노력과 시간이 투입되며, 이 작업을 없애는 것만으로도 기업은 DW 구축 비용을 줄일 수 있다. 전통적인 DW 아키텍처에서 모든 항목을 반영해 비용을 분석해본다면 어플라이언스는 DW 소프트웨어와 하드웨어를 각각 별도 구매해 기업이 자체 구축할 때보다 오히려 저렴하다고 설명한다.

 

3. DW 어플라이언스의 재조명
최근 한국 IDG가 국내 IT 전문가 및 관련 담당자 1005명을 대상으로 ‘DW 운영실태와 기업 빅데이터 인프라 전략’에 관해 조사한 결과에 따르면 기존 DW 운영의 가장 큰 문제점으로 전체 응답자 중 66.1%가 데이터 급증에 따른 고가의 증설 비용과 기존에 담지 못했던 데이터 수용에 대한 비즈니스 요구를 꼽았으며, 이런 문제를 해결하기 위한 고려사항에 대해서는 대용량 원본 데이터의 수용 및 분석 역량(37.6%)과 투자 비용 절감(36.5%)을 선택한 것으로 나타났다.

 

이처럼 폭발적인 데이터 급증과 복잡한 워크 로드를 해결하기 위한 대안으로 DW 어플라이언스가 관심을 끌며, 지난 2010년부터 DW 사이즈가 수십, 수백 TB를 넘어가면서 빅데이터 이슈를 해결하기 위해 각종 DW 전용 장비 형태의 어플라이언스가 대거 등장하기 시작했다.

 

업계 전문가들은 DW 어플라이언스의 출현 배경이 기존 DW가 급변화하는 시장 요구에 부합하지 않아 그 동안 제대로 된 정보 분석을 하지 못했기 때문이라고 지적한다. 이는 서버와 스토리지 간에 나타나는 병목 현상으로 속도 저하가 DW의 가장 큰 기술 장벽으로 대두되었고 이러한 기술적 이슈를 해결하기 위해 업체들이 서버와 스토리지 간의 데이터 대역폭을 높일 수 있는 일체형 제품 출시에 관심을 쏟게 됐다는 것이다.

 

DW 업체들이 대용량 데이터 관리 및 속도 향상을 해결하기 위한 방법으로 확장성에 있어 많은 제약이 따르는 스케일 업 방식의 대칭형 다중 처리(Symmetric Multi Processing: 이하 SMP) 대신 스케일 아웃 방식의 대용량 병렬 처리(Massively Parallel Processing: 이하 MPP)을 대안으로 내세웠다. 앞서 몇 년간 일련의 기업 인수 합병을 통해 DW 업체들이 MPP 지원 흐름을 형성시켰다.

 

테라데이타와 파엑셀같은 DW 어플라이언스 전문 업체 뿐아니라, 네티자를 인수한 IBM과 버티카를 인수한 HP 그리고 그린플럼을 인수한 EMC와 데이탈레그로를 인수한 마이크로소프트(MS) 등을 찾아볼 수 있다.

 

여기서 MPP와 SMP는 데이터를 처리하는 방법론의 차이를 말한다. SMP가 커다란 덩어리의 데이터를 혼자서 연산한다면, MPP는 빠른 네트위크를 이용해 여러 대의 컴퓨터에 데이터를 나눠주고 연산을 시킨 다음 다시 모아서 결과를 확인하는 형태로서 '가용성'과 '확장성'에 뛰어나다.

 

이 같은 방식이 기존 SMP 아키텍처의 한계를 대신할 것이라는 것인데 현재 초병렬 아키텍처에 기반한 DW 제품을 주력으로 내세우는 업체들은 그린플럼, 네티자, 테라데이타, 오라클 등이 대표적이다. 그린플럼, 네티자 등의 전문 업체들은 다양한 업체의 x86/64계열 서버를 MPP 시스템으로 구성하여 최적화된 DW 플랫폼의 형태로 제공할 수 있는 '개방성'을 강점으로 영업을 전개했다. 또한 그동안 EDW 형태의 어플라이언스 제품만 공급해 왔던 테라데이타 역시 제품 라인업을 다양화하고 있다.

 

특히 이 시장에서 후발주자인 오라클과 IBM은 어플라이언스 분야에서의 기술적 우위를 확신하고 있다. 오라클은 엑사데이타가 독자적인 인텔리전스 쿼리 기능을 포함, DW 및 OLTP를 지원하고 뛰어난 데이터 처리 속도를 장점으로 부각시켰다. 또한 IBM의 경우, 전용 어플라이언스 제품인 ISAS의 'TPC공인성능치'를 보유하고 있다는 점을 내세우고 있다. TPC는 대용량 데이터를 얼마나 신속하게 처리, 비용을 절감할 수 있느냐를 테스트를 통해 증명해 주는 수치다.

 

실제로 DW 어플라이언스를 도입해 차세대 시스템을 추진한 금융, 통신 업계들은 전용 어플라이언스를 통해 약 30% 이상의 총소유비용(TCO) 절감과 자원 사용이 효율적으로 가능해졌다. 이는 DW 어플라이언스가 스토리지 단에서 쿼리 프로세싱이 이뤄져 서버로의 데이터 이동을 현격히 줄이는 것은 물론, 인텔리전스 쿼리 기능을 통해 속도를 향상시키고 DW와 온라인 트랜잭션 프로세싱(OLTP)을 동시에 지원하기 때문에 가능한 것이다.

 

이처럼 DW 어플라이언스는 기존 상용 DW에 비해 좋은 성능을 제공하는 것은 분명하다. 그러나 폭증하는 정형 데이터뿐만 아니라 비정형 데이터를 분석하려는 현업 사용자들의 요구를 충족시키기 위한 DW 어플라이언스는 저장 용량이 증가할수록 소프트웨어 라이선스 및 유지보수 비용 또한 증가하는 단점을 갖고 있다. 또한 대부분의 기업들은 차세대 DW를 구축하는데 투자할 수 있는 예산이 한정적이기 때문에 이같은 비용이 부담스러울 수 밖에 없다.

 

따라서 시장에서 DW 어플라이언스의 반응이 미비하여 시장이 본격적으로 개화되기까지는 시간이 필요하겠지만, DW에 대한 고객들의 요구가 달라지고 있다는 점은 분명해 보인다.

 

한편으로는 DW 어플라이언스에 대한 관심이 급증하고 있는 것은 마케팅이 만들어낸 것이라며 하드웨어 사업 부문이 정체되어 있던 경쟁 업체들이 소프트웨어와 함께 하드웨어 관련 수익도 만들어내기 위해서 찾은 돌파구로서 굳이 DW 어플라이언스를 도입할 필요가 없다는 주장도 있다.

 

예를 들면 국내 금융권 시스템은 크게 기간계와 정보계로 구분되는데, 기간계는 솔루션 도입전 고객이 사용하는 시스템으로 메인 프레임을 주로 일컫는 반면, 정보계는 은행의 거래 기록과 통계를 관리하는 시스템이다. DW는 바로 이 정보계 시스템의 중심으로 데이터의 접근성과 속도를 중요시 한다.

 

기존 정보계 시스템 구축은 기업이 원하는 DBMS 솔루션을 선택한 뒤 이 솔루션이 잘 돌아가는 DW를 찾아 결합하는 형태였다. 따라서 고객들은 한 업체에게 종속당할 필요가 없으며, 회사에 맞는 합리적인 비용과 전략에 따라 제품을 구매하면 됐다.

그러나 최근 2~3년 들어 오라클, IBM 등이 DW 어플라이언스를 과대 포장한 영업 전략으로 고객들은 DW 어플라이언스 제품에 관심을 가지게 됐고, 어플라이언스 형태로 구매하면 비용이 절감되고 솔루션이 최적화되어 운영될 수 있으며 유지 보수도 더 편리해진다는 말에 현혹된 것이라고 주장했다.

 

이처럼 어플라이언스 형태로 제품을 구입하게 되면 기업들의 선택은 제한될 수 밖에 없다. 매년 들어가는 유지보수 비용, 업그레이드 할 때마다 지불해야 하는 비용 등을 고려하면 DW 어플라이언스의 비용 절감 효과도 장담하기는 어렵다. 뿐만 아니라 운영자 입장에서는 어플라이언스 제품이 관리하기 편리하지만 자사 서비스의 맞게 최적화하거나 주기적으로 업그레이드를 전체적으로 시행해야 한다는 점 등이 오히려 어플라이언스의 단점으로 작용할 수도 있다. 또한 DW 어플라이언스 형태로 구축할 경우 한 기업의 제품으로만 도입이 되면서 내부 엔지니어가 살펴보지 못하는 부분이 발생할 수도 있다. 노드와 쿼리간 관계가 어떻게 구성되어 있는지 파악이 안되기 때문에 기업들의 벤더 의존도가 높아질 우려도 있다. 

 

결론 및 시사점
가트너 보고서에 따르면 약 70% 정도의 DW 구축사가 다양한 성능상의 이슈를 겪고 있다고 한다. 때문에 많은 DW 시장 기업들은 이러한 성능 이슈를 해결시켜 줄 핵심 대안으로 떠오르고 있는 DW 어플라이언스 개발에 더욱 박차를 가할 것이며 이와 관련된 고객의 니즈 역시 기하급수적으로 커질 것으로 예상했다.

 

따라서 어플라이언스 접근의 보편화 역시 DW 시장의 큰 흐름 중 하나가 될 것이며, 앞으로 DW 어플라이언스 업체들은 경쟁에서 살아남기 위해서 단순한 어플라이언스 이상의 비전을 고객에게 제시해야 할 것이다.


 

다운로드>> EN-CORE_Report_2014.10.01.pdf

 

 

※ 다음 엔코아 리포트에서는 사물인터넷(IoT)과 데이터에 대해 연구한 자료를 공유하고자 한다.

목록