Vol.59 2019.09-10 엠로웹진
HOME | EMRO TOPIC | EMRO COLUMN

엠로 칼럼

데이터 분석 솔루션

데이터 분석은 분석 질문을 검증하기 위해 첫째, 데이터 준비한 후 둘째, 데이터를 분석하고, 셋째, 예측 모델을 생성하고 검증하여, 넷째, 시각화 하는 과정을 거친다. 데이터 분석 솔루션은 이 네가지 과정 - 데이터 준비, 분석, 예측, 시각화를 진행하며 중간에 사용하게 된다.

첫번째, 데이터 준비 단계에서는 데이터 정제 시에 거의 모든 형태의 DB에 접근 할 수 있는 입력모듈을 사용한다.
보통 데이터 분석에서(이 과정은 데이터 블랜딩이라고 한다) 여러 술을 섞어서 칵테일 만들듯이 고객이 가지고 있는 여러 DB를 가공하고 통합하여 원하는 형태로 만들어 내는 과정이 있다.

두번째, 데이터 분석 단계에서는 별도의 코딩으로 예측 및 분석이 가능한 환경을 구비한다.
마지막으로 예측 및 시각화 단계에서는 툴의 많은 기능들이 필요하다. 대부분 Tableau, Qlik 그리고 Power BI 등을 연계하여 데이터를 시각화 할 수 있으며, 결과값을 이미지, PDF, 오피스 파일 포멧으로 도출하여 타 사용자와 공유와 협업을 진행한다.
최근에 도로 교통 공사 컨설팅 프로젝트에서는 기준정보 데이터의 입력율을 시각화 하기 위해 Alteryx 라는 데이터 분석 툴을 컨설턴트 레벨에서 보조적으로 사용을 하였는데, 우리가 기존에 엑셀로 분석을 진행했던 작업들의 속도와 품질을 향상시킬 수 있었다.
먼저 엑셀 데이터의 블랜딩을 규격화 부분에서의 사용이 있었다. 데이터 업무 특성상 시스템 담당자로부터 전달받은 엑셀 데이터들을 각종 함수와 매크로를 이용해 블랜딩 해 왔었는데, 툴을 이용하여 전체 과정 중에 일부를 규격화하여, 작업 속도를 높일 수 있었다.
그리고 데이터 현황 분석 기능의 활용 또한 매우 컷다. 데이터 분석 가시화 단계까지 가는 과정은 어려웠지만, 고객과 함께 컨설팅 공감을 나눌 때 사용하는 분석 가시화 결과는 매우 만족스러워서, 타 프로젝트에서 사용할 수 있도록 본사 내부에서 추가로 기준정보 분석 차트 템플릿를 더 만들어 두기도 했다.

다만 단점으로는 외산 솔루션의 특성상 한글 지원이 잘 안되는 문제를 가지고 있어, 텍스트 유사도(Levenstein's Algorithm. ETC. )등의 기능을 사용시 한국어 데이터는 제약이 많이 발생했으며, 이런 사유로 기준정보 컨설팅 업무 진행 시 외산 툴을 주도적으로 사용하기에는 어려움이 많았다.

데이터 컨설팅 분석에 사용된 Alteryx는 캘리포니아 어바인에 있는 미국 컴퓨터 소프트웨어 회사로 데이터 과학 및 분석에 사용하는 소프트웨어를 만들고 있다. 이 회사에서 만든 소프트웨어는 불과 몇 년만에 SAP, SAS, MS와 경쟁하는 소프트웨어로 등극한다.


기능적으로 보자면 Pentaho나 Lavastorm , Datawatch 등 다른 분석 솔루션도 비슷한 기능들을 제공하고 있지만, 다들 Alteryx 만큼의 인기는 없다. 하지만 기능 외적인 면에서의 이런 솔루션들과 비교되는 가장 큰 특징이 있는데, 이 회사는 업체가 주도하는 갤러리 플랫폼을 운영한다.
대부분의 사람들이 잘 알고 있는 애플이라는 회사는 앱스토어를, 밸브 코퍼레이션은 스팀이라는 유명한 공유 마켓 플레이스를 운영한다. 사용자간 유료/무료로 컨텐츠를 판매 및 공유하는 플랫폼을 구축하여 운영하는 것이다.
이 회사 또한 마찬가지로 분석 갤러리라고 하는 플랫폼을 구축하였는데, 분석 갤러리는 여러 분석 컨텐츠들을 유료/무료로 공유하는 통합적인 마켓 플레이스와 환경을 제공하고 회사 차원에서 관리해 준다.
솔루션 사용자들은 약간의 공부만 한다면 누구나 마켓에 있는 걸 가져와 약간의 수정을 거쳐 내 것으로 바꾸어서 사용하거나 내가 만든 분석 내용을 다른 사용자에게 유로로 판매하여 수익을 얻을 수도 있다. 필요한 것은 솔루션 접근 이해도와 활용 테크닉뿐이다. Gallery 플랫폼은 이러한 간편한 접근과 활용성을 가지고 사용자 공유와 협업 편의성을 높이고 있다.
필자 또한 Gallery 플랫폼에서 여러 샘플들을 다운 받아서 다양한 분석 가시화 결과를 만들어 낼 수 있었다.

※분석 솔루션과 분석 갤러리의 운영 Agenda (출처 : Alteryx 홈페이지)

이런 공유 환경은 각 기업의 보안 환경에는 독이 될 수 있는 부분이 있지만, 컨설팅 실무 담당자에게는 매우 유용한 환경이 아닐까 한다.

우리가 솔루션을 공부할 때, 주로 솔루션의 기능 위주로 나의 Role 만큼만 공부하는 것이 일반적인 방법론이다. 하지만, 이렇게 가끔 먼 시각에서, 기능 외적인 부분의 큰 그림안에서 해외 솔루션들은 어떤 방향으로 가고 있는지, 우리의 작업 결과를 더 향상시킬 수 있는 방안이 무엇인지 고민해 보는 것도 우리에게 가끔 필요한 일이 아닐까 한다.