빅데이터 분석 기획 단계, 데이터 구분

빅데이터 분석 기획 단계, 데이터 구분

1. 빅데이터 분석 기획

분석기회 발굴 - 분석기회 구체화 - 마스터 플랜 수립

빅데이터 분석기획은 빅데이터를 기반으로 조직의 문제를 해결하기 위해 분석목표와 방법을 정의하고 계획을 수립하는 것을 말한다.

1) 분석기회 발굴

분석기회 발굴은 어떤 문제를 해결해야하는지 찾는 단계를 말한다. 왜 그 문제를 해결해야하는지 해결하는 것을 통해 어떤 목표를 달성할 수 있는지 기회를 찾는 단계이다. 분석기회를 발굴하는 방법은 전체과정을 본 후 분석을 해야하는 곳을 찾는 탑다운방식, 특정 업무를 정하여 흐름을 분석하여 기회를 발굴하는 바틈업방식, 성공사례를 벤치마킹하여 분석기회를 발굴하는 방식이 있다.

2) 분석기회 구체화

분석기회 구조화하고 분석방안을 구체화하여 활용시나리오를 정의하는 단계를 말한다. 분석기회 구조화는 분석자 역할과 의사결정 사항을 분석하여 목표로하는 것이 무엇인지 지표화하는 과정을 말한다. 그 후 의사결정 요소 모형화하여 각 요소의 관계를 도출하는 분석방안 구체화 과정을 거친다. 데이터 정의, 분석 경제성(ROI)을 평가하고 마지막으로 활용 시나리오를 정의한다. 활용시나리오 정의는 어떻게 활용되어 업무 개선할 수 있는지 명확하게 하는 단계를 말한다.

3) 마스터 플랜 수립

분석기회가 여러개이고 동시에 진행해야할 때 업무 우선순위를 정해야하므로 전략적 필요성에 의한 로드맵 수립이 필요하다. 먼저 전략적 중요도와 비즈니스 성과 등의 기준을 통해 우선순위 평가한다. 평가된 결과에 따라 단계적 구현을 한 후 최종적으로 반복적인 분석 과정을 고려하여 세부적으로 일정계획을 수립한다.

2. 데이터 구분

1) 형태에 따른 구분

정형데이터

• 고정된 필드에 저장된 데이터
• 스프레드시트, 테이블

비정형데이터

• 미리 정해져서 고정된 필드에 저장되어있지 않은 데이터
• 문서, 그림, 영상
• 일반문서-텍스트분석
• 센서데이터-센서부착 장치로부터 데이터 수집(CCTV 등), 패턴분석
• 사진-딥러닝을 통한 이미지 분석
• 각각 데이터에 맞는 수집, 처리 방법.
• 부정확한 데이터는 잘못된 데이터 분석결과 초래

2) 데이터소스 위치에 따른 구분

내부데이터

• 자체적 보유 내부 파일시스템, 데이터베이스 관리시스템 등
• 수집방법 ETL: 추출-조회가능 데이터로 변환-목표시스템으로 전송 및 적재

외부데이터

• 외부에서 생성된 데이터, 인터넷과 연결되어 외부에서 수집
• 수집방법 크롤링: 프로그래밍 언어를 통해 수집(C, Java)
• 웹크롤 소프트웨어이용 (Textom, KONAN , Social/Web Crawler)
• 수집 후에 전처리과정 필요

출처: www.qubole.com