빅데이터 특징, 빅데이터 분석과 활용사례, 지식탐색법

빅데이터 특징, 빅데이터 분석과 활용사례, 지식탐색법

1. 빅테이터란?

빅데이터 활용은 다양한 형태 데이터를 수집,처리, 저장하여 목적에 맞게 분석해필요한 정보나 지식을 추출해 활용하는 것을 말한다. 빅데이터는 정보기술의 발전에 따른 컴퓨터활용 확대로 인해 많은 정보가 급격하게 확산되는 환경의 변화, IoT 확산에 따른 센서 데이터 증대로 출현하게 되었다. 외부데이터까지 활용하며 비정형 데이터까지 활용하는 것, 급격하게 데이터 양이 늘어났다는 것이 기존의 데이터 분석과 차이점이며, 빅데이터로 기계로 귀납적으로 학습하여 인공지능을 구축할 수 있다. 기존 데이터를 기반으로 결론을 내리기 때문에 의사결정의 질이 높아지며 효율적으로 운영을 할 수 있다. 또한 데이터를 기반으로 새로운 비즈니스와 같은 가치를 창출할 수 있다. 빅데이터의 주요 특징은 아래와 같이 정리할 수 있다.

1) 기술적요소

데이터 수집: 정형데이터(고객데이터, 거래데이터), 비정형데이터(텍스트,동영상,음성,센서,GPS,SNS 등)

데이터 처리, 데이터 분석 기술

2) 전략적 요소

빅데이터 분석과 활용 기획 (실제 상황에 활용, 적용), 활용 시나리오 도출

3) 인적 요소

전문 인력(CDO, Data Scientist), 전문조직(빅데이터 센터), 교육관리

출처: 게티이미지뱅크

2. 빅데이터 분석 과정

확인 -수집 -저장 -처리 -분석 -표현

데이터를 확인한 후 여러 데이터 소스로부터 필요한 데이터를 검색, 수집한다. 정제된 데이터를 확보하고 웹크롤링, ETL을 통해 데이터를 수집한다. 수집한 대용량의 정형,비정형 데이터를 저장하는 데이터 베이스가 필요하며, 데이터를 생성하고 통합적으로 다루는 기술인 처리과정(일괄처리, 실시간처리)을 거쳐 알려지지 않은 정보나 지식을 찾아낸다. 분석기법으로는 통계분석, 데이터마이닝, 텍스트마이닝, 소셜 네트워크 분석이 있다. 마지막으로 데이터로 분석한 결과를 쉽게 이해할 수 있도록 시각화를 시켜 데이터를 활용하게 된다.

3. 빅데이터 활용사례

빅데이터 분석 시나리오를 정하는 것이 중요하다. (어떤 데이터를 어떻게 모아 어떤 방법으로 분석하여 어떤 가치를 제공할 것이다.) 빅데이터를 활용한 사례를 알아보면 다음과 같다.

• 구글, 온라인 검색어 분석을 통한 예보 서비스
• SNS 활용한 흥행 수익 예측 (SNS 비정형 텍스트데이터 수집, 텍스트마이닝 분석, 의사결정에 도움주는 가치 제공)
• 빅데이터 분석을 통한 심야버스 노선 정책 지원 (빅데이터 분석을 통해 노선 최적화, 수익보장, 시민편익 가치 제공)
• 빅데이터 기반 고객의 소리 분석 시스템을 통해 서비스 혁신
• 데이터마이닝을 통해 신용평가시스템 구축

4. 지식탐색법

1. 연역적 접근(합리주의적)

관련 이론, 합리적 추론에 따라 필연적 결론을 이끌어내는 방법.

2. 귀납적 접근(경험주의적)

과거사례, 데이터분석, 관찰을 통해 일반적인 결론을 이끌어내는 방법.

-빅데이터는 귀납적 접근 지식추출 방법이다.