[빅데이터 분석 기사] 데이터 유형 및 속성 파악, 데이터 수집 및 전환(2)
1. 데이터 유형 및 속성 파악 1.1 데이터 수집 세부 계획 작성 -데이터 선정 이후 데이터 유형, 위치, 데이터 저장방식, 데이터 수집 기술, 데이터의 보안사항 등 구체적으로 작성하는 활동. -데이터 유형, 위치, 크기, 보관방식, 수집주기, 확보비용 등을 조사하여 세부 계획서 작성. 1.2 데이터 유형과 위치 및 비용 -데이터 유형: 정형, 반정형, 비정형으로 나뉨. -데이터 위치: 수집 데이터 원천에 따라 내부데이터와 외부데이터로 구분 -데이터 확보 비용: 비용 산정시 데이터 크기, 수집 주기, 수집 기술, 수집 방식, 대상 데이터의 가치 고려. 유형 특징 종류 정형데이터 정형화된 스키마를 가진 데이터 RDB, File 반정형데이터 메타구조를 가지는 데이터 HTML, XML, JSON, RSS, ..
2024. 3. 20.
[빅데이터 분석 기사] 데이터 유형 별 데이터 수집 방법! 데이터 수집 및 전환 (1)
1. 데이터 수집 데이터 처리 시스템에 들어갈 데이터를 모으는 과정 여러 장소에 있는 데이터를 한 곳으로 모으는 것. -비즈니스 도메인정보: 비즈니스 모델, 비즈니스 용어집, 비즈니스 프로세스로부터 관련 정보 습득, 도메인 전문가 인터뷰를 통해 데이터 종류, 유형 특징 정보 습득 -원천데이터 정보: 데이터 분석에 필요한 원천데이터의 수집 가능성, 데이터의 보안, 정확성탐색, 데이터 수집 난이도, 수집 비용 등 기초자료 수집. 1.1 내 외부 데이터 -내부데이터: 조직 내부 서비스 시스템, 네트워크, 서버장비, 마케팅 관련 시스템으로부터 생성되는 데이터 ->실시간 수집하여 분석 -외부데이터: 다양한 소셜 데이터, 특정 기관 데이터 , M2M데이터, LOD(Linked Open Data) 등의 데이터. ->..
2024. 3. 20.
