본문 바로가기
반응형

소소한 기록(공부중)/NCS기반_빅데이터5

빅데이터분석기획-1.빅데이터 분석 요건 정의 [필요지식] ① 빅데이터 요구 사항 분석 절차 : 불완전하고 비정형적인 추상적 요구 사항을 명세서가 생성되기 이전에 완전하고 일관성 있는 요구 사항으로 구체화 하여 분석 변수를 도출하고 작성 프로세스 요구사항 재평가(검증 → 요구사항 추출 및 분석) 타당성 검토 → 요구사항 추출 및 분석 → 요구사항 명세화 → 검증 ◇ 산출물 ↓ ↓(분석 요건 가설 수립) ↗ ↓ ↓ 검토 보고서 비즈니스 분석 결과 및 분석 변수 도출 도메인, 사용자 요구사항(분석요건) 빅데이터 분석 변수 명세서 요구사항 개발 기법 단계 세부 활동 내용 추출(Elicitation) 추출 기초 조사 1. 요구 사항 추출 타당성 조사 2. 요구 사항의 다면성 조사 3. 추출 영향 요소 분석 분석 변수 도출 1. 요구 사항 수집 및 정제 2... 2022. 1. 7.
빅데이터환경분석-4.빅데이터 인력 환경 분석 1. 빅데이터 인력 직무 정의 유형 구분 빅데이터 인력 직무 비고 NCS - 빅데이터 분석, DB 엔지니어링(세분류로 구분) - 데이터 개발, 기획, 기술 지원, 기술 영업, 관리 등은 세분류로 구분 X 2개 유형은 세분류로 구분 (나머지는 미분류) 한국정보화진흥원 - HADOOP/NoSQL/MapReduce 엔지니어 - 빅데이터 분석가, 빅데이터 기술 영업/마케터 - 빅데이터 컨설팅, 빅데이터 기타 인력 5개 유형 한국데이터진흥원 - DA(Data Architect) - 데이터 개발자(DB 개발자, 빅데이터 개발자) - 데이터 엔지니어(DB 엔지니어, 빅데이터 엔지니어) - 데이터 분석가 - DBA(Data Base Administrator) - 데이터 과학자, 데이터 컨설턴트, 데이터 마케터 10개 .. 2021. 12. 28.
빅데이터환경분석-3.빅데이터 기술 환경 분석 1) 빅데이터 데이터 전·후 처리 기법 데이터 전·후처리 내용 기법 사례 · 데이터 이상치(Outlayer), 데이터결측값 등에 대한 보정 작업으로 데이터 신뢰도 향상 · 오류 포착(실수, 데이터 불일치 등) · 메타 데이터 확인 (데이터 속성, 범위, 표준 편차 등) · 대량의 데이터 크기 축소 후 분석 진행 · 크기 축소하지만 동일한 분석 결과가 나올 수 있도록 작업 진행 · 데이터 표본추출 및 통계기법 적용 · 분석 목적에 맞는 데이터/속성 추출 · 데이터 단위 변환, 데이터 편차 등에 대한 표준 편차 적용 등의 변환 및 변형 · 데이터 단위 변환 · 데이터 키 매핑 및 변환 · 데이터 값 매핑 및 변환(업무규칙적용) · 다수의 데이터 연계통합 작업 수행 · 동일한 View에서 볼 수 있도록 통합 .. 2021. 12. 28.
빅데이터환경분석-2.빅데이터 데이터 환경 분석 1) 빅데이터 서비스 모델 개발을 위한 소프트웨어 공학적 방법론 빅데이터 개발 방법론 일반적으로 빅데이터 시스템에 대한 개발 구현과 빅데이터 분석 모델 방법론으로 구성 프로젝트 수행시 적용 필요 데이터 표본 추출 방법론 데이터 표본 조사 및 추출에 대한 방법 정의 데이터 분석 이전에 수행 필요 데이터 모델링 방법론 데이터 이해 및 준비, 탐색적 및 실증 분석을 통한 데이터의 모델링을 수행하는 방법론 데이터 품질 관리 방법론 서비스 모델의 데이터에 대한 품질 관리 및 성숙도 관리 DQM(Data Quality Management) 2) 데이터 프로파일링(Data Profiling) : 데이터 품질 진단 기법 - DB내의 데이터를 읽어 테이블, 컬럼에 대한 데이터 현황 정보를 통계적을 분석하는 것 - 테이블.. 2021. 9. 24.
728x90
반응형