본문 바로가기
반응형

기억하거나, 잊거나69

빅데이터환경분석-4.빅데이터 인력 환경 분석 1. 빅데이터 인력 직무 정의 유형 구분 빅데이터 인력 직무 비고 NCS - 빅데이터 분석, DB 엔지니어링(세분류로 구분) - 데이터 개발, 기획, 기술 지원, 기술 영업, 관리 등은 세분류로 구분 X 2개 유형은 세분류로 구분 (나머지는 미분류) 한국정보화진흥원 - HADOOP/NoSQL/MapReduce 엔지니어 - 빅데이터 분석가, 빅데이터 기술 영업/마케터 - 빅데이터 컨설팅, 빅데이터 기타 인력 5개 유형 한국데이터진흥원 - DA(Data Architect) - 데이터 개발자(DB 개발자, 빅데이터 개발자) - 데이터 엔지니어(DB 엔지니어, 빅데이터 엔지니어) - 데이터 분석가 - DBA(Data Base Administrator) - 데이터 과학자, 데이터 컨설턴트, 데이터 마케터 10개 .. 2021. 12. 28.
AIX) 데몬 설명 amanda : 백업 클라이언트인 amanda 데몬 amandaidx : amanda 서버의 패키지 서비스 중 하나인 amandaidx 데몬 amd : auto mount daemon, 시스템의 요청이 있는 경우에 자동으로 장치와 NFS 호스트를 마운트해 주는 데몬. 네트워크의 설정이 잘못된 경우에는 부팅을 하는 도중에 문제를 일으킬수 있으므로 처음엔 꺼두는 것이 좋다. amidxtape : amand 서버에 패키지 서비스 중 하나인 amidxtape 데몬 anacron : 시간에 따라 지정한 프로그램을 정기적으로 실행하는 데몬. cron과 같은 기능을 하지만 계속 켜두지 않는 컴퓨터에서 사용하는 데몬 apmd : 베터리 상태를 감시하고 syslog(8)에 기록하며 시스템을 끄기도 하는 데몬 arpwat.. 2021. 12. 28.
빅데이터환경분석-3.빅데이터 기술 환경 분석 1) 빅데이터 데이터 전·후 처리 기법 데이터 전·후처리 내용 기법 사례 · 데이터 이상치(Outlayer), 데이터결측값 등에 대한 보정 작업으로 데이터 신뢰도 향상 · 오류 포착(실수, 데이터 불일치 등) · 메타 데이터 확인 (데이터 속성, 범위, 표준 편차 등) · 대량의 데이터 크기 축소 후 분석 진행 · 크기 축소하지만 동일한 분석 결과가 나올 수 있도록 작업 진행 · 데이터 표본추출 및 통계기법 적용 · 분석 목적에 맞는 데이터/속성 추출 · 데이터 단위 변환, 데이터 편차 등에 대한 표준 편차 적용 등의 변환 및 변형 · 데이터 단위 변환 · 데이터 키 매핑 및 변환 · 데이터 값 매핑 및 변환(업무규칙적용) · 다수의 데이터 연계통합 작업 수행 · 동일한 View에서 볼 수 있도록 통합 .. 2021. 12. 28.
빅데이터환경분석-2.빅데이터 데이터 환경 분석 1) 빅데이터 서비스 모델 개발을 위한 소프트웨어 공학적 방법론 빅데이터 개발 방법론 일반적으로 빅데이터 시스템에 대한 개발 구현과 빅데이터 분석 모델 방법론으로 구성 프로젝트 수행시 적용 필요 데이터 표본 추출 방법론 데이터 표본 조사 및 추출에 대한 방법 정의 데이터 분석 이전에 수행 필요 데이터 모델링 방법론 데이터 이해 및 준비, 탐색적 및 실증 분석을 통한 데이터의 모델링을 수행하는 방법론 데이터 품질 관리 방법론 서비스 모델의 데이터에 대한 품질 관리 및 성숙도 관리 DQM(Data Quality Management) 2) 데이터 프로파일링(Data Profiling) : 데이터 품질 진단 기법 - DB내의 데이터를 읽어 테이블, 컬럼에 대한 데이터 현황 정보를 통계적을 분석하는 것 - 테이블.. 2021. 9. 24.
728x90
반응형