[현직 데이터 사이언티스트가 전하는 데이터 엔지니어링 및 분석 과정의 핵심 실무 노하우]

본 교육은 회사내에서 빅데이터 개발 및 분석 업무를 실제로 적용하고 진행해보고자 하는 분들을 대상으로 기획됐습니다. 빅 데이터 시스템 구축 및 분석의 A부터 Z까지 전체적인 흐름을 파악하고, 빅데이터 수집부터 적재, 처리 , 분석까지 학습합니다. 프로젝트 형태로 교육을 진행하며 실무에서의 핵심 노하우들을 빠르게 습득할 수 있는 게 강의의 특징입니다.

해당 강의의 목차는 다음과 같습니다.

<시스템 설계 및 구축>

• Data Science에 대해

• 빅데이터 수집과 수집 시스템 설계

• 빅데이터 수집

• 빅데이터 수집과 수집 시스템 구축

• 스크레이핑 기초

• 재귀식으로 모든 웹 컨텐츠 가져오기

• 정규표현식, 관련 리눅스 명령어

• 링크에 있는 것을 한꺼번에 재귀적으로 받기

<시스템 구성>

• Centos 서버 설치 및 설정

• 클러스터 네트워크 설정, 가상머신 생성

• CDH하둡 설치

• Scrapy

• 스크래파이 실습

• HDFS, 주키퍼

• 클라우데라 매니저 설치

<저장 관리 시스템 구성>

• 빅데이터 저장 모델 설계

• 관계형 데이터베이스

• 대용량 로그 파일 적재

• 자율 주행 빅데이터 프로젝트

• 빅데이터 저장 관리 시스템 구성

• 하둡의 구성 요소

• 빅데이터 적재 모듈 개발

• 프로젝트 진행

<하둡 설치 및 자율주행 프로젝트>

• 하둡 설치 (하둡 환경 설정)

• 하둡 테스트

• 하둡 설치 확인
  

• 자율 주행 빅데이터 프로젝트 (배치성 로그 데이터 적재)

• 자율 주행 빅데이터 프로젝트 (실시간 데이터 적재)

• 자율 주행 빅데이터 프로젝트 (실시간 데이터 적재 기능 테스트)

<처리 시스템>

• 빅데이터 처리 시스템,빅데이터 처리 유형

• 데이터웨어하우스 특징

• 하둡 설치 및 설정

• 주제에 따른 데이터 정의서 및 스파크 소개

• 하둡 설치 및 설정

• 주키퍼 설치 및 설정

• 하둡 환경파일 설정

<탐색 프로젝트>

• 분산 배치 처리, 컬럼 기반 스토리지(Column-oriented storage)

• 이벤트 처리

• 스파크 주요 구성 요소

• 요구 사항에 따른 빅데이터 처리 모델을 설계

• 분산 처리 방식의 유형

• 스파크 설치

• 하이브를 통한 탐색

• 단계별 주제에 따른 탐색

• Apache Spark Streaming

• 하이브 QL로 마트 구성

<기술 통계학>

• 자료의 분류

• 가설의 개요

• 불편추정량

• 확률적/비확률적 추출방법

• 벡터, 리스트 데이터프레임 등

• 평균

• 분할표

• R 데이터 가져오기

• 중심 경향도, 산포도

• 분산, 표준편차, 범위, 사분위수, 백분위수

• 모분산, 표본분산

• 확률

• 확률변수

• 이항분포

• 정규분포

• 정규화 표준화

• z분포, t분포

• 카이스퀘어 분포

<추론 통계학>

• 통계 기반 데이터 분석 - 추론 통계학

<데이터 분석 및 시각화>

• 빅데이터 분석에서 사용할 기술(임팔라, 제플린) 설치

• 데이터마이닝 단계

• 예제로 배우는 데이터마이닝 (예측)

• 데이터 정규화(표준화) 및 리스케일링

• 모델 구축 : 선형 회귀 분석을 이용한 예제

• 데이터 탐색을 위한 시각화

• 차트 조절

• 특화된 시각화

• 주성분 분석

• 피벗 테이블

• PCA

• 예측 성능의 평가

• 분류 모형 평가

• 향상 차트(Lift Chart)

• 분류 목적의 머신러닝 기법 적용

• knn

• 나이브 베이즈(Naive Bayes) 기법

• 분류 회귀 나무

<시각화 예제>

• 전처리

• 추정, 신뢰구간

• 가설검정

• 두 모집단 간의 추론

• 분산분석

• 일원분산분석

• 이원분산분석

• 교차분석

• 회귀분석

데이터 사이언스 전체에 대한 실무 이슈들에 대해 다양하게 다뤄보고 학습해보시기 바랍니다.