/bigdata-analysis-programming

Python을 활용한 빅데이터 분석 실무를 위한 과정에 대해 다룹니다.

Primary LanguageJupyter NotebookMIT LicenseMIT

빅데이터 분석 프로그래밍

배울 내용

Phase 1: Python 프로그래밍 기초

  • 변수, 입/출력, 조건문, 반복문, 함수, 클래스

Phase 2: 데이터 핸들링

  • 다양한 포맷의 파일 읽기 (json, csv, tsv, excel, pdf, etc)
  • 데이터 베이스 연결하기 (mysql)
  • 데이터 전처리 및 통계적 분석
  • Numpy, Pandas, Matplotlib, Seaborn

Phase 3: 머신러닝

  • K-Nearest Neighbors Decision Tree, Random Forests
  • K-Means Clustering, Density-Based Clustering, PCA
  • Linear Regression, Logistic Regression, Neural Networks
  • 시계열 분석, 이상감지

Phase 4: 빅데이터 프로그래밍

  • Hadoop Map-Reduce
  • Spark

Curriculum

WEEK 01. Python 기초문법 알아보기

  • 강의

    파이썬 기본 Part-1

  • 실습

    실습환경: Anaconda 설치
    W01-1. Python: 기본문법
    W01-2. Python: 자료구조
    W01-3. Python: 반복문과 조건문
    TASK 01: 노래 가사에서 한글과 영어 단어 개수 세기

WEEK 02. Python 함수

  • 강의

    파이썬 함수

  • 실습

    W02-1. Python: 함수 기본
    W02-2. Python: 함수 응용

WEEK 03. Python Class

  • 강의

    파이썬 클래스

  • 실습

    W03-1. Python: 클래스 기본
    W03-2. Python: 클래스 응용
    W03-3. Python: 클래스 연습문제

WEEK 04. 데이터란?

  • 강의

    데이터

  • 실습

    W04-1. FILE IO
    W04-2. Numpy
    TASK 02: Distance and Similarity

WEEK 05. 데이터 전처리

WEEK 06. 데이터 탐색

  • 강의

    데이터 탐색

  • 실습

    W06-1. Matplotlib 기본
    W06-1. Matplotlib 응용
    W06-3. IRIS데이터 예제
    과제 설명: 링크

보충자료

  • 실습

    Python1: 출력, 숫자, 문자열, 리스트, 딕셔너리
    Python2: 함수, Numpy, Pandas

WEEK 07. 지도학습-Classification

WEEK 08. 지도학습-Regression

WEEK 09. 비지도학습

WEEK 10. 인공신경망

  • 강의

    인공신경망

  • 실습

    W10-1. Image Classification 1
    W10-1. Image Classification Using Deep Learning

WEEK 11. 이상탐지

  • 강의

    이상탐지

  • 실습

    W11-1. 저차원 데이터 이상탐지
    W11-2. 이상탐지 알고리즘 비교
    W11-3. 이상탐지 적용

WEEK 12. 시계열분석

  • 강의

    시계열 분석

  • 실습

    W12-1. 시계열 데이터 기본 분석
    W12-2. 전통적인 주시가격 예측
    W12-3. 딥러닝 기반의 주식가격 예측

WEEK 13. 빅데이터분석

WEEK 14. Application-Regression

WEEK 15. Application-Classification

  • 강의

    분류문제

  • 실습

    W15-1. Application2-Classification

WEEK 16. Application-Time Series Analysis

  • 강의

    시계열

  • 실습

    W16-1. Preprocessing
    W16-2. AR_model
    W16-3. ARMA_model
    W16-4. SARIMA_model
    W16-5. Anomaly_detection

Contact

서중원: js@codethief.biz