AI 자연어 고급 과정 : 릴레이 온라인 특강
수업 시간표
<오후>
02:00 ~ 02:45
03:00 ~ 03:45
04:00 ~ 04:45
05:00 ~ 05:40
AI 자연어 고급 강의 일정
[총 40시간 (10일간) : 2020.11.17 ~ 11.30]
- 01일차 : 신경망기본
- 02일차 : Word2Vec, 임베딩
- 03일차 : RNN과 LSTM 구현
- 04일차 : Seq2Seq 구현
- 05일차 : Attention 구현
- 06일차 : NLTK/KoNLPy
- 07일차 : 텍스트 분류 모댈 구현
- 08일차 : 감성분석 모델 구현
- 09일차 : 토픽모델링 구현
- 10일차 : 질답시스템 구현
강사: 고병화
E-mail : digicope@aicore.co.kr
git 주소 : https://github.com/digicope/ai_basic
(git 사용기간 : 2020.11.17 ~ 2020.11.30 , 이후에는 접속 불가)
참고 사이트
Kaggle
https://www.kaggle.com/
UCI Machine Learning Repository (머신러닝 데이터)
https://archive.ics.uci.edu/ml/index.php
데이콘 (경진대회)
https://dacon.io/
데이터 과학 경진대회 사이트 모음
https://theorydb.github.io/dev/2019/06/23/dev-competition-list/
모두를 위한 머신러닝과 딥러닝의 강의(김성훈교수님)
https://hunkim.github.io/ml/
Andrew Ng’s and other ML tutorials
https://class.coursera.org/ml-003/lecture
http://www.holehouse.org/mlclass/
Deep Learning Tutorial
http://deeplearning.stanford.edu/tutorial/
Convolutional Neural Networks for Visual Recognition
http://cs231n.stanford.edu/syllabus.html
Deep Learning for Natural Language Processing
http://cs224d.stanford.edu/syllabus.html
Tensorflow
https://www.tensorflow.org
TensorFlow Tutorials (Simple Examples)
https://github.com/nlintz/TensorFlow-Tutorials
Another TensorFlow Tutorials
https://github.com/pkmital/tensorflow_tutorials
TensorFlow Examples
https://github.com/aymericdamien/TensorFlow-Examples
기존 코드를 TensorFlow 2.0으로 바꾸기
https://www.tensorflow.org/guide/migrate?hl=ko
Google Colab(코랩) 사용법 (GPU 무료 사용 가능)
https://theorydb.github.io/dev/2019/08/23/dev-ml-colab/
KoNLPy 설치 방법
https://konlpy-ko.readthedocs.io/ko/v0.4.3/install/#id1
점프투 파이썬 온라인 공개 URL
[AI 기본과정 참고서적]
- 파이썬 프로그래밍 관련 추천 서적
- 점프 투 파이썬(개정판) – 박응용 저 / 이지퍼블리싱
- 파이썬3 바이블 – 이강성 저 / 프리렉
- 파이썬 라이브러리 사용 및 데이터 분석 관련 추천 서적
- 데이터 분석을 위한 파이썬 철저 입문 – 최은석 저 / 위키북스
- 파이썬을 이용한 데이터 분석(2/e) – 이창화 옮김 / 에이콘
- 머신러닝 관련 추천 서적
- 파이썬 머신러닝 완벽가이드(개정판) – 권철민 저 / 위키북스
- 딥러닝 관련 추천서적
- 밑바닥 부터 시작하는 딥러닝 (파이썬으로 익히는 딥러닝 이론과 구현)– 개앞맵시 옮김 / 한빛미디어
- 모두의 딥러닝 2판 - 조태호 저 / 길벗
- 시작하세요! 텐서플로 2.0 프로그래밍 – 김환희 저 / 위키북스
[ AI 자연어 고급과정 참고서적]
- 밑바닥 부터 시작하는 딥러닝2 (파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리) – 개앞맵시 옮김 / 한빛미디어
- 텐서플로2와 머신러닝으로 시작하는 자연어처리 - 전창욱,최태균,조중현, 신성진 저 / 위키북스
- 파이썬과 자연어처리 - 딥티초프라외 공저,유연재 옮김 / 에이콘
- 자연어처리 딥러닝 캠프 - 김기현 / 한빛미디어
- 머신러닝 딥러닝 실전개발 입문 - 쿠지라 히코우즈쿠에 저,윤인성 옮김 / 위키북스
-------------------------------------------------------------------------------------------------
Anaconda에 텐서플로 버전 2.3 설치하기
Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 차례로 실행한다
python -m pip install --upgrade pip
pip3 install tensorflow==2.3.0
[설치 버전 확인] 쥬피터 노트북 셀에서 에서 아래 코드를 실행시켜 버전을 확인해본다
* 텐서플로 버전을 알아본다
import tensorflow as tf
tf.__version__
(주의: 언더바가 두개임)
'2.3.0' 이 출력되면 설치 성공!!
-------------------------------------------------------------------------------------------------
## Anaconda 텐서플로 설치 가상 환경 만들기
Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 실행한다
conda create -n tf230 python=3.8 anaconda
conda activate tf230
python -m pip install --upgrade pip
pip3 install tensorflow==2.3.0
[설치 버전 확인] 쥬피터 노트북 셀에서 에서 아래 코드를 실행시켜 버전을 확인해본다
* 텐서플로 버전을 알아본다
import tensorflow as tf
tf.__version__
(주의: 언더바가 두개임)
'2.3.0' 이 출력되면 설치 성공!!
-------------------------------------------------------------------------------------------------
윈도우에 PyCharm 설치 환경에 텐서플로 설치하기
[1] python 3.7.6 설치
https://www.python.org/downloads/release/python-376/
사이트에서 하단 Files 목록에서 Windows x86-64 executable installer을 선택 클릭하여
'python-3.7.6-amd64.exe' 파일을 다운로드 받아 실행 시킨다
설치 시작 화면에서 맨 아래 'Add Python 3.7 to PATH' 를 체크해주고 'Install Now'를 선택하고
다른 옵션 선택없이 그대로 설치를 진행한다
설치가 끝나면 윈도우 시작메뉴에 Pyhon 3.7 이 새로 설치되어 추가된걸 확인 할 수 있을 것이다
[2] PyCharm 다운로드 및 설치
https://www.jetbrains.com/ko-kr/pycharm/download/#section=windows
에서 오른쪽의 'Community' 의 '다운로드' 버튼을 눌러 'pycharm-community-2020.1.exe' 파일을 다운받아 실행시킨다
일부 옵션(Path)을 선택하면서 설치해준다
[3] tensorflow 설치하기
아래 주소를 참조하여 설치한다 tensorflow를 설치 하도록 한다
https://webnautes.tistory.com/1173
PyCharm에서 세 프로젝트를 만들고 하단의 'Terminal'을 눌러 아래와 같이 설치하면 된다
python -m pip install --upgrade pip
pip3 install tensorflow==2.0.0
설치 오류가 날 경우 수업 중 강사 지시에 따라 함께 설치하도록 합니다
-------------------------------------------------------------------------------------------------
* 쥬피터 노트북에 tensorflow 설치 방법
python =3.8.x
tensoflow = 2.3.0
[1] Anaconda 파이썬 버전 변경하기(파이썬 버전이 3.7.x 아래이거나 버전이 낮아 설치 안되는경우만 실행)
(파이썬 버전이 3.8.x 이상인 분은 [2] 번 부터 시작하세요)
* Anaconda Prompt를 관리자 권한으로 실행하고
conda create -n py383 python=3.8.3 anaconda # 몇 분 소요됨
conda activate py383
* 파이썬 버전 확인 명령
python -V
* 만일 원래 파이썬 버전으로 다시 사용하고 싶을 때는 deactivate를 실행한다
conda deactivate py383
[2] Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 실행한다
텐서플로 설치
python -m pip install --upgrade pip
pip3 install tensorflow==2.3.0
[3] 쥬피터 노트북 셀에서 에서 아래 코드를 실행시켜 버전을 확인해본다
* 파이썬 버전을 알아본다
import sys
print(sys.version)
* 텐서플로 버전을 알아본다
import tensorflow as tf
tf.__version__
(주의: 언더바가 두개임)
'2.3.0' 이 출력되면 설치 성공!!
* AVX 미지원으로 인한 "DLL 초기화 루틴을 실행할 수 없습니다." 에러 해결방법
https://datamod.tistory.com/139
* 사용하고 있는 CPU 기술 탭의 Intel(R) Advanced Vector Extensions지원 여부는
pidkor47.msi(강사 깃허브에서)
혹은 https://downloadcenter.intel.com/ko/download/28539?v=t 에서 다운로드 설치하여 확인힐 수 있다
* 파이썬 버전을 3.6.8로 추가 설치한다
* Anaconda Prompt를 관리자 권한으로 실행하고
conda create -n py368 python=3.6.8 anaconda # 몇 분 소요됨
conda activate py368
* 파이썬 버전 확인 명령
python -V
* 텐서플로를 AVX를 지원하지 않는 1.6 보다 낮은 버전(1.5.0)으로 설치 한다
python -m pip install --upgrade pip
pip3 install tensorflow==1.5.0 # 장시간 소요됨
* 아나콘다 가상환경 제거
conda env list
conda remove --name py383 --all
----------------------------------------------------------------------------------------------------------
Anaconda 텐서플로 버전 2.3.0 설치 가상 환경 만들기
Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 실행한다
conda create -n tf230 python=3.7 anaconda
conda activate tf230
python -m pip install --upgrade pip
pip3 install tensorflow==2.3.0
설치가 완료되면 윈도우 시작메뉴의 'Anaconda3 (64-bit)' 안의 'Jupyter Notebook (tf230)'을 실행시킨다
아래 코드를 실행 시켜 버전을 확인해 본다
import sys
sys.version
import tensorflow as tf
tf.version
'2.3.0' 이 출력되면 설치 성공!!
(tensorflow 버전 1.x 용 소스코드는 버전 2.x와 호환되지 않는게 API가 많아서 실행 오류가 날 것이다)
https://www.tensorflow.org/overview/?hl=ko
의 2.x 예제 소스를 복사하여 붙여 넣어 실행 시켜본다
-------------------------------------------------------------------------------------------------
- GitHub의 쥬피터 노트북 파일 다운로드 방법
https://datascience.stackexchange.com/questions/35555/how-to-download-a-jupyter-notebook-from-github
git에서 노트북 파일을 클릭하고 --> Raw 버튼 클릭 --> Ctrl + S 로 저장 --> 저장시 확장자 .txt를 없애준다 --> 주피터노트북에서 읽어온다
쥬피터 노트북 단축키 요약
https://kkokkilkon.tistory.com/151
쥬피터 노트북 폰트 변경
https://bryan7.tistory.com/1060