/deeplearning_math

딥러닝 수학

Primary LanguagePython

소프트웨어 꼰대 강의 - 딥러닝 수학

안녕하세요? 소프트웨어 꼰대강의를 운영하고 있는 노기섭 교수입니다. 이 저장소는 '딥러닝 수학'과 관련된 자료를 제공하고 있습니다. 딥러닝을 공부하다 보면 피해갈 수 없는 장벽을 만나게 됩니다. 바로 수학과 관련된 지식입니다. 개인적으로 딥러닝을 공부하면서 누군가 쉽게 풀어서 설명하는 자료가 있으면 좋겠다는 생각을 종종 했습니다. 제가 이해한 방식을 기반으로 딥러닝 관련된 수학 지식을 제공하고자 합니다.

꼰대 교수님 홈페이지: 바로가기 (click me)

궁금한 사항, 오류 등이 있으면 kafa46@cju.ac.kr로 연락주시면 감사하겠습니다.

딥러닝 수학 시리즈 구성

Chapter 1. Probability (확률)

분야 주제 Youtube PPT Codes
확률 01. Random Variables (확률변수)... 이게 뭔가요? click link 없음
확률 02. Expected Value (기댓값)... 이게 뭔가요? click link 없음
확률 03. 딥러닝과 확률 분포의 관계는 무엇인가요? click link 없음
확률 04. 파라미터와 딥러닝 click link 없음
확률 05. odds, logit, sigmoid, and softmax 개념설명 click link 없음
확률 06. 샘플링 표현에 대한 이해와 몬테 카를로 근사 click link 없음
확률 07. Stochastic Approach (확률적 접근법) click link 없음
확률 08. Stochastic 실습 및 분석 click link codes
확률 09. 제발 Stochastic Process가 뭔지 설명 좀 해주세요! click link 없음
확률 10. Stochastic Gradient Descent에 왜 "Stochastic"라는 단어가 붙은 건가? click link 없음
확률 11. Bayesian vs. Frequentist click link 없음
확률 12. Bayes theorem_예제 풀이(당구공 굴리기) click link 없음
확률 13. Bayes theorem_예제 시뮬레이션(파이썬) click link codes
확률 14. Bayes theorem 딥러닝에 적용하여 해석하기 click link 없음
확률 15. Maximum Likelihood Estimation (MLE) 완벽히 파헤치기 (deep dive)! click link 없음
확률 16. Maximum A Posterior (MAP) 완벽히 파헤치기 (deep dive)! click link 없음
확률 17. Bayesian Neural Networks 깊은 이해 (Bayesian Inference) click link 없음

맨위로 이동

Chapter 2. Linear Algebra (선형대수)

분야 주제 Youtube PPT Codes
선형대수 01. 딥러닝에서의 선형대수! 오리엔테이션 (동기부여) click link 없음
선형대수 02. Matrix(행렬) 역사, 정의, 표기법, 용어 정리 click link 없음
선형대수 03. Matrix(행렬) 기본연산(행렬의 덧셈과 곱셈), 가우스-조던 소거법 click link 없음
선형대수 04. Determinant(행렬식), Inverse Matrix(역행렬) 깊게 이해하기 click link 없음
선형대수 05. 벡터 소개 (역사, 정의 및 표현법, 종류, 기저, Norm) click link 없음
선형대수 06. 벡터의 덧셈/뺄셈, 스칼라배 click link 없음
선형대수 07. 벡터의 곱셈 (내적, Cosine Similarity, Cross곱) click link 없음
선형대수 08. 벡터 공간 (vector space) 및 부분 공간 (vector subspace) click link 없음
선형대수 09. 선형결합(linear combination) 및 생성(span) click link 없음
선형대수 10. 선형변환(liear transformation), 벡터와 행렬의 만남 click link 없음
선형대수 11. 행렬을 이용한 선형변환 click link 없음
선형대수 12. 행렬과 행렬을 곱한다는 의미 (선형변환의 합성) click link 없음
선형대수 13. 그림으로 이해하는 행렬식(determinant) click link 없음
선형대수 14. 벡터에서 텐서로 - 텐서의 깊은 이해 click link 없음
선형대수 15. 선형 시스템(공간)간의 해석(linear empathy) click link 없음
선형대수 16. 고윳값(eigenvalue)과 고유벡터(eigenvector) 이해하기 click link 없음
선형대수 17. 차원 축소 및 확장 (dimension reduction & expansion) click link 없음
선형대수 18. 행렬에서의 랭크 (rank in matrix) click link 없음
선형대수 19. 선형변환 요약, 정보 압축 및 팽창 click link 없음
선형대수 20. 선형대수를 마무리하며, 인사말 및 감사인사 (adjourning) click link 없음

맨위로 이동

Chapter 3. Differentiantion (미분)

분야 주제 Youtube PPT Codes
미분 01. 미분 시리즈를 시작하며,
오리엔테이션 (Orientation)		 click link 없음
미분 02. 딥러닝은 어떻게 데이터로부터 지식을 배우는가? click link 없음
미분 03. 미분의 원리 - 한번은 짚고 넘어가야 할 내용 click link 없음
미분 04. 딥러닝에서 편미분 개념과 연산 click link 없음
미분 05. 경사하강 알고리즘의 개념, 해석, 학습 click link 없음
미분 06. 연쇄법칙 (chain rule) 개념과 및 연산 click link 없음
미분 07-01. 선형시스템에서의 편미분 click link 없음
미분 07-02. 선형시스템에서의 편미분 (실습 with toy example) click link codes
미분 08. 역전파 학습 (back-propagation) 및 Computation Graph click link 없음
미분 09. 활성함수 간단 소개, 기울기 소실의 근본 원인과 대책 click link 없음
미분 10. 딥러닝 수학 시리즈 전체를 마무리하며, 감사인사 (adjourning) click link 없음

맨위로 이동

Chapter 4. Information Theory (정보이론)

분야 주제 Youtube PPT Codes
정보이론 01. 오리엔테이션 - 딥러닝과 정보이론의 관계, 학습목표, 과정 소개 등 click link 없음
정보이론 02. 정보이론에서 '정보(information)'이란 무엇일까? click link 없음
정보이론 [정보이론]_03-1. 정보 엔트로피(entropy) 개념, 표기, 연산 - 이론 click link 없음
정보이론 [정보이론]_03-2. 정보 엔트로피(entropy) 개념, 표기, 연산 - 실습 click link codes
정보이론 04. 딥러닝에서의 엔트로피(entropy) click link 없음
정보이론 05-1. 엔트로피 손실 (Binary Cross Entropy, Cross Entropy) - Deep dive click link 없음
정보이론 05-2. 엔트로피 손실(Cross Entropy Loss) 실습 click 없음 codes
정보이론 06. KL 발산 (Kullback-Leibler Divergence) in Deeplearning click link 없음
정보이론 07. 정보 이론 시리즈를 마무리 하며 (요약, 정리, 인사말씀) click link 없음

맨위로 이동

Bonus. Number Set (집합론)

분야 주제 Youtube PPT Codes
집합 $R_{2,3}$ vs. $R^{2\times3}$ 차이가 도대체 뭐야? click link 없음

맨위로 이동