목표 : 밑바닥부터 시작하는 딥러닝 책을 통해서 딥러닝 이론과 구현까지 경험할 것
기간 : 21년 7월 21일, k digital 과정이 끝나고 새롭게 시작 -> 7월 27일 1권 완료
신경망의 구조를 이해하고 빅데이터 분석기사, 데이터분석 준전문가 자격증을 공부하면서 어렴풋이 이해했던 손실함수, 은닉층 등의 개념들을 정확히 이해할 수 있었다.
오차역전파법를 계산 그래프를 사용해서 시각적으로 이해
역전파를 통해 각 노드의 미분을 구하고, 가중치 매개변수의 기울기를 효율적으로 구할 수 있다
매개변수 갱신을 위한 여러 방법들(SGD, 모멘텀, AdaGrad 등), 가중치의 초깃값 설정, 하이퍼파라미터 최적화 등 신경망에서 빼놓을 수 없는 여러 기술들에 대해 이해
CNN의 매커니즘을 이해와 구현하는 과정 확인
정말 정말 밑바닥부터 신경망 기술을 구현해보는 과정을 거치면서 어려우면서도 흥미롭게 이해할 수 있었다. 개념적인 이해는 됐던 모호한 것들이 훨씬 구체화되었고 내가 직접 구현할 수 있다는 자신감을 심어주었다..! 더불어 따로 공부하고 있는 선형대수학, 미분과 같은 기초 수학 지식들이 어떻게 적용되는지도 이해하면서 그 중요성을 한번 더 깨닫게 되었다.
목표 : 1권을 완료한 뒤 이를 기반으로 자연어처리, 순환신경망(RNN), 시계열 데이터 처리에 초점을 맞춰서 딥러닝의 구조와 원리를 이해
기간 : 21년 7월 30일 ~ ing
DeepLearning from Scratch-1를 총 복습하는 파트.
저번에 이해하면서 헷갈렸던 부분들이 오히려 큰 그림을 가지고 살펴보니 이해가 더 잘 되었다.
자연어처리에 대한 기본 개념을 습득하는 파트.
올해 상반기 쯤 DS School로 잠시 NLP 부분을 공부했던 것들이 새록새록 기억이 나면서 재밌었다. 개인적으로 텍스트 처리가 나에게 더 잘 맞는 것 같다는 생각이 든다.
추론 과정에서의 신경망 중 word2vec의 구조를 이해하고 구현해보는 파트
상반기에 읽었던 세상을 읽는 새로운 언어, 빅데이터(조성준)에서 word2vec에 대한 간략한 설명이 나왔었는데, 이에 대해 깊게 이해해보는 파트였다.
실제 어휘 수가 방대한 경우 기본 word2vec를 수행하기엔 어려움이 있다. 이를 개선하기 위한 두가지 기법에 대해 이해한다.
생각보다 개념자체의 이해는 어렵지 않았으나 실제로 구현해보는데 조금 애를 먹었다. 나중에 다시 한번 구현해 볼 필요가 있다.