Základy hĺbkového učenia je predmet ponúkaný v zimnom semestri prvého ročníka inžinierskeho štúdia na Technickej univerzite v Košiciach pre študijný program Inteligentné systémy. Predmet je pokračovaním kurzu Neurónové siete a jeho cieľom je oboznámiť študentov so základmi, metodológiou a novými trendmi deep learningu, teda hlbokého učenia.
Prednášky z predmetu sú vo švrtok o 13:30 v miestnosti V4_V102. Cvičenia sú každý utorok o 15:10 v miestnosti V4_010. Počas semestra má študent nárok na maximálne tri neúčasti.
Pre aktuálne informácie ohľadom organizácie predmetu a komunikáciu s vyučujúcimi používajte MS Teams skupinu predmetu.
| Cvičenie | Deadliny | |
|---|---|---|
| 1. týždeň 25. 9. - 1. 10. |
úvod, opakovanie, pridelenie zadaní | |
| 2. týždeň 2. 10. - 8. 10. |
teória konvolúcie, implementácia v Pythone | výber článku k zadaniu 1 |
| 3. týždeň 9. 10. - 15. 10. |
konvolučné siete v PyTorchi | |
| 4. týždeň 16. 10. - 22. 10. |
DL training cookbook 1 | prezentácia výskumného projektu |
| 5. týždeň 23. 10. - 29. 10. |
DL training cookbook 2 | report k zadaniu 1 |
| 6. týždeň 30. 10. - 5. 11. |
sviatok | |
| 7. týždeň 6. 11. - 12. 11. |
backpropagation | |
| 8. týždeň 13. 11. - 19. 11. |
zápočtová písomka, prezentácia projektov | |
| 9. týždeň 20. 11. - 26. 11. |
spracovanie prirodzeného jazyka | výskumný projekt - prehľad literatúry |
| 10. týždeň 27. 11. - 3. 12. |
využitie rekurentných neurónových sietí | odovzdanie prvého zadania |
| 11. týždeň 4. 12. - 10. 12. |
transformery | výskumný projekt - prvé výsledky |
| 12. týždeň 11. 12. - 17. 12. |
self-supervised learning | |
| 13. týždeň 18. 12. - 24. 12. |
konzultácie, odovzdávanie zadaní | výskumný projekt - progress report |
Pre absolvovanie predmetu študent musí spĺňať nasledovné podmienky:
- účasť na prednáškach a cvičeniach (maximálne 3 neúčasti)
- odovzdanie zadaní a absolvovanie písomky (viď nižšie)
- získať minimálne 21 bodov do zápočtu
- prejsť skúškou (získať minimálne 31 bodov)
Počas semestra študenti môžu získať 40 bodov a to nasledovne:
- Replikácia článku - 10 bodov
- Semestrálny projekt - 15 bodov
- multimediálne spracovanie témy z hlbokého učenia - 5 bodov
- zápočtová písomka - 10 bodov
Hlavnou odporúčanou literatúrou je kniha The Little Book of Deep Learning od Francoisa Fleureta.
Ďalšie odporúčané zdroje:
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT press, 2016.
- Aggarwal, Charu C. "Neural networks and deep learning." Springer 10, no. 978 (2018): 3.
- Raschka, Sebastian, Yuxi Hayden Liu, Vahid Mirjalili, and Dmytro Dzhulgakov. Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python. Packt Publishing Ltd, 2022.
- Buduma, Nithin, Nikhil Buduma, and Joe Papa. Fundamentals of deep learning. " O'Reilly Media, Inc.", 2022.
- Chollet, Francois. Deep learning with Python. Simon and Schuster, 2021.