Semestr Wiosenny 2021/22 @hbaniecki
Kontekst: Knowing What and Why? — Explaining Image Classifier Predictions
Projekt: Klasyfikacja obrazu i kreatywne wyjaśnianie zagadnień opisanych w pracy Kandinsky Patterns.
Materiały:
- Neural networks by 3Blue1Brown; Neural Network Playground
- An Introduction to Statistical Learning, Chapter 10
- Interpretable Machine Learning. A Guide for Making Black Box Models Explainable, Chapter 10
- Dive into Deep Learning, Chapters 1-7; CNN Explainer
- Explanatory Model Analysis. Explore, Explain and Examine Predictive Models
Technologie:
- torch, torchvision
- captum - Model Interpretability for PyTorch
- shap - SHapley Additive exPlanations
Dane:
- Fashion-MNIST: [GitHub] [PyTorch]
- CIFAR10: [PyTorch]; CIFAR100: [PyTorch]
- ImageNet: [.org]
- Kandinsky Patterns: [GitHub]
Literatura:
- Y. LeCun et al. Backpropagation Applied to Handwritten Zip Code Recognition. Neural Computation, 1989. https://www.doi.org/10.1162/neco.1989.1.4.541; http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
- A. Krizhevsky et al. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012. https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html
- S. Ioffe & C. Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. ICML, 2015. https://dl.acm.org/doi/10.5555/3045118.3045167; https://arxiv.org/abs/1502.03167
- K. He et al. Deep Residual Learning for Image Recognition. CVPR, 2016. https://www.doi.org/10.1109/CVPR.2016.90; https://arxiv.org/abs/1512.03385
- M. T. Ribeiro et al. "Why Should I Trust You?": Explaining the Predictions of Any Classifier. KDD, 2016. https://www.doi.org/10.1145/2939672.2939778; https://arxiv.org/abs/1602.04938
- G. Huang et al. Densely Connected Convolutional Networks. CVPR, 2017. https://www.doi.org/10.1109/CVPR.2017.243; https://arxiv.org/abs/1608.06993
- M. Sundararajan et al. Axiomatic attribution for deep networks. ICML, 2017. https://dl.acm.org/doi/10.5555/3305890.3306024; https://arxiv.org/abs/1703.01365
- S. M. Lundberg & S. Lee. A Unified Approach to Interpreting Model Predictions. NeurIPS, 2017. https://dl.acm.org/doi/10.5555/3295222.3295230; https://arxiv.org/abs/1705.07874
- J. Adebayo et al. Sanity Checks for Saliency Maps. NeurIPS, 2018. https://dl.acm.org/doi/10.5555/3327546.3327621; https://arxiv.org/abs/1810.03292
- H. Müller & A. Holzinger Kandinsky Patterns. Artificial Intelligence, 2021. https://doi.org/10.1016/j.artint.2021.103546
| data | temat | zadanie | |
|---|---|---|---|
| 1 | 02-24 | Opis zajęć i przedstawienie tematyki projektu. | |
| 2 | 03-03 | Wstęp do sieci neuronowych i PyTorch. | PD-1 start |
| 3 | 03-10 | Sieci neuronowe w praktyce. | |
| 4 | 03-17 | Wstęp do konwolucyjnych sieci neuronowych. | PD-1 oddanie,
PD-2 start |
| 5 | 03-24 | Konwolucyjne sieci neuronowe w praktyce (ResNet, DenseNet). | |
| 6 | 03-31 | Wstęp do wyjaśnień konwolucyjnych sieci neuronowych (LIME, IG etc.). | PD-2 oddanie,
PD-3 start |
| 7 | 04-07 | Wyjaśnienia konwolucyjnych sieci neuronowych c.d. (SHAP, TCAV etc.). | KM-1 start |
| 8 | 04-14 | Przegląd danych i modeli związanych z projektem. | PD-3 oddanie |
| 9 | 04-21 | Przedstawienie postępów projektów, konsultacje. | KM-1 oddanie, KM-2 start |
| 10 | 04-28 | Przegląd postępów w projekcie i struktury raportu. | |
| 11 | 05-05 | Przedstawienie postępów projektów, konsultacje. | KM-2 oddanie, KM-3 start |
| 12 | 05-19 | Przedstawienie postępów projektów, konsultacje. | KM-3 oddanie |
| 13 | 05-26 | Przedstawienie i dyskusja wyników projektu na zajęciach. | Prezentacja |
| 14 | 06-02 | *Prezentacja: Manipulowanie wyjaśnieniami sieci neuronowych. | Raport |
| 15 | 06-09 | Podsumowanie zajęć laboratoryjnych i projektowych. | |
Warszataty Badawcze składają się z wykładu, zajęć laboratoryjnych i projektowych:
- praca podczas laboratoriów i projektu -- 6 x 8 pkt = 48 pkt.
- prezentacja końcowa na wykładzie -- 16 pkt. (deadline: 29 maja)
- raport końcowy -- 32 pkt. (deadline: 9 czerwca)
- stosowanie dobrych praktyk wykorzystania GitHub -- 4 pkt.