/2022L-WB-TL

Case Study course for DS studies in Summer 2021/2022

Primary LanguageJupyter Notebook

Warsztaty Badawcze - grupa 2022L-WB-TL

@ptomaszewska

Harmonogram zajęć

Nr Temat
1 Kwestie organizacyjne (plan zajęć, system oceniania). Wstęp do sieci neuronowych - architektura MLP. Omówienie kodu.
2 Pojęcie transferu wiedzy w sieciach neuronowych (szersze niż "transfer learning").
3 Omówienie kodu algorytmów z obszaru przenoszenia wiedzy.
4 Idea i kod sieci konwolucyjnych, w tym popularne architektury: Resnet, VGG, DenseNet oraz zagadnienia augmentacji danych i zjawisko overfittingu.
5 Debaty studenckie na tematy z obszaru transferu wiedzy w sieciach neuronowych.
6 Prezentacje w ramach pierwszego kamienia milowego.
7 Framework Keras w wersji niskopoziomowej + analogia do Pytorcha (w tym pytorch.lightning). Wady i zalety dwóch frameworków na przykładzie Relation Network.
8 Algorytmy: MLP-Mixer, Knowledge Distillation - skeptical student.
9 Algorytm Multiple-instance learning.
10 Algorytmy: Cross-stitch networks, GradNorm.
11 Prezentacje studentów w ramach kamienia milowego nr 2.
12 Prezentacje studentów nt. najnowszych artykułów z Arxiv z obszaru transferu wiedzy.
13 Algorytm adaptacji w przypadku continual learning.
14 Omówienie nagrań z prezentacjami studentów.
15 Podsumowanie przedmiotu.

Postęp prac projektowych - terminy weryfikacji

  • kamień_milowy_1a: 31.03.2022
  • kamień_milowy_1b: 07.04.2022
  • kamień_milowy_2: 05.05.2022

Punktacja:

  • praca nad projektem (48 pkt.):
    • kamień milowy_1a: wstępny przegląd literatury z wybranego obszaru transferu wiedzy, harmonogram prac i podział obowiązków, prezentacja (11 pkt.)*
    • aktywność_1: przygotowanie i poprowadzenie debaty studenckiej (3 pkt.)
    • kamień milowy_1b: wstępny opis literatury w ramach artykułu (5 pkt.)*
    • kamień milowy_2: (17 pkt. = 10 pkt. + 7 pkt.*)
    • aktywność_2: opracowanie na zajęciach jednego z najnowszych artykułów na Arxiv pod kątem (Why?, What?, How?), prezentacja (5 pkt.)
    • aktywność_3: recenzja prezentacji w ramach aktywności 2 (2 pkt.)
    • aktywność_4: recenzja prezentacji finalnych (5 pkt.)
  • prezentacja końcowa (16 pkt.*)
  • raport końcowy (32 pkt.*)
  • stosowanie dobrych praktyk wykorzystania GitHub (4 pkt.*)

* rozliczane grupowo