/Verso-GPT-e-oltre

Corso completo in Intelligenza Artificiale Generativa, a partire da zero

Primary LanguageJupyter NotebookMIT LicenseMIT

Corso completo, in italiano, sulla creazione di modelli di intelligenza artificiale, inizialmente seguendo ed adattando il corso di Andrej Karpathy Neural Networks: Zero to Hero, e proseguendo con successivi capitoli sulla generazione di immagini, generazioni di audio ed altro. Il corso, inizialmente, prepara principalmente sulla creazione di modelli di intelligenza artificiale generativa di tipo LLM, tuttavia, come vedremo nelle lezioni più avanzate del corso, le competenze saranno facilmente trasferibili ad altri ambiti dell'intelligenza artificiale.

Lezioni preparate:

  1. Demistificare le reti neurali e la back propagation: sviluppo di Micrograd
  2. Introduzione ai modelli di linguaggio: Bigram Language Model: sviluppo di Makemore (parte 1)
  3. Aumentiamo il contesto: N-Gram Language Model: sviluppo di Makemore (parte 2)

Lezioni in programma (da adattare):

  1. Building makemore Part 3: Activations & Gradients, BatchNorm
  2. Building makemore Part 4: Becoming a Backprop Ninja
  3. Building makemore Part 5: Building a WaveNet
  4. Let's build GPT: from scratch, in code, spelled out.
  5. Let's build the GPT Tokenizer
  6. Let's reproduce GPT-2 (124M)

Il corso è in fase di sviluppo, seguiranno aggiornamenti.