Это курс о том, как эффективно измерять, обрабатывать и передавать информацию.
- Почему биты стали универсальным инструментом обмена информацией.
- Как теория информации влияет на архитектуру, работу современных устройств и систем, таких как смартфон и Интернет.
- Что такое энтропия и взаимная информация, почему они так важны для представления обмена и вывода данных.
- Алгоритмы сжатия и исправление ошибок.
- Связь теории информации с такими понятиями как вероятность, статистика, машинное обучение, биологические и искусственные нейронные сети, геномика, квантовая информация и блокчейн.
- Тема 1. Ансамбли и вероятности. Байесовский вывод
- Тема 2. Энтропия
- Тема 3. Количество информации
- Тема 4. Каналы передачи данных
- Тема 5. Символьные коды. Префиксные коды
- Тема 6. Кодирование Шеннона-Фано. Кодирование Хаффмена. Арифметическое кодирование
- Тема 7. Другие эффективные коды
- Тема 8. Помехоустойчивое кодирование. Код Хэмминга
- Тема 9. Циклические коды
- Тема 10. Исправление пакетов ошибок. Циклический избыточный код
- Тема 11. Матричные коды. Коды Адамара
- Тема 12. Коды Рида-Маллера
- Тема 13. Свёрточные коды. Треллис-диаграммы
- Тема 14. Модели детерминированных сигналов
- Тема 15. Восстановление сигнала по его дискретным значениям
- Information Theory, Stanford University, by Tsachy Weissman (https://web.stanford.edu/class/ee376a/index.html)
- Information Theory, MIT Open Coursware, by Prof. Yury Polyanskiy (https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-441-information-theory-spring-2016/)
- Probability and Random Variables, MIT Open Coursware, by Prof. Scott Sheffield (https://ocw.mit.edu/courses/mathematics/18-600-probability-and-random-variables-fall-2019/)
- Introduction to Probability and Statistics, MIT Open Coursware, Jeremy Orloff, Jonathan Bloom (https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/)
- Теория информации и кодирования Электронный ресурс : учеб. пособие, Гошин Е. В. (http://repo.ssau.ru/handle/Uchebnye-izdaniya/Teoriya-informacii-i-kodirovaniya-Elektronnyi-resurs-ucheb-posobie-72551)
- Практикум по теории информации и кодирования Электронный ресурс : учеб. пособие, Гошин Е. В. (http://repo.ssau.ru/handle/Uchebnye-izdaniya/Praktikum-po-teorii-informacii-i-kodirovaniya-Elektronnyi-resurs-ucheb-posobie-72602)