Содержимое:
Здесь мы с вами установим Python с нужными библиотеками. Вам нужно выбрать вариант, которым вы хотите воспользоваться - использовать Conda или virtualenv.
Если у вас Linux, вы можете воспользоваться этим скриптом. Его нужно скопировать в консоль и выполнить, или скачать (например, wget) и выполнить chmod +x script.py && bash script.py
.
Если у вас mac или windows, загрузите Anaconda, а затем в Terminal (Mac OS) или Anaconda Prompt (Windows) выполните строчки из скрипта выше, начиная с # create new environment and basic list of packages in it
. Поступите аналогично, если у вас уже установлена conda.
После установки активируйте окружение и установите дополнительные зависимости, лежащие в корне репозитория:
conda activate py36 && pip install -r <path_to_requirements.txt>
.
Если вы не хотите использовать conda, можно воспользоваться virtualenv. Если вы воспользовались conda, вы можете изучить этот раздел как более подробное описание того, какую задачу выполняет используемый выше скрипт.
- Нужно установить утилиту virtualenv. Сайт с документацией и описанием, что это такое и как установить . Работая с virtualenv, вы сможете гарантированно запускать скрипты с теми же версиями библиотек, что и на лекциях и семинарах.
- Создайте окружение для python3.6 командой
virtualenv -p python3.6 <path_to_dir_where_env_will_be_stored>
- Активируйте его командой
source <path_to_the_dir/bin/activate>
, для выхода используйте командуdeactivate
- Теперь у вас есть отдельная версия Питона, с которой можно делать что угодно, не боясь, что это затронет другие ваши проекты.
- Установите необходимые пакеты командой
pip install -r <path_to_rep_requirements.txt>
. Этот файл будет находится в репозитории курса, в нём будут перечислены все необхожимые библиотеки с указанными версиями. Выполнив команду, вы получите такую же конфигурацию библиотек, которая используется на семинарах и лекциях. - Добавьте в Jupyter Notebook созданное ранее виртуальное окружение как новый Kernel. Как это сделать наглядно описано здесь. Теперь вы сможете запускать ноутбуки в этом окружении. При запуске ноутбука справа сверху должно быть указано python 3.6, если же этого не произошло, вы можете переключиться на нужное ядро через Kernel > Change kernel прямо в отрытом ноутбуке с кодом.
Большую часть кода мы будем писать и изучать в jupyter notebook (нужные пакеты указаны в файле requirements.txt). Нужно поднять сервер Jupyter Notebook. Для это это выполните команду jupyter notebook --port 8000 --port-retries=0 --ip='*' --no-browser
. Теперь вы можете зайти в браузере на страницу http://localhost:8000/tree
и увидеть проводник. Корневой папкой будет та, находясь в которой, вы выполнили команду запуска.
https://hackmd.io/@aguschin/BJODbTruB#
- Лекционная часть
- Расписание семестра - https://hackmd.io/@aguschin/r1A-dDJKH#
- Визуализации - https://hackmd.io/@aguschin/SyQZoNsuH#
- EDA - https://hackmd.io/@aguschin/r1Z3nfidr#
- Семинарская часть
- в seminars/EDA
- Обсуждение
- решения победителей competitions/passwords
- Лекционная часть
- Метрики - lectures/Metrics.pdf
- Валидация - lectures/Validation.pdf
- Семинарская часть
- в seminars/baseline
- Обсуждение
- идеи для второго соревнования
- Лекционная часть
- Генерация признаков (табличные данные) - https://hackmd.io/@0lgaF/SkYHPDy5r#
- Извлечение признаков из текстов и картинок - lectures/FeatureExtractionFromTextsAndImages.pdf
- Обсуждение
- решения победителей второго соревнования