Проект парсинга python.org

Описание

Парсер включает в себя несколько функций, описанных в разделе "Доступные команды", направленных на сбор информации с официальных поддоменов *.python.org.

Используемые технологии

Python
beautifulsoup4
lxml
requests-cache - библиотека кеширования запросов для стандартной библиотеки request
tqdm - добавление progress-bar
prettytable - красивый вывод таблиц в терминал

Как развернуть проект?

Склонировать репозиторий

git clone https://github.com/TomatoInOil/bs4_parser_pep.git

Перейти в корневую папку проекта

cd bs4_parser_pep/

Создать виртуальное окружение

python -m venv venv

Активировать виртуальное окружение

source venv/Scripts/activate

Установить зависимости

pip install -r requirements.txt

Перейти в папку src

cd src/

Можно выполнять доступные команды, например

python main.py whats-new

Доступные команды

Общая справка

usage: main.py [-h] [-c] [-o {pretty,file}] {whats-new,latest-versions,download,pep}

Парсер документации Python

positional arguments:
  {whats-new,latest-versions,download,pep}
                        Режимы работы парсера

options:
  -h, --help            show this help message and exit
  -c, --clear-cache     Очистка кеша
  -o {pretty,file}, --output {pretty,file}
                        Дополнительные способы вывода данных

Примеры команд

Собрать ссылки на статьи о нововведениях в Python, информацию об авторах и редакторах статей, сохраняя результат в CSV-файл.

python main.py -o file whats-new

Собрать информацию о статусах версий Python, выводя её в терминал в формате PrettyTable.

python main.py -o pretty latest-versions

Скачать архив с актуальной документацией.

python main.py download

Посчитать количество PEP в каждом статусе и общее количество PEP и сохранить в CSV-файл, очистив перед этим кеш.

python main.py -с -o file pep

Автор

Проект выполнен в рамках учебы в Яндекс.Практикум Даниилом Паутовым =^..^=______/