Scrapy parser PEP
Описание:
Асинхронный парсер документов PEP на базе фреймворка Scrapy. Парсер выводит собранную информацию в два файла .csv:
- В первый файл выводит список всех PEP: номер, название и статус.
- Второй файл содержит сводку по статусам PEP — сколько найдено документов в каждом статусе. В последней строке общее количество всех документов.
Используемые технологии:
Python, Scrapy
Как запустить проект:
Клонировать репозиторий и перейти в него в командной строке:
git clone git@github.com:ase77/scrapy_parser_pep.git
cd scrapy_parser_pep
Cоздать и активировать виртуальное окружение:
-
Если у вас Linux/MacOS
python3 -m venv venv source venv/bin/activate -
Если у вас Windows
python -m venv venv source venv/Scripts/activate
Установить зависимости из файла requirements.txt:
python3 -m pip install --upgrade pip
pip install -r requirements.txt
Запуск парсера:
scrapy crawl pep
Файды будут созданы в дериктории results
Автор проекта:
Моторин А.В.
В начало