/msgr

Парсер сайта msgr.ru и формирование статистики на основе спарсенных данных.

Primary LanguageJupyter Notebook

Парсер для www.msgr.ru (МосСоцГарантия)

 

Описание:

https://habr.com/ru/post/487370/

 

Зависимости:

Anaconda python 3, scrapy, yfinance, openpyxl, requests, numpy, pandas, tqdm

(conda install scrapy yfinance openpyxl requests numpy pandas tqdm -c conda-forge)

 

1. Запуск парсера: python3 msgr_parser.py

2. Формирование отчёта и координат для Yandex карт: python3 report.py

 


Если нужна карта:

1. Необходимо ваш yandex api ключ записать в файл yandex.key.txt (https://yandex.ru/blog/mapsapi/novye-pravila-dostupa-k-api-kart)

2. Раскомментировать соответствующий код в report.py в самом конце, где вызывается функция make_yandex_map(auctions, past_auctions)

3. Координаты после выполнения report.py находятся в файле yandex.map.csv/yandex.map.full.csv, их нужно загрузить на https://yandex.ru/map-constructor/

 


Гистограммы находятся в файле statistics.ipynb