- Скопируйте репозиторий
- Установите requirements.txt
- Установите Sendmail:
sudo apt install sendemail
- Запустить спайдеры:
runspider.sh
1.1 Посмотрите примеры парсеров в папке: src/grabber/nsreg/spiders
-
Есть шаблонные сайты, для которых уже созданы функции в utils_spider.py В их нейминге первое -- это регион, второе -- это название раздела цен в url Например, moscow_tariffs() Пример грабера: src/grabber/nsreg/spiders/nsreg_citydomains
-
Если сайт не шаблонный, то делайте код идентиным этому: src/grabber/nsreg/spiders/nsreg_betnames
-
Добавьте запуск своего спайдера в runspiders.sh.
scrapy crawl nsreg_2domains --logfile $ERROR_LOG --loglevel $LOG_LEVEL