/nsreg-watcher

Primary LanguagePython

ngreg-watcher

Установка

  1. Скопируйте репозиторий
  2. Установите requirements.txt
  3. Установите Sendmail:
sudo apt install sendemail
  1. Запустить спайдеры:
runspider.sh

Создание спайдера

1.1 Посмотрите примеры парсеров в папке: src/grabber/nsreg/spiders

  1. Есть шаблонные сайты, для которых уже созданы функции в utils_spider.py В их нейминге первое -- это регион, второе -- это название раздела цен в url Например, moscow_tariffs() Пример грабера: src/grabber/nsreg/spiders/nsreg_citydomains

  2. Если сайт не шаблонный, то делайте код идентиным этому: src/grabber/nsreg/spiders/nsreg_betnames

  3. Добавьте запуск своего спайдера в runspiders.sh.

scrapy crawl nsreg_2domains --logfile $ERROR_LOG --loglevel $LOG_LEVEL