/hotline

hotline

Primary LanguagePython

Парсер Hotline



Установка:

  1. Клонировать репозиторий:

        git clone https://github.com/dev2033/hotline.git

  2. Перейти в папку с проектом, создать и активировать виртуальное окружение, установить зависимости:

        cd hotline/
    python3 -m venv venv
    . venv/bin/activate
    pip install -r requirements.txt

Запуск:

  1. Перейти в папку src и запустить файл app.py: 
        cd src/
    python app.py

Если возникает ошибка с webdriver, нужно скачать geckodriver и положить его в папку `webdriver`. Сам webdriver нужен нужной версии для вашего FireFox


Паузы:

  1. Файл parser/parser.py, строка 144:

        time.sleep(7 if index % 10 != 0 else 60*1)

    По дефолту пауза между одни товаров 7 секунд, а каждую 9 итерацию пауза будет равно 1 минуте (60*1)

  2. Файл parser/utils.py, функция get_urls_keyboards_and_mouse, строка 98 и 115:

         time.sleep(random.randrange(2, 5))

     time.sleep(random.randrange(3, 8))

    Рандомная пауза по этим ограничениями, первая пауза по сбору ссылок, вторая перебирает эти ссылки и собирает ссылки на те товары, у которых есть выбор цвета

  3. Файл parser/utils.py, функция get_links, строка 184:

         time.sleep(random.randrange(3, 6))

    Эта пауза нужна для сбора ссылок на товары, у которых нет цвета

Скачать chromedriver: https://chromedriver.storage.googleapis.com/index.html