Duff89/parser_avito

Ошибка перед сменой страницы

TUTTIK-FRUTTIK opened this issue · 3 comments

requirements через pip установил, Chrome 118 версии, скрипт работает отлично, но до того как дойдет до следующей страницы, как я понял. Текст ошибки в изображении
image

Duff89 commented

requirements через pip установил, Chrome 118 версии, скрипт работает отлично, но до того как дойдет до следующей страницы, как я понял. Текст ошибки в изображении image

Попробуйте запустить в режиме отладки (нужно поставить галочку снизу слева) и посмотреть, что там происходит на самом деле

Хм, только что запустил в режиме отладки и, несмотря на то, что выдало то же, что и тут, он всё же написал о завершении работы и последующей проверке через заданное время. Тоесть я так понимаю всё же скрипт исполняется спокойно. Думаю пока не буду об этом волноваться, всё равно всё в csv записывается.

В этот раз он не скрывал хром. У меня вопрос, он прям запрашивает у сервера данные на каждое объявление? Если да, то это не должно привести к бану?

Duff89 commented

В этот раз он не скрывал хром. У меня вопрос, он прям запрашивает у сервера данные на каждое объявление? Если да, то это не должно привести к бану?

Скрипт эмулирует работу обычного пользователя для минимизации бана. Там такая логика:

  1. Он смотрит на начальной странице подпадает ли объявление под условия: цена, слова-ключи, дубль или нет
  2. Если подпадает, то он открывает уже это объявление полностью на новой странице и там забирает остальную информацию.
  3. Если не подпадает - переходит к следующему объявлению.
    Обратите внимание, что в скрипте нет авторизации, т.е. всё парсится без входа в аккаунт, поэтому бан по IP не так страшен, хотя и может быть, а бан аккаунта исключен