Не получается спарсить, с впн тоже. наверное проблема в заглушке, что есть на 5 секунд на сайте.
kargintima opened this issue · 4 comments
kargintima commented
Start collecting information from pages..
503 Server Error: Service Temporarily Unavailable for url: https://cian.ru/cat.php?deal_type=rent&engine_version=2&p=1®ion=4588&offer_type=flat&type=4
Dont exist this 1 page.. Ending parse
Есть идеи у кого?
lenarsaitov commented
Постараюсь посмотреть на днях
q00Dree commented
Аналогичная ошибка, есть обновления по этому вопросу?
vbaryshev commented
Аналогично
lenarsaitov commented
Проблема была связана с Cloudflare anti-bot page
При помощи библиотеки cloudscraper удалось обойти данное ограничение
https://github.com/VeNoMouS/cloudscraper
Выпустил соответствующее обновление