lenarsaitov/cianparser

Ошибка: Dont exist this 1 page.. Ending parse

airatvibe opened this issue · 8 comments

airatvibe commented

Здравствуйте!

При попытке запустить парсер сразу выдается следующая ошибка:

>>> import cianparser

>>> data = cianparser.parse(offer="rent_long", accommodation="flat", location="Казань", rooms="all", start_page=1, end_page=2)

               Start collecting information from pages..
403 Client Error: Forbidden for url: https://cian.ru/cat.php?deal_type=rent&engine_version=2&p=1&region=4618&offer_type=flat&type=4
Dont exist this 1 page.. Ending parse

В чем может быть дело?
Циан обновился и всё перестало работать? Или может мой айпи заблокирован для Циана. Хотя я запускаю парсер с сервера в Москве.

AiratHalitov commented

да, скорее всего дело в блокировке по айпи. Потому что с личного айпи этот URL открывается.
А есть возможность использовать прокси? Просто не хотелось бы портить "репутацию" своего домашнего айпишника для Циана

justasimplesound commented

да, скорее всего дело в блокировке по айпи. Потому что с личного айпи этот URL открывается. А есть возможность использовать прокси? Просто не хотелось бы портить "репутацию" своего домашнего айпишника для Циана

Добрый день! У вас получилось решить проблему? @AiratHalitov

AiratHalitov commented

@justasimplesound
Да, пока актуальность данного вопроса упала, т.к. парсер собирает только аренду, а меня интересует продажа недвижимости (дома, квартиры, апартаменты) в Сочи.

lenarsaitov commented

@justasimplesound, @justasimplesound

Выпустил обновление с обходом анти бота Cloudflare's, должно было решить эту проблему

Буду рад обратной связи, тк блокировка по IP, наблюдалась не у всех, и имеется подозрение, что существует некоторые различия в зависимости от провайдера и способа раздачи (через телефон?)

AiratHalitov commented

Нет, через телефон не раздавал. Просто арендованный VPS. Проверю в ближайшее время, как работает

lenarsaitov commented

Ага, хорошо. Наоборот, уверен, раздача через телефон (мобильный интернет) лучше. У меня никогда проблем не возникало, даже без пауз и с большим кол-вом запросов в секунду

В любом случае, буду рад узнать результаты

AiratHalitov commented

Запустил на домашнем ноуте со своего домашнего интернета -- всё работает.
Спасибо!

  • 👍1
lenarsaitov commented

Отлично, рад что все получилось