511 Server Error
a-i-v opened this issue · 5 comments
Привет, попытался использовать твой код для своей оценки. Получаю ошибку:
/usr/local/lib/python3.7/dist-packages/requests/models.py in raise_for_status(self)
939
940 if http_error_msg:
--> 941 raise HTTPError(http_error_msg, response=self)
942
943 def close(self):
HTTPError: 511 Server Error: for url: https://kazan.cian.ru/cat.php?deal_type=rent&engine_version=2&offer_type=flat&p=1®ion=4777&type=4
Насколько я понимаю, она связана с аутентификацией, есть идеи как можно это обойти? Или возможно я что-то делаю не так...
Заранее спасибо.
Привет.
Интересно. Вижу это происходит сразу же, на первой странице. Вероятно есть несоответствие user-agent и твоей системы вместе с браузером. И сайт определённым образом это отлавливает.
Сейчас кое-что подправил (сделал соответствие некоторому обновлению сайта), а также закомментил user-agent при создании сессии.
Попробуй снова склонировать проект и запустить.
Буду рад узнать результат.
Нет, к сожалению, это не срботало. Я использую https://colab.research.google.com, может быть дело в нем.
Я также попробовал поставить свой UA, но ошибка та же. При этом со своего браузера я могу зайти на эту страницу...
Да, действительно через colab происходит такое. Проверил, отправка любого обычного запроса через него на этот сайт падает с подобной ошибкой. Если бы на циане была стандартная авторизация через логин и пароль, то это можно было бы исправить, но здесь необходимы различные сайты-посредники в виде вк, гугл-аккаунта и проч. К сожалению, не могу здесь чем-либо помочь. Остаётся вариант запускать этот код у себя, локально.
Ок, спасибо большое за обратную связь!
То есть через Google Colab не стоит использовать данную библиотеку, напишу в описании к проекту