lenarsaitov/cianparser

общие вопросы

vpreparate opened this issue · 14 comments

vpreparate commented

доБрый день y вас интересный модyль
какие коды y Долгопрyдного, Одинцово и Балашихи
использyет ли Ваш модyль usеr agеntы и Бyдет ли обновление с проксями
и реально ли реализовать окно tkintеr где появляется рyчной ввод капчи

lenarsaitov commented

Добрый вечер!

  1. По первому, есть код-соответствие в библиотеке, по остальным двух их нет, надо будет актуализировать
    Долгопрудный 4738
    Одинцово 175578
    Балашиха 174292

  2. Usеr agеntы и прокси на данный момент не используются, вполне возможно в ближайшее время буду смотреть в данном направлении

  3. Интересный вопрос, не задумывался, но насколько это актуально? Капча ведь действительна ограниченное кол-во времени (как я помню, лишь 2 минуты), с другой стороны, можно добавить уведомление, к примеру, в телегу. В общем есть, над чем подумать

lenarsaitov commented

В версии 0.4.14 добавлено указание в логах на наличие капчи, в случае его появления

lenarsaitov commented

@vpreparate

Добавил в 0.4.20 версии аргумент для предоставления proxy, а также описание Cloudflare, CloudScraper, Proxy

lenarsaitov commented

В 0.4.22 версии обновил коды у городов

vpreparate commented

Прошу прощения но мне тяжело даётся обучение по пайтону....
я только могу спарсить тайтл или h1 только... планировал разобрать Ваш код для исследования но трудности с понятием конструкции модуля.... если подвернётся случай буду рад лицезреть лайтовую версию не модуля и немного упрощённую
У Вас очень качественный продукт для риелтеров но мне как заинтересованному в покупке даже немного страшно его использовать ..... если бы опиараясь на цену и по выбору на город проходить скриптом не нагружая сервер переиодически в поисках самых дешёвых вариантов ... Это Было Бы очень полезно и для людей и для циана...
я не подталкиваю и не принуждаю а просто выражаю благодарность Вам.

lenarsaitov commented

Пока не знаю по поводу лайтовой версии.

Но что касается сортировки по цене (для поиска бюджетных вариантов) и прочее, добавил новый функционал по дополнительным полям, можно смотреть, обновившись до 0.4.26 версии

Подробнее здесь:
Дополнительные фильтры поиска

Плюс подправил коды городов, и теперь имеются все вышеперечисленные (Долгопрудный, Одинцово, Балашиха) , а также много новых.

lenarsaitov commented

@vpreparate
Ниже простой пример, как получить объявление с наиболее бюджетной однокомнатной квартирой в Долгопрудном

import cianparser
    
additional_settings = {
    "sort_by": "price_from_min_to_max",
}

data = cianparser.parse(
    deal_type="sale",
    accommodation_type="flat",
    location="Долгопрудный",
    rooms=(1),
    start_page=1,
    end_page=1,
    is_saving_csv=True,
    additional_settings=additional_settings,
)

print(data[0])
vpreparate commented

спасиБо - Бyдy тестить!!!
TypeError: parse() got an unexpected keyword argument 'additional_settings'

lenarsaitov commented

@vpreparate

предварительно необходимо обновится до последней версии (на данный момент это 0.4.28)

pip install --upgrade cianparser
lenarsaitov commented

@vpreparate

Получилось решить проблему?

vpreparate commented

Да!!! всё очень круто ... Буду ждать лайтовую версию -_-
хотя вроде смог в модуль залезть в директорию /site-packages/cianparser можно попытаться разобрать Ваш код

vpreparate commented

у меня три мечты к которым я хотел бы стремиться:

  1. интерактивная галлерея где можно наложить звук на картинку и соединить их все в один музыкальный микс (картинки и отрывки есть около 20к в сумме)
  2. Сайт который показывает геолокацию телефонов
  3. Написать своего простого ИИ как ребёнка который всё время спрашивает и обучается + прогулки в интернет....
    для первых двух в идеале надо знать Java для написания приложения а для меня это полная дыра мне бы с питоном разобраться.... а вот третья вполне вероятно осуществима надо тока литературу поискать по TensorFlow.
    tg @MR_GONZA @MR_PROOF
    //// да это не по теме (но вопрос закрыт)
    и мне интересно мнение специалиста .... может не стоит к этому стремиться?
vpreparate commented

я правильно понял??? что всем сбором информации занимается функция: def parse_block ....
но такое ощущение что он не со страницы берёт информацию а из урла или как то хитро кооперируют ... для меня очень сложно... и ещё иногда бывает что вместо общей площади записывает дату в таблицу вместо "39.9" например записывает "18 мар." ..... Просто все по разному находят нужные блоки кто-то через path и даже в этом утилиты есть которые помогают ... кто - то через общий тег а кто по другому ..... Буду познавать исскуство выдёргивания текста