Как спрарсить все страницы?
airatvibe opened this issue · 3 comments
Есть ли режим парсинга "Все страницы"?
Для этого нужно указать end_page каким-нибудь большим числом или можно написать "all"?
Как это можно сделать?
И если я напишу большое число, типо 3000 или 10000, будет ли парсер пытаться пройтись по этим страницам, даже если их нет?
Мне нужно просто все предложения по данному запросу собрать.
Если такой возможности нет, было бы полезно ее добавить.
Заранее спасибо!
В Readme добавлено описание по данному моменту
Плюс очень советую прочитать раздел Ограничение
Оказывается до этого при окончании страниц с объявлениями, сайт переводил на первую страницу...
Обработал данный момент в новой версии, теперь при окончании должно быть завершение
@lenarsaitov хм, да паршу крупный город, после ~1500 страниц данные дублируются:(
А есть ли возможность все-таки как-то спасить? Уже урезал по максимум имеющимися параметрами.
Попробую в базовую ссылку жестко вставить дополнительные фильтры по цене от и до:)
@tmvnn к сожалению никак не обойти это ограничение, сам сайт выдает лимитированное количество. Решение состоит только в увеличении конкретики