/doubanRenting

最近准备搬家,看到豆瓣上有租房的帖子,看起来比较费劲,就写了一个小的爬虫程序,可以自己输入关键字,自动匹配相关帖子,保存到本地,可直接查看想要的信息

Primary LanguagePython

doubanRenting

文件说明 1、cookies.txt 登录用户的cookies信息,用工具Charles可以直接抓包获取,然后把cookies信息直接复制到文件中 格式如 x1:xxx;x2:xxx;x3:xxx...... 2、setting.json 要爬的关键字 lasttime 不需要改动(记录上一次爬虫时间),keywords 为数组,自己写入要抓包的关键字 3、result.json 为爬虫的结果 其中一些参数,如最多爬取3天数据,每次爬虫的时间间隔,都可以在代码中修改,有备注