/RentSpider

a spider for rent data (Ziroom, Fang, Danke) 支持自如、蛋壳、房天下三家公寓的房价数据爬取。保存字段为房源名称、出租面积、租金。

Primary LanguageJupyter NotebookApache License 2.0Apache-2.0

房租爬虫

支持自如、蛋壳、房天下三家公寓的房价数据爬取。保存字段为房源名称、出租面积、租金。

环境要求

代码使用 python2.7,依赖的库如下:

selenium(3.14.0)

opencv-python (3.1.0)

为了获取js生成的数据,我们使用 selenium 的 webdriver 模块调用 googledriver。需要下载 googledriver,地址为: https://sites.google.com/a/chromium.org/chromedriver/downloads (需要科学上网) http://npm.taobao.org/mirrors/chromedriver/ (国内可用)

下载时注意选择版本和自己的chrome浏览器版本对应。

使用方法

代码整理干净了再更