/fangtianxia_redis

房天下新房二手房数据爬取

Primary LanguagePython

fangtianxia_redis

​ scrapy redis分布式爬虫,爬取房天下新房二手房数据

start_urls为房天下城市列表页,对所有城市链接进行提取,并通过拼接生成新房链接和二手房链接,再对新房链接和二手房链接进行请求,爬取新房房名、价格、地址、户型、区域和链接等信息,爬取二手房房名、户型、区域、年代、楼层、联系人、地址、价格和链接等信息