/scrapy

scrapy 进阶与实战

Primary LanguageHTML

感谢关注,zone7 公众号,与您一起学习分享后端知识。本公众号涉及的知识点将会有:nodejs,python,docker,kubernetes,后端架构 zone7

scrapy

关于 scrapy 的各种初体验,本项目会持续更新,直到 scrapy 系列推文结束更新。

doubanTop250 | 豆瓣爬虫

此项目为 scrapy 初体验源码,关于豆瓣电影 Top 250 的爬虫文章, 相应的文章地址为:

rentHouseScrapy | 租房爬虫

入口:直接运行 main.py 即可

此项目为 scrapy 实战文章。

如何启动项目?

此项目为 scrapy 实战文章,关于房天下广州租房数据的爬取与分析 相应的文章地址为:

开始抓取:

clone 当前项目到你的电脑,安装好相应的依赖包,配置好数据库 ip 地址、账号、密码。

分析数据:

数据抓取完毕之后,进入到 analysis 目录下,直接运行文件,即可开始数据分析。

如何修改成自己所在城市的爬虫?`

修改 baseUrl = "http://gz.zu.fang.com/" 成你对应城市的地址就行。

girlScrapy | 妹子图

关于 scrapy 爬取图片的教程。此项目爬取了妹子图网站。

splashScrapy | 爬取QQ音乐周杰伦歌词与专辑

入口:直接运行 main.py 即可

相应的文章地址为:

doubanScrapyRedis | 分布式爬虫

入口:直接运行 main.py 即可(请配置好你本地的 redis 数据库)

jingDongScrapyRedis | 京东图书,分布式爬虫

入口:直接运行 main.py 即可(请配置好你本地的 redis 数据库)