爬取天气后报网站(www.tianqihoubao.com/weather/city.aspx) 上从2011年至今的历史天气数据,并使用MongoDB进行数据存储,pyecharts进行数据分析和展示.
python spider.py -c 城市拼音名 #爬取数据到MonogoDB数据库
python create_htm.py #在代码文件夹目录生成相关图表,可以自己调整
python get_url_list #获取所有城市对应的url以及城市名称,爬取的内容我以dict的形式放在了config.py,避免反复爬取.
python spider.py -c "zhengzhou" #爬取并存储郑州市2011年至2019年3月的天气数据
郑州2011年至今气温变化
郑州历史天气占比
郑州历年晴雨天总数
- 网站本身存在一些问题,有的页面存在日期重复的情况,如http://www.tianqihoubao.com/lishi/sheqi/month/201801.html ,1月1日出现了两次,需要去重。
- 请求有时会超时