基于Scrapy框架的网易云音乐爬虫,大致爬虫流程如下:
- 以歌手页为索引页,抓取到全部歌手;
- 从全部歌手页抓取到全部专辑;
- 通过所有专辑抓取到所有歌曲;
- 最后抓取歌曲的精彩评论。
数据保存到Mongodb
数据库,保存歌曲的歌手,歌名,专辑,和热评的作者,赞数,以及作者头像url。
抓取评论者的头像url,是因为如果大家喜欢,可以将他做web端。
$ scrapy crawl music
查看详情:here
基于Scrapy框架的网易云音乐爬虫,大致爬虫流程如下:
数据保存到Mongodb
数据库,保存歌曲的歌手,歌名,专辑,和热评的作者,赞数,以及作者头像url。
抓取评论者的头像url,是因为如果大家喜欢,可以将他做web端。
$ scrapy crawl music
查看详情:here