163Music 基于Scrapy框架的网易云音乐爬虫,大致爬虫流程如下: 以歌手页为索引页,抓取到全部歌手; 从全部歌手页抓取到全部专辑; 通过所有专辑抓取到所有歌曲; 最后抓取歌曲的精彩评论。 数据保存到Mongodb数据库,保存歌曲的歌手,歌名,专辑,和热评的作者,赞数,以及作者头像url。 抓取评论者的头像url,是因为如果大家喜欢,可以将他做web端。 运行: $ scrapy crawl music