/baidu-crawler

搜索歌手或者歌曲,抓取百度音乐上的歌曲

Primary LanguagePythonApache License 2.0Apache-2.0

baidu-crawler

###环境配置: #####1.python环境: ######python -V == 2.7.9 ######python modules, 详见requirements.txt定义 #####2.数据库配置: ######conf目录下的cm.py文件记录着redis及mysql数据库的相关配置信息, 歌曲下载后的存储路径,当然, 你也可自定义数据库的配置 ###功能说明: #####应用分为歌手搜索(百度收录的所有歌曲)和歌曲搜索(百度收录的第一页,后面的直接略)两个板块 ######1.歌手搜索:conf目录下的cm.py配置文件可自定义搜索歌手,搜索程序的使用方法见test目录下的SearchMusicBySinger.py,返回百度收录该歌手的所有歌曲的信息,以(sid,author,sname,durl)的四元组形式存入mysql,用户可以选择直接下载或者取消(复制durl到迅雷等下载工具进行下载) ######2.歌曲搜索:用户自定义搜索歌曲,使用方法见test目录下的SearchMusicBySname.py,返回百度收录歌单的第一页(由于后面的数据参考性不大,就直接省去了之后页面的歌曲),展示形式为(sid, author,sname,durl)四元组,用户可以选择直接下载或者取消(复制durl到迅雷等下载工具进行下载) ###TODO ######1.添加图形界面的支持,具体实现细节见views目录的各个文件 ######2.添加对流媒体的支持,实现在线播放功能 ######3.添加多线程的支持,加快网页解析速度 ###不足之处: ######单线程, 阻塞态, 容易受网络条件影响, 程序被阻塞, 无法进行后续的下载任务