FORTUNE是一个基于Laravel
框架开发的中新网金融频道新闻爬虫,它可以24小时不间断地从中新网金融频道获取最新的新闻信息。
该爬虫会将爬到的新闻以markdown格式进行转换,保存到项目根目录的markdown文件夹下。文件名为发布日期+新闻标题。当标题解码出现乱码的时候会以SHA256的格式作为文件名重新尝试保存文件。
运行爬虫很简单,在命令行执行
php artisan spider
即可。正常情况下不会有任何输出,出现错误的时候会输出错误。命令执行的时候会在
/storage/log
内生成所有的日志信息。命令执行一次即爬取一遍,爬取一遍后命令自动退出。需要24小时重复执行的需要另写脚本。