Event monitor based on online news corpus built by Baidu search enginee using event keyword for event storyline and analysis,基于给定事件关键词,采集事件资讯,对事件进行挖掘和分析。
执行方式:进入EventMonitor目录下,进入cmd窗口,执行"scrapy crawl eventspider -a keyword=话题关键词",或者直接python crawl.py, 等待数秒后,既可以在news文件夹中存储相应的新闻文件,可以得到相应事件的话题集,话题历史文本
对于1)得到的历史语料,可以使用基于依存语义和情感词库的篇章级情感分析算法进行情感分析
这部分参考我的篇章级情感分析项目DocSentimentAnalysis:https://github.com/liuhuanyong/DocSentimentAnalysis
对于1)得到的历史语料,可以使用百度指数,新浪微博指数进行采集
这部分参考我的百度指数采集项目BaiduIndexSpyder:https://github.com/liuhuanyong/BaiduIndexSpyder
微博指数采集项目WeiboIndexSpyder:https://github.com/liuhuanyong/WeiboIndexSpyder
对于1)得到的历史语料,可以使用LDA,Kmeans模型进行话题分析
这部分参考我的话题分析项目Topicluster:https://github.com/liuhuanyong/TopicCluster
对于1)得到的历史语料,可以使用跨篇章的textrank算法,对文本集的重要性进行计算和排序
这部分参考我的文本重要性分析项目ImportantEventExtractor:https://github.com/liuhuanyong/ImportantEventExtractor
对于得到每个历史新闻事件文本,可以使用关键词,实体识别等关系抽取方法对文本进行可视化展示
这部分内容,参考我的文本内容可视化项目项目TextGrapher:https://github.com/liuhuanyong/TextGrapher
关于事件监测的方法有很多,也有很多问题需要去解决,以上提出的方法只是一个尝试,就算法本身还有许多需要改进的地方
如有自然语言处理、知识图谱、事理图谱、社会计算、语言资源建设等问题或合作,请联系我:
邮箱:lhy_in_blcu@126.com
csdn:https://blog.csdn.net/lhy2014
我的自然语言处理项目: https://liuhuanyong.github.io/
刘焕勇,**科学院软件研究所