/JD-comments-analyse

合工大 大数据课程 基于Hadoop+Spring的京东商品评论词频统计系统

Primary LanguageJava

说明

 合肥工业大学软件工程专业《云计算、大数据技术与应用》课程综合设计报告。

 基于Hadoop+Spring的京东商品评论词频统计系统。

 爬取京东或淘宝某一商品的评论1000条,统计词频(使用MapReduce或HBase或Hive),并以词云的方式可视化呈现,

启动

 配置application.yml文件并运行Spring应用;

 信息交换采用Websocket协议,链接ws://localhost:8211/ws/{唯一通信id}发送以下命令即可执行:

  • run crawler [productionId]: 爬取指定productionId商品的所有评论;

img.png

  • run analyzer: 启动hadoop对爬取的评论结果进行统计和分析

img.png

词云效果图