/jianshu-bigdata

spark简书用户大数据分析

Primary LanguageJavaScript

简书 SparkSQL大数据用户动态分析

实时爬取简书用户动态,对用户进行大数据分析。

实现

  • 爬虫:Jsoup
  • web服务器:Playframwork
  • SparkSQL存储:MySQL
  • 前端:React,Echarts

注意:sbt依赖下载很慢很慢,自备梯子

效果

demo.gif