云计算课程:大数据的推荐以及热门gitee项目的数据统计
Spark 3.x 、Maven 3.x 、 Jdk1.8、zookeeper3.6
二度推荐 目的:把好友的好友推荐给你 方法:通过GraphX建图,用户为点,存在关注、被关注关系就建立边,每个顶点的属性Attr为Map(dstId->distance),初始化为Map( 该顶点ID->0) 。然后进行两次迭代求解二度关系. 第一次迭代: 遍历每条边,将dst顶点属性dstAttr中的跳数字段标记为1 发给src顶点,src收到后合并到顶点属性srcAttr里.
第二次迭代: 遍历边筛选出dstAttr里面跳数为1 的Key-Value 发给对应的src顶点,并将dstId加入桥梁顶点,最后聚合这些消息得到所有2 跳邻居。
- 利用多线程爬取最新的gitee开源仓库信息,来模拟实时数据源,为了追求爬虫的性能,分别比较了python和java的爬虫代码的效果。 其中java版本考虑了线程池的大小,通过while循环分批爬取,防止任务数过多线程阻塞,拒绝服务。 将爬取的数据封装后备份在本地,同时上传到HDFS,为了模拟数据涌入,采用的数据一条一条上传。
- 定时将HDFS中的最新数据取出,把Watch、Fork、Star进行排序后,更新ranks文件,并传回HDFS,后期前端进行展 示。
- 每1分钟触发数据的计算,统计24小时中所有分类出现次数,一小时作为一个窗口进行统计。
考虑到用户的关注不会频繁更新,那么用户推荐的结果就不应该频繁更新占用资源,考虑到频繁的查询,所以存入Redis中,每12小时更新一次。