/A-community-detect-System-based-on-GraphX

图计算和图存储在国内兴起于2012年,此项目为我的本科毕业设计,本人现在TOP厂商工作,工作要求不方便公开透露公司,曾研究图数据库2年,实验室数据库技术从2000年以前开始积累,对外低调,如有工作需要可以推荐!

Primary LanguageScala

About Me

图计算和图存储在国内兴起于2014年,笔者在2015有幸成为中科院的客座实习生开始基础图计算,从2015年12月开始分别完成了图计算的综述研究、GraphX的源码剖析,随后参与了图计算的相关项目,受益匪浅,乐趣无穷,不想离开,因毕业需要,2016年5月返回本科学校花了几周时间完成了这个简单的毕业设计,作为毕业之用。

Abstract

This is my 2015 undergraduate graduation design based on GraphX().

Common Interfaces implementedd in this system for upper users:

Summary Design

Alt text

Implemention Details

GraphBuild

Alt text

N Degree Neighbours

Alt text

Visualization

Custom attributes 要展示的属性标签客制化

Alt text

Community Detection

Alt text

PageRank

Alt text

Second Degree Neighbours

Alt text

Performance Tuning Guide

Spark·Shuffle调优指南 Spark·Shuffle调优指南

Future Work

基于图的社区发现效率比较高的算法有标签传播(LPA),lovain method, infomap等,其中以infomap综合优势最好,因为infomap通吃所有类型的网络(有向无向有权无权),且是线性时间,发现的社区质量也比较高。
社区发现发展到现在,领域的拼图基本完善了,可是实际应用一直是困扰这个领域的痛点。所以我觉得在现有评价体系下,再求准意义不大,接下来的重点研究方向是scalabl。Louvain则是将Modularity的优化进行了scalable,可以快速的应用在大规模的网络上. We will implements Lonvain on GraphX.