Snowing-ST/Unstructured-Data-Analysis

非结构化课程作业，包括社交网络、链路预测、数据流、文本分析

Unstructured-Data-Analysis

• 非结构化数据分析期末课程报告

Social Network

• 基于豆瓣电影演员合作网络的社区发现.pdf

1. 提取最大连通组件
2. 社交网络描述统计：度分布、节点中心性、边介数、凝聚性特征
3. 社区发现：Edge-Betweenness、Fast Greedy、Multi Level、Walk Trap

Link Prediction

• 基于相似度算法的facebook网络数据链路预测.pdf

1. 单个用户的 facebook网络数据的描述统计分析
2. 合并后的facebook网络数据的描述统计分析
3. 基于相似度算法的指标比较：局域、全域、准局域

Data Stream

• BIRCH与层次聚类算法的比较.pdf

• R语言stream包的应用

  • 随机生成数据流DSD_Gaussians、数据流写入文件write_stream、导入文件形成数据流DSD_Memory
  • 数据流聚类算法DSC_BIRCH、DSC_Hierarchical
  • 聚类评价：evaluate、evaluate_cluster

Text Analysis

• 基于spark mllib库的垃圾短信识别

  • spark的详细安装过程
  • 文本分类

• 垃圾短信数据集下载地址：

  链接:https://pan.baidu.com/s/18OpmP9F2Ef5rHqMI7QEp2A 提取码: f69z