objective:这是在爬虫基础之上,将爬取的数据进行清洗(预处理)、计算相关性、聚类和关联规则
环境:python3.5 + pandas
样本数据:classical.csv
1.preprocess.py
负责对样本数据进行处理,具体参见注释,最后输出包括药物的集合和频率等文件保存到本地
2.relatives.py
根据上述保存的药物频率,计算由复杂系统熵构造的相似度(本质为互信息),并由此构建亲友团
(注:亲友团的概念为与某一药物相似度降序排位靠前的组合,例如针对药物a,降序排列相似度得出b,c,d,e,若亲友团个数设为2,则a的亲友团为b,c)
3.cluster.py
互为亲友团的药物我们称之为强相关组合,由此构建最大的强相关组合
4.validate.py
计算敏感性作为验证模型的有效性的标准
apriori.py
和hier.py
负责构建关联规则和层次聚类;
utils.py
为工具类