综合评价模型

Question

综合评价模型

Closed this issue 6 years ago · 0 comments

hiyouga commented 7 years ago

综合评价综述

对某事件进行多因素综合评价的过程，实质上就是科学研究与决策的过程，原则上应包括设计、收集资料和分析资料几个基本阶段，实施中应着重注意以下几个基本环节。

研究步骤

选择恰当的评价指标（evaluation indicator）
确定各评价指标权重
合理确定各单个指标的评价等级（evaluation grade）及其界限
建立综合评价模型（synthetical evaluation model）
确定多指标综合评价的等级数量界限，并根据实践对已建立模型考察、修改及完善。

评价指标的基本要求

代表性：各层次指标能最好地表达所代表的层次。
确定性：指指标值确定，其高低在评价中有确切含义。
区别能力/灵敏性：即指标值有一定的波动范围，而且其高低在评价中有确切的含义。
独立性：即选入的指标各有所用，相互不能替代。

指标的筛选

系统分析法（systematic analysis method）：是一种常用的凭经验挑选指标的方法，首先将所有备选指标按系统（或属性、类别）划分，再通过座谈或填调查表的方法获得对各指标的专家评分，确定主次，再从各系统内挑选主要的指标作为评价指标。
文献资料分析优选法：即全面查阅有关评价指标设置的文献资料，分析各指标的优缺点并加以取舍。

常用客观筛选指标方法：
逐个指标进行假设检验的方法：是在掌握有关历史资料基础上，依照可能的评价结果将评价对象分组，并对各指标进行假设检验，挑选有统计意义的指标作为评价指标。
多元回归与逐步回归法：多元回归分析挑选标准化偏回归系数绝对值较大或偏回归系数假设检验有显著性的指标作为评价指标；逐步回归有自动挑选主要影响指标的功能，是目前最常用的指标挑选方法。
指标聚类法：在存在众多指标的情况下，可将相似指标聚成类，再从每类中找一个典型指标作为代表，从而用少量几个典型指标作为评价指标来代表原来众多的指标建立评价模型。

常用确定权重方法：
综合评价方法有数百种之多。这些评价方法各有其特点，但大体上可分为两类，主要区别在确定权重上。
一类是主观赋权，多数采取综合咨询评分的定性分析方法确定权数，然后对无量纲的数据进行综合，如专家评分法、成对比较法、综合指数法、层次分析法、功效系数法等。
另一类是客观赋权，根据各指标间相关关系或各指标值变异程度来确定权数，如主成分分析法、熵值法等。
前一类方法需要专家从不同角度对研究对象打分，而且难以避免主观因素对评价结果的影响。
后一类方法避免了人为因素带来的偏差，但最大缺陷是评价程序过于复杂繁琐，可操作性差。
另外也有组合赋权法。

常用评价模型

模糊综合评价
灰色关联分析
TOPSIS
……

综合评价方法简介：

层次分析法（AHP）
模糊综合评价发（FCM）
逼近理想解排序法（TOPSIS）
灰色关联度评价（GCM）

层次分析法

层次分析法（Analytic Hierarchy Process, AHP）是一种用于大规模、多方的多准则决策定权分析。
AHP——一种定性与定量相结合的、系统化、层次化的分析方法。 ——姜启源《数学模型》

背景

日常工作、生活中的决策问题。
涉及经济、社会等方面的因素。
作比较判断时人的主观选择起相当大的作用，各因素的重要性难以量化。
Saaty于1970年代提出层次分析法。

基本步骤

例：选择旅游地：如何在3个目的地中按照景色、费用、居住条件等因素选择。

思维归纳：
将决策问题分为3个层次：目标层O，准则层C，方案层P；每层有若干元素，各层元素间的关系用相连的直线表示。
通过相互比较确定各准则对目标的权重，及各方案对每一准则的权重。
将上述两组权重进行综合，确定各方案对目标的权重。
层次分析法将定性分析与定量分析结合起来完成以上步骤，给出决策问题的定量结果。

成对比较矩阵和权向量：
元素之间两两对比，对比采用相对尺度。
设要比较各准则$C_1, C_2, \cdots, C_n$对目标O的重要性，则$a_{ij}=\frac{C_i}{C_j}$。
构造比较矩阵：$$A=(a_{ij})_{n\times n}, a_{ij}>0, a_{ji}=\frac1{a_{ij}}。$$
例如选择旅游地：
$$A = \begin{pmatrix}
1 & \frac12 & 4 & 3 & 3\\
2 & 1 & 7 & 5 & 5\\
\frac14 & \frac17 & 1 & \frac12 & \frac13\\
\frac13 & \frac15 & 2 & 1 & 1\\
\frac13 & \frac15 & 3 & 1 & 1
\end{pmatrix}$$
对比矩阵A为正互反阵，要由A确定$C_1, \cdots, C_n$对O的权向量。

成对比较矩阵允许不一致，但要确定不一致的允许范围。可以通过认为主观判断调整从而出现不一致现象。
成对比较矩阵完全一致时，满足$a_{ij}\cdot a_{jk}=a_{ik}, i, j, k=1, 2, \cdots, n$的正互反矩阵称为一致阵。
一致阵的性质：

A的秩为1，A的唯一非零特征根为n。
A的任一列向量是对应于n的特征向量。
A的归一化特征向量可作为权向量。
存在正向量$W=(w_1, w_2, \cdots, w_n)^T$，使得$a_{ij}=\frac{w_i}{w_j}, \forall 1\le i, j\le n$

对于不一致（但在允许范围内）的成对比较阵A，建议用对应于最大特征根λ的特征向量作为权向量w，即Aw=λw。

比较尺度$a_{ij}$：
Saaty等人提出1~9尺度——$a_{ij}$取值1, 2, … , 9及其互反数1, 1/2 , … , 1/9，从而便于从定性到定量的转化。

尺度$a_{ij}$	1	3	5	7	9
$C_i:C_j$的重要性	相同	稍强	强	明显强	绝对强

可以使用2, 4, 6, 8表示两个标准之间的尺度，心理学家认为成对比较的因素不宜超过9个。

一致性检验：对A确定不一致的允许范围
已知：n阶一致阵的唯一非零特征根为n。
可证：n阶正互反阵最大特征根λ≥n，且λ=n时为一致阵。
定义一致性指标：
$$CI=\frac{\lambda-n}{n-1}$$
CI越大，不一致越严重。
为衡量CI的大小，引入随机一致性指标RI——随机模拟得到$a_{ij}$，形成A，计算CI即得RI。
RI表（Saaty的结果）：

n	1	2	3	4	5	6	7	8	9	10	11
RI	0	0	0.58	0.90	1.12	1.24	1.32	1.41	1.45	1.49	1.51

定义一致性比率$CR=\frac{CI}{RI}$，当CR<0.1时，通过一致性检验。

选择旅游地问题中：
计算得最大特征根λ=5.073
权向量（特征向量）$w=(0.263, 0.475, 0.055, 0.090, 0.110)^T$
一致性指标$CI=\frac{5.073-5}{5-1}=0.018$
随机一致性指标RI=1.12（查表）
一致性比率CR=0.018/1.12=0.016<0.1，通过一致性检验。

构建组合权向量：
记第2层（准则）对第1层（目标）的权向量为$w^{(2)}=(w_1^{(2)}, \cdots, w_n^{(2)})^T$
同样求第3层（方案）对第2层（准则）的权向量
得到第3层对第2层的计算结果

k	1	2	3	4	5
0.595	0.082	0.429	0.633	0.166
$w_k^{(3)}$	0.277	0.236	0.429	0.193	0.166
0.129	0.682	0.142	0.175	0.668
$\lambda_k$	3.005	3.002	3	3.009	3
$CI_k$	0.003	0.001	0	0.005	0

$RI^{(3)}=0.58$，$CI_k$均可通过一致性检验。
方案P1对目标的组合权重为0.595x0.263+…+0.166x0.110=0.300。
方案层对目标层的组合权向量为$(0.300, 0.246, 0.456)^T$

求组合权向量方法：
设第2层对第1层的权向量为$w^{(2)}=(w_1^{(2)}, \cdots, w_n^{(2)})^T$。
计算第3层对第2层各元素的权向量为$w_k^{(3)}=(w_{k1}^{(3)}, \cdots, w_{km}^{(3)})^T, k=1,2,\cdots,n$
构造矩阵$W^{(3)}=[w_1^{(3)}, \cdots, w_n^{(3)}]$
则第3层对第1层的组合权向量$w^{(3)}=W^{(3)}w^{(2)}$
第s层对第1层的组合权向量$w^{(s)}=W^{(s)}W^{(s-1)}\cdots W^{(3)}w^{(2)}$，其中$W^{(p)}$是由第p层对第p-1层权向量组成的矩阵。

步骤总结

建立层次分析结构模型
深入分析实际问题，将有关因素自上而下分层（目标—准则或指标—方案或对象），上层受下层影响，而层内各因素基本上相对独立。
构造成对比较阵
用成对比较法和1~9尺度，构造各层对上一层每一因素的成对比较阵。
计算权向量并作一致性检验
对每一成对比较阵计算最大特征根和特征向量，作一致性检验，若通过，则特征向量为权向量。
计算组合权向量（作组合一致性检验*）
组合权向量可作为决策的定量依据。

层次分析法的广泛应用

应用领域：经济计划和管理，能源政策和分配，人才选拔和评价，生产决策，交通运输，科研选题，产业结构，教育，医疗，环境，军事等。
处理问题类型：决策、评价、分析、预测等。
建立层次分析结构模型是关键一步，要有主要决策层参与。
构造成对比较阵是数量依据，应由经验丰富、判断力强的专家给出。

层次分析法的优缺点

优点：

系统性：将对象视作系统，按照分解、比较、判断、综合的思维方式进行决策——系统分析（与机理分析、测试分析并列）。
实用性：定性与定量相结合，能处理传统的优化方法不能解决的问题。
简洁性：计算简便，结果明确，便于决策者直接了解和掌握。

缺点：

囿旧：只能从原方案中选优，不能产生新方案。
粗略：定性化为定量，结果粗糙。
主观：主观因素作用大，结果可能难以服人。

模糊综合评价法

模糊综合评价法（Fuzzy Comprehensive Model, FCM）是一种基于模糊数学的综合评价方法。该综合评价法根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。它具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，适合各种非确定性问题的解决。

一级模糊综合评判

设与被评价事物相关的因素有n个，记作
$$U=\{u_1, u_2, \cdots, u_n\}$$
称之为因素集。又设可能出现的评语有m个，记作
$$V=\{v_1, v_2, \cdots, v_m\}$$
称之为评语集。由于各种因素所处地位不同，作用也不一样，考虑用权重$A=\{a_1, a_2, \cdots, a_n\}$来衡量。

步骤：

确定因素集$U=\{u_1, u_2, \cdots, u_n\}$。
确定评判集$V=\{v_1, v_2, \cdots, v_m\}$。
进行单因素评判得到$r_i=r_{i1}, r_{i2}, \cdots, r_{im}$。
构造综合评判矩阵：
$$R = \begin{pmatrix}
r_{11} & r_{12} & \cdots & r_{1m}\\
r_{21} & r_{21} & \cdots & r_{2m}\\
\vdots & \vdots & \ddots & \vdots\\
r_{n1} & r_{n2} & \cdots & r_{nm}
\end{pmatrix}$$
综合评判：对于权重$A=(a_1, a_2, \cdots, a_n$，计算$B=A\circ R$，并根据隶属度最大原则作出评判。

模型I：$M(\land,\lor)$——主因素决定型
$$b_j=\max\{(a_i\land r_{ij}, 1\le i\le n\}, (j=1, 2, \cdots, m)$$
其评判结果只取决于在总评价中起主要作用的那个因素，其余因素均不影响评判结果，此模型比较适用于单项评判最优就能作为综合评判最优的情况。
P.S.：$\land$：取小运算；$\lor$：取大运算。

例：考虑一个服装的评判问题。

建立因素集$U=\{u_1, u_2, u_3, u_4\}$，其中$u_1$：花色；$u_2$：式样；$u_3$：耐穿程度；$u_4$：价格。
建立评判集$V=\{v_1, v_2, v_3, v_4\}$，其中$v_1$：很欢迎；$v_2$：较欢迎；$v_3$：不太欢迎；$v_4$：不欢迎。
进行单因素评判得到：（数据比例等）
$u_1\mapsto r_1=(0.2, 0.5, 0.2, 0.1)$
$u_2\mapsto r_2=(0.7, 0.2, 0.1, 0)$
$u_3\mapsto r_3=(0, 0.4, 0.5, 0.1)$
$u_4\mapsto r_4=(0.2, 0.3, 0.5, 0)$
由单因素评判构造综合评判矩阵
$$R = \begin{pmatrix}
0.2 & 0.5 & 0.2 & 0.1\\
0.7 & 0.2 & 0.1 & 0\\
0 & 0.4 & 0.5 & 0.1\\
0.2 & 0.3 & 0.5 & 0
\end{pmatrix}$$
综合评判
设有两类顾客，他们根据自己的喜好对各因素所分配的权重分别为
$A_1=(0.1, 0.2, 0.3, 0.4)$
$A_2=(0.4, 0.35, 0.15, 0.1)$
用模型$M(\land,\lor)$计算综合评判为：
$B_1=A_1\circ R=(0.2, 0.3, 0.4, 0.1)$
$B_2=A_2\circ R=(0.35, 0.4, 0.2, 0.1)$
计算遵循模型I，例如$0.2=\max\{0.1\land0.2, 0.2\land0.7, 0.3\land0, 0.4\land0.2\}$。
按最大隶属原则，第一类顾客对此服装不太欢迎，而第二类顾客对此服装比较欢迎。

对于类似$B_2$的情形，在下结论前通常将其归一化为
$$B_2'=(\frac{0.35}{1.05}, \frac{0.4}{1.05}, \frac{0.2}{1.05}, \frac{0.1}{1.05})=(0.33, 0.38, 0.19, 0.1)$$

逼近理想解排序法

逼近理想解排序法（Technique for Order Preference by Similarity to Ideal Solution, TOPSIS）是系统工程中有限方案多目标决策分析的一种常用方法，可用于效益评价、卫生决策和卫生事业管理等多个领域。本法对样本资料无特殊要求，使用灵活简便，应用广泛。
逼近理想解排序方法的基本**是把综合评价的问题转化为求各评价对象之间的差异。即按照一定的法则先确定理想解和负理想解，然后通过计算每一个被评价对象与理想解和负理想解之间的距离，再加以比较得出综合评价排名。

TOPSIS法其中理想解和负理想解是两个基本概念。
所谓理想解是一设想的最优的解（方案），它的各个属性值都达到各备选方案中的最好的值；而负理想解是一设想的最劣的解（方案），它的各个属性值都达到各备选方案中的最坏的值。
方案排序的规则是把各备选方案与理想解和负理想解做比较，若其中有一个方案最接近理想解，而同时又远离负理想解，则该方案是备选方案中最好的方案。

TOPSIS法基本步骤

评价指标同趋势化，Topsis法进行评价时，要求所有指标变化方向一致（即所谓同趋势化，或极性一致化），将高优指标转化为低优指标，或将低优指标转化为高优指标，通常采用后一种方式。转化方法常用倒数法，即令原始数据中低优指标$X_{ij}(i=1,2,\cdots,n; j=1,2,\cdots,m)$，通过$X'_{ij}=\frac1{X_{ij}}$变换而转化成高优指标，然后建立同趋势化后的原始数据表。
对同趋势化后的原始数据矩阵进行归一化处理，并建立相应矩阵。其指标转换公式为：
$$a_{ij}=\frac{X_{ij}}{\sqrt{\sum_{i=1}^nX_{ij}^2}}\text{（原高优指标）}$$
或
$$a_{ij}=\frac{X'_{ij}}{\sqrt{\sum_{i=1}^nX_{ij}'^2}}\text{（原低优指标）}$$
式中$X_{ij}$表示第i个评价对象在第j个指标上的取值，$X'_{ij}$表示经倒数转换后的第i个评价对象在第j个指标上的取值。
由此得出经归一化处理后的A矩阵为：
$$A = \begin{pmatrix}
a_{11} & a_{12} & \cdots & a_{1m}\\
a_{21} & a_{21} & \cdots & a_{2m}\\
\vdots & \vdots & \ddots & \vdots\\
a_{n1} & a_{n2} & \cdots & a_{nm}
\end{pmatrix}$$
归一化后矩阵得到最优值向量和最劣值向量，即有限方案中的正理想解$Z^+$和负理想解$Z^-$
归一化后矩阵的各列最大、最小值构成的最优、最劣向量分别记为：
正理想解：$Z^+=(Z_{max1}, Z_{max2}, \cdots, Z_{maxn})$
负理想解：$Z^-=(Z_{min1}, Z_{min2}, \cdots, Z_{minm})$
即最优方案和最劣方案。
分别计算诸评价对象所有各指标值与最优方案及最劣方案的距离$D_i^+$与$D_i^-$
$$D_i^+=\sqrt{\sum_{j=1}^m(a_{ij}^+-a_{ij})^2}$$
$$D_i^-=\sqrt{\sum_{j=1}^m(a_{ij}^--a_{ij})^2}$$
计算诸评价对象与最优方案的接近程度$C_i$，其计算公式如下：
$$C_i=\frac{D_i^-}{D_i^++D_i^-}$$
$C_i$在0与1之间取值，$C_i$越接近1，表示该评价对象越接近最有水平；反之，越接近0，表示该评价对象越接近最劣水平。
按$C_i$大小将各评价对象排序，$C_i$值越大，表示综合效益越好。

加权Topsis法：
当我们进行权重估计时，各指标与最优方案及最劣方案距离的计算公式应改为：
$$D_i^+=\sqrt{\sum_{j=1}^m\omega_j(a_{ij}^+-a_{ij})^2}$$
$$D_i^-=\sqrt{\sum_{j=1}^m\omega_j(a_{ij}^--a_{ij})^2}$$
其中$\omega_j$为第j个指标的权重系数。

TOPSIS法总结

基本**：基于归一化后的原始数据矩阵，找出有限方案中的最优方案和最劣方案（分别用最优向量和最劣向量表示），然后分别计算诸评价对象与最优方案和最劣方案间的距离，获得各评价对象与最优方案的相对接近程度，以此作为评价优劣的依据。
基本步骤：

指标同趋势化
归一化处理
寻找最优方案与最劣方案
计算评价对象与最优方案和最劣方案间的距离
计算各评价对象与最优方案的接近程度
依接近程度对各评价对象进行排序，确定评价效果

灰色关联度综合评价法

灰色关联度综合评价法（Grey Correlation Model, GCM）是一种以灰色关联分析理论为指导，基于专家评判的综合性评估方法。
其过程是：

建立灰色综合评估模型
对各种评价因素进行权重选择
进行综合评估。

其中，灰色综合评估法中的权重选择可以结合层次分析法，以提高评估的准确性。

灰色系统的关联分析主要是对系统动态发展过程的量化分析，它根据因素之间发展态势的相似或相异程度来衡量因素间接近的程度，实质上就是各评价对象与理想对象的接近程度。评价对象与理想对象越接近，其关联度就越大。关联序则反映了各评价对象对理想对象的接近次序，即评价对象与理想对象接近程度的先后次序，其中关联度最大的评价对象为最优。因此，可利用关联序对所要评价的对象进行排序比较，从而实现综合评价。

选取参考数列
$$x_0=\{x_0(k)|k=1,2, \cdots, n\}=(x_0(1), x_0(2), \cdots, x_0(n))$$
其中k表示时刻。假设有m个比较数列
$$x_i=\{x_i(k)|k=1,2, \cdots, n\}=(x_i(1), x_i(2), \cdots, x_i(n)), i=1, 2, \cdots, m$$
则称
$$\xi_i(k)=\frac{\min\limits_s\min\limits_t|x_0(t)-x_s(t)|+\rho\max\limits_s\max\limits_t|x_0(t)-x_s(t)|}{|x_0(k)-x_i(k)|+\rho\max\limits_s\max\limits_t|x_0(t)-x_s(t)|}$$
为比较数列$x_i$对参考数列$x_0$在k时刻的关联系数，其中$\rho\in[0,1]$为分辨系数，一般取为0.5。
称
$$r_i=\frac1n\sum_{k=1}^n\xi_i(k)$$
为比较数列$x_i$对参考数列$x_0$的关联度。
关联度是把各个时刻的关联系数集中为一个平均值，即把过于分散的信息集中处理。
区别因素关联是正关联还是负关联，计算
$$\sigma_i=\sum_{k=1}^nkx_i(k)-\sum_{k=1}^nx_i(k)\sum_{k=1}^n\frac{k}{n}, i=1,2,\cdots,n$$
同号则是正关联，否则为负关联。

方法总结

基本步骤：

用表格方式列出所有被评价对象的指标。
由于指标序列间的数据不存在运算关系，因此必须对数据进行无量纲化处理。
构造理想对象，即把无量纲化处理后评价对象中每一项指标的最佳值作为理想对象的指标值。
计算指标关联系数。
依关联度的大小排序，或者加权排序。

主要参考课件：美赛中的评价综述.zip