SmirkCao/Lihang

最大熵模型中, 特征函数个数为什么和样本数不一样?

SmirkCao opened this issue · 2 comments

SmirkCao commented

相关章节

CH06-逻辑斯谛回归与最大熵

相关主题

  • 代码
  • 文档
  • 示例

问题描述

最大熵模型中, 特征函数个数为什么和样本数不一样?

SmirkCao commented

不知道为什么会有这个问题, 从哪个角度考虑的.
这里有个特征函数的概念需要注意, 特征函数是一个关于(x, y)的函数

特征函数的数量和样本的数量没有直接关系.

  • 样本集两个相同样本, 如果特征函数取最简单的(x, y), 那么特征函数1, 样本数2
  • 样本集只有一个样本, 如果x是多维特征, 每一个维度都和y组成一个特征函数, 那么特征函数数量和维度相同, 样本数1.
SmirkCao commented

关于特征函数的理解, 在书中P_{82} 和 条件随机场部分P_{196}例11.1 中都有提及.
第六章的例子可以参看参考文献. 第11章的例子有特征函数的直观表达, 可以供参考.