自然语言处理NLP之最大熵模型

cyberblog

     最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支撑向量机类似的凸优化技术。而对熵的使用，让大家想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支撑向量机以及决策树算法都会加深理解。