sponsored links

条件熵

计算语言学之条件熵与联合熵、相对熵与交叉熵的应用

June 6
计算语言学之条件熵与联合熵、相对熵与交叉熵的应用
1. 引言 条件熵与联合熵我们在之前已经讲过,大家可以类比一下条件概率和联合概率,就大概知道是什么意思了.不过这里我们还是复习一下条件熵与联合熵的公式. 2. 条件熵与联合熵的应用 条件熵:在给定X的情况下,Y的条件熵定义为: H(Y|X)=−∑x∈Xp(x)H(Y|X=x)=∑x∈X∑y∈Yp(x,y)log2p(y|x) 联合熵:如果X,Y是一对离散型随机变量,X,Y~p(x,y),X,Y的联合熵H(X,Y)定义为: H(X,Y)=−∑x∈X∑y∈Yp(x,y)log2p(x,y) 联合熵实

各种信息熵(Information entropy)的计算方法

March 1
各种信息熵(Information entropy)的计算方法
一.Jensen不等式 若f为区间I上的凹函数,则Jensen不等式成立: 这里若函数f为凹函数,则有: 凹函数(上凸)如下图所示: 归纳证明: 二.信息论 1.熵(信息不确定性度量) 2.联合熵 3.条件熵 条件熵的另一种表达方式 4.互信息(信息增益) 两个随机变量X, Y的互信息,定义为X,Y的联合分布和独立分布乘积的相对熵. 5.相对熵 设p(x). q(x)是X中取值的两个概率分布, 则p对q的相对熵是 说明: 相对熵可以度量两个随机变量的"距离" .一般的, D(p||q)