「如何理解KL散度的不对称性」百家号

「如何理解KL散度的不对称性」百家号_作者自评：

如何看待百家号Lite小程序热议话题「如何理解KL散度的不对称性」
众所周知，多被用于量化分布间的差异的KL散度是不对称的。今天我们来聊一聊，两个分布的一对KL散度之间究竟有什么不同。为了讨论这个知识点，我们需要掌握（或者暂且当做已知）的先决知识点有：
1自信息：符合分布P的某一事件x出现，传达这条信息所需的最少信息长度为自信息，表达为
2熵：从分布P中随机抽选一个事件，传达这条信息所需的最优平均信息长度为香农熵，表达为
3交叉熵：用分布P的最佳信息传递方式来传达分布Q中随机抽选的一个事件，所需的平均信息长度为交叉熵，表达为
4KL散度：用分布P的最佳信息传递方式来传达分布Q，比用分布Q自己的最佳信息传递方式来传达分布Q，平均多耗费的信息长度为KL散度，表达为D_p(Q)或D_KL(Q||P)，KL散度衡量了两个分布之间的差异。
注意，如果表达成D_p(Q)形式，要传达的信息所属的分布在括号内；如果表达成D_KL(Q||P)形式，要传达的信息所属的分布在前。
新增知识点：D_P(Q)与D_Q(P)有什么不一样？
公式D_P(Q)里一共涉及了两个分布：
要传达的信息来自哪个分布，答案是Q信息传递的方式由哪个分布决定，答案是P由KL散度的公式可知，分布Q里可能性越大的事件，对D_P(Q)影响力越大。如果想让D_P(Q)尽量小，就要优先关注分布Q里的常见事件（假设为x），确保它们在分布P里不是特别罕见。
因为一旦事件x在分布P里罕见，意味着在设计分布P的信息传递方式时，没有着重优化传递x的成本，传达事件x所需的成本，log(1/P(x))会特别大。所以，当这一套传递方式被用于传达分布Q的时候，我们会发现，传达常见事件需要的成本特别大，整体成本也就特别大。
类似地，想让D_P(Q)特别小，就要优先考虑分布P里那些常见的事件们了。这时，分布Q里的常见事件，就不再是我们的关注重点。
下面让我们举一个实际的例子，来自《DeepLearning》一书第3章。
假设存在一个真实分布P，由两个高斯分布混合而成，用蓝线表示。现在，在不知道分布P的信息的情况下，我们做出了一个常见的假设：假设数据符合高斯分布。
当我们尝试用一个普通的高斯分布Q来近似分布P，换言之，尝试让Q尽量「贴近」P的时候，可以选择的目标函数有：
选择不同的目标函数，会产生完全不同的Q。如果我们选择目标函数1，结果会像左图一样。在优化过程中，重要的是分布P中的*常见事件*，也就是蓝线的两峰，我们要优先确保它们在分布Q里不是特别罕见（信息长度不是特别长）。由于分布P里有两个峰值区域，分布Q无法偏向任何一个峰值，拉锯的结果是，Q选择了横亘在分布P两个峰值中间。
如果我们选择目标函数2，结果会像右图一样，重要的是分布P中的*罕见事件*（信息长度特别长的那些事件），也就是蓝线的谷底，我们优先确保它们在分布Q里不是特别常见。左图里那种，分布Q横亘在分布P两个峰值中间，是我们最不希望发生的、KL散度格外大的情况。相反，只有一个峰值的分布Q最终会选择贴合分布P两个峰值区域中的任意一个。
最后，直觉上，因为D_Q(P)=H_Q(P)-H(P)，其中多项式的第二项H(P)与分布Q完全无关，所以这时候，argminD_Q(P)等价于argminH_Q(P)。即，优化KL散度与优化交叉熵是等价的。但是，反过来的D_P(Q)=H_P(Q)-H(Q)就没有这等好事了。
以上，就是，KL散度如何衡量分布间的差异，以及不对称的KL散度在衡量差异的时候会有什么不同了。
欢迎提问，以及拍砖
该话题由百家号作者机器之心「简介:专业的人工智能媒体和产业服务平台」整理发布
更多有关如何理解KL散度的不对称性的话题讨论请关注百家号Lite小程序