贝叶斯定理在机器学习中有广泛应用，本文的目的主要是介绍贝叶斯定理以及概率解释。设D为数据集，H为关于数据集D的某种假设（比如反映数据集D某种概率分布的参数），贝叶斯定理表示为：
证明：根据下图所示：
由p(HD)=p(D)*p(H|D)=p(H)*p(D|H)可推出。证毕。
贝叶斯定理的解释如下：
p(H)称为先验概率，即在得到新数据D前某一假设的概率。
p(H|D)称为后验概率，即在看到新数据D后，我们要计算的该假设的概率。
p(D|H)是该假设下得到这一数据D的概率，称为拟然度。
p(D)是在任何假设下得到这一数据D的概率，称为标准化常量。
在贝叶斯估计中，在看到样本之前，我们可能会有一些关于参数H的可能取值范围的先验信息（即
p(H)）。这些信息是非常有用的，特别是当样本较少时，我们应当利用这些先验信息。我们通过把H看作一个随机变量并为它定义先验概率来对这种不确定性建模。也许这些先验信息是模糊的，并没有告诉我们关于参数H的具体值，比如我们被告知这个参数H接近正态分布，并且在10-20之间，在15左右对称，置信度为90%。因此我们可以假设H服从一个均值为15的正态分布，根据置信度也可以推出近似方差，这样H的密度分布就可以知道。
进一步，拟然度p(D|H)一般有很好的数学上的分解，而相对于H来说，p(D)为常数，由于先验信息p(H)我们已经知道，因此根据贝叶斯定理，可以对后验概率进行有效估计（后验概率是我们感兴趣的），所谓的最大后验估计（MAP）就是求H_MAP使得p(H_MAP|D)最大。
那么对H的极大拟然估计H_ML和最大后验估计H_MAP的关系如何？下次希望我们进一步交流。
（AiMath坚持原创，你的关注、点赞和转发是我的动力！未经授权禁止转载！）
分享到:
閱讀更多 AiMath 的文章
