高斯分布在机器学习中应用十分广泛。一般情况下，我们往往假设数据符合高斯分布。比如，当数据符合高斯分布时，最大似然和最小二乘法等价。

当数据分布比较复杂，高斯分布不足以描述时，我们常常使用混合高斯分布（Mixture Gaussian distribution），也就是组合使用多个高斯分布。下图混合了三个方差相同、均值不同的高斯分布。

伯努利分布

机器学习最常见的使用场景之一是分类问题。如果我们将一个数据点属于某个分类记为1，不属于某个分类记为0。那么，由于该数据点要么属于某个分类，要么不属于某个分类，两者必居其一，因此该数据点的分类要么是1，要么是0. 这符合伯努利分布（Bernoulli distribution）。因此，伯努利分布也是机器学习中的常用分布。

形式化的定义为：

若随机变量的取值仅有1和0，（相应的概率为θ和1 - θ），那么该随机变量满足伯努利分布，遵循以下概率分布函数：

二项分布

相应地，只有两个可能结果的随机试验称为伯努利试验（Bernoulli trial）。一系列独立的n项伯努利试验的结果满足二项分布（Binomial distribution）。实际上，当n=1时，二项分布即为伯努利分布。

贝塔分布

上面的伯努利分布和二项分布都是离散概率分布。当我们需要处理连续概率分布时，常常使用贝塔分布（Beta distribution）。

（不同贝塔分布的概率密度函数，图片来源：维基百科）

贝塔分布是定义在[0, 1]区间上的连续概率分布。而[0, 1]恰好是概率的取值范围（0%到100%）。这也就意味着，贝塔分布适应用来描述概率的概率分布——也就是先验，你不知道具体的概率，但对概率的分布有一些猜测。