概率统计中的参数估计

如果我们知道了随机变量满足某种分布，但其分布的参数未知怎么办呢？比如我们知道某地区男生的身高满足正态分布，但是正态分布的均值、方差未知怎么办呢？这就是参数估计问题。有两种参数估计的方法，一种叫做

矩估计法，一种叫做最大似然估计。矩估计法就是用样本的各阶原点矩作为约束条件来联立方程组，比如正态分布的一阶原点矩就是均值，二阶原点矩就是方差。这样我们就可以得到两个方程，然后以样本矩作为总体矩的估计量联立方程组求解参数方程；另一种方式称为最大似然估计法，通过求最大似然函数的导数获得参数方程来求解。而后一种方法是我们在机器学习中最常遇到的，个人觉得是因为推导和求解比较方便，两种方法的结果是一致的。作为估计量的样本函数选择有三个标准：无偏性、有效性、相合性，无偏性指选的估计量的数学期望与真实值之间无差异（没有系统误差），有效性是指选择的估计量的方差越小则性能越好，相合性是指估计量当样本数趋于无穷时依概率收敛估计对象。

另外，对于一个未知量，我们往往不光要估计它的值，同时还需要给出这个估计的可信度，这就是区间估计。区间估计问题往往要找到一个枢轴量，它的分布不依赖于参数及其他未知数。以正态总体均值与方差的区间估计为例，方差已知时可以将其转化为标准N(0,1）正态分布求其置信区间，如方差未知，则需要借助t分布、F分布来求置信区间了。至于怎么求不用太纠结，直接套公式就好。关键是知道要解决什么问题，选择适合的方法。估计的置信区间有单侧置信区间和双侧置信区间，也是根据问题来的，我要知道未知量估计的上下界就是双侧置信区间估计，如果只需要上界或者只需要知道下界就是单侧置信区间的估计问题原理类似套公式可得。