统计机器学习中最基础的模型是：线性回归。

这个模型有3个基本特点：

1. 线性：输出是输入的线性组合
2. 全局性：整个输入空间都是一组参数
3. 数据不变形：不对数据进行处理

这3个特点决给线性回归带来了简洁的数学形式、清晰的可解释性，但同时也限制了线性回归的表达能力。

于是为了对实际问题进行更好的建模，后续出现的机器学习方法都是在打破上面3个特点。

本节所讲的线性分类，就是打破了线性这个特点，简单理解就是：

线性回归通过激活函数，将输出从实数阈映射到了{0,1}，我们按照输出是{0,1}还是[0,1]，可以进一步对回归进行划分：

硬输出：感知机

统计机器学习中核心是一个优化问题，其解决问题的基本思路是：

• 建立模型
• 定义loss function
• 优化算法 optimize

感知机的模型定义是：

Loss函数定义为：

其中当分类错误的时候，yiwxi < 0 为真，此时 I 值是1，否则为0，所以loss函数是一个不可导的函数，无法求解析解。

下面是对于不同情况的细分。

我们可以看到当样本正确分类时，对损失函数贡献为0，当分类错误时，我们的目标是让 yiwtxi 尽可能的接近于0，所以我么可以转换损失函数为：

现在损失函数是可导的了，下一步优化算法就可以采用SGD方法了：

硬输出：Fisher判别

问题描述

Fisher决策的出发点是：把所有的样本都投影到一维空间，使得在投影线上最易于分类 。

那什么是最易于分类的投影面呢？我们希望这个投影面是这样的：

投影后两类相隔尽可能远，而对同一类的样本又尽可能聚集。

基于这个出发点，我们需要算出最佳的投影方向。如下图，右侧的投影面则优于左侧的投影面，因为它将两个类别更好地分开。

核心思想：类间最大，类内最小。

下面分别定义类间和类内距离：

定义目标函数：

下面将分子、分母分别展开：

我们可以进一步简化目标函数的形式：

最优解求解

软输出-概率判别模型：logistic regression

模型描述

激活函数将实数阈映射到0-1之间。

写出条件概率P(y|x)

定义目标函数：最大似然

求解：可以采用梯度下降的方法。

软输出-概率生成模型：高斯判别分析

模型描述：

目标函数：最大似然

求解：分别求导。

閱讀更多 進擊吧程序猿 的文章

關鍵字: 算法 输入 数学