首先来看一个最简单的例子，即线性回归。
与之前一样，我们从代价函数(cost function)开始。
线性回归复习完毕。
所以，梯度下降算法是什么？
上面算法的意思是说，为了执行梯度下降，我们就要计算代价函数 J 的梯度。为了计算代价函数的梯度，我们要对所有样本的代价进行求和（黄色圆圈）。也就是说，如果有300万个样本，我们每计算一次梯度就要循环计算300万次。
下面是Python代码：
def gradientDescent(X, y, theta, alpha, num_iters):
"""
执行梯度下降
"""
m = y.size # 训练样本的数量
for i in range(num_iters):
y_hat = np.dot(X, theta)
theta = theta - alpha * (1.0/m) * np.dot(X.T, y_hat-y)
return theta
看到上面的 np.dot(X.T, y_hat-y) 了吗？这是 “循环（求和）300万个样本” 的矢量化版本。
等等....这只是向最小化迈进了一步，我们真的要每计算一次代价就要计算300万次吗？
是的，如果使用梯度下降的话。
但如果使用随机梯度（Stochastic Gradient Descent, SGD）下降，就没有必要计算这么多次！
基本上，在SGD中，我们在每次迭代时只使用 1 个样本的梯度，用它来代替所有样本的梯度之和。
def SGD(f, theta0, alpha, num_iters):
"""
参数：
f - 要优化的函数，它需要一个参数
并产生两个输出，一个代价和相对于参数的梯度
theta0 - 开始 SGD 的初始值
num_iters - SGD 的总迭代次数
返回：
theta - SGD 结束后的参数值
"""
start_iter = 0
theta= theta0
for iter in xrange(start_iter + 1, num_iters + 1):
_, grad = f(theta)
theta = theta - (alpha * grad) # 没有使用点积
return theta
这是一个非常简单的算法！
有几点注意事项：
- 在SGD中，在循环之前，您需要随机更改训练样本。
- 在SGD中，因为它一次只使用一个样本，所以它的最小值路径比批量梯度的路径更嘈杂（更随机）。但是没关系，因为我们对路径漠不关心，只要它给我们最小的值和更短的训练时间。
- 小批量梯度下降在每次迭代时使用n个样本点（而不是SGD中的1个样本）。
分享到:
閱讀更多 人工智能遇見磐創 的文章
