CNN中的反向传播

Pooling层的反向传播

我们知道Pooling操作会使得feature map的尺寸发生变化，假如做2×22×2的池化，假设l+1l+1层的feature map有16个梯度，那么第ll层应该需要64个梯度，做法很简单，只需要把1个像素的梯度反向传给4个像素即可，但是要保证

1. avg pooling

avg pooling的前向传播就是把一个patch（窗口）内的值求和取平均。那么反向传播的过程就是把某个元素的梯度等分成n份，分配给前一层，这样就保证了池化前后的 梯度之和保持不变 ，还是比较好理解的，图示如下

avg pooling比较容易让人理解错的地方就是以为梯度直接复制N遍，但是这样会造成loss之和变为原来的N倍，网络会发生梯度爆炸

max pooling

max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传给后一层，而其他像素的值直接被舍弃掉。那么反向传播也就是把这个梯度直接传给前一层某一像素，儿其它像素不接受梯度，也就是0。max pooling和avg pooling操作的不同点在于需要记录池化时，到底哪个像素的值是最大的，也就是 max_id ，这个可以看caffe的源码的pooling_layer.cpp，下面是caffe框架max pooling部分的源码

<code>// If max pooling, we will initialize the vector index partif (this->layer_param_.pooling_param().pool() == PoolingParameter_PoolMethod_MAX    && top.size() == 1) {    max_idx_.Reshape(bottom[0]->num, channels_, pooled_height_, pooled_width_);}/<code>

源码中有一个名为 max_idx_ 的变量，这个变量记录的就是最大值所在的位置，因为在反向传播中要用到。前向传播和反向传播的过程如下图所示

閱讀更多 sandag 的文章

關鍵字: CNN 传播 反向