本教程由深度學習中文社區(Studydl.com)持續發佈與更新, 本系列其餘教程地址見文章末尾.

前言

自從2012年的ILSVRC競賽中基於CNN的方法一鳴驚人之後，CNN已成為圖像分類、檢測和分割的神器。其中在圖像檢測的任務中，R-CNN系列是一套經典的方法，從最初的R-CNN到後來的Fast R-CNN， Faster R-CNN 和今年的Mask R-CNN, 我們可以看到CNN在圖像檢測中是如何一點一點提高的。下面我們將一道回顧R-CNN家族的發展史，瞭解這些方法的演變和這個演變過程中的那些富有創意的想法。

R-CNN 系列的四篇文章如下：

R-CNN: https://arxiv.org/abs/1311.2524
Fast R-CNN: https://arxiv.org/abs/1504.08083
Faster R-CNN: https://arxiv.org/abs/1506.01497
Mask R-CNN: https://arxiv.org/abs/1703.06870

圖像的檢測任務是從一個複雜場景的圖像中找到不同的物體，並且給出各個物體的邊界框。圖像檢測的三個著名的數據集是PASCAL VOC，ImageNet和微軟COCO. PASCAL VOC包含20個物體的類別，而ImageNet包含一千多種物體類別，COCO有80中物體類別和150萬個物體實例。

PASCAL VOC目標檢測

COCO目標檢測和實例分割

1. R-CNN

R-CNN的思路是很直觀的三步曲：

1，得到若干候選區域；

2，對每個候選區域分別用CNN分類；

3，對每個候選區域分別進行邊框預測。

在R-CNN出現之前，目標檢測的流行思路是先從圖像中得到一些候選區域，再從候選區域中提取一些特徵，然後利用一個分類器對這些特徵進行分類。分類的結果和候選區域的邊界框就可以作為目標檢測的輸出。一種得到候選區域的方法是Selective Search, 該方法可以得到不同尺度的候選區域，每個候選區域是一個聯通的區域。如下圖中，左邊得到的是較小的候選區域，右邊是較大的候選區域，在該尺度下包含了整個人的區域。

Selective Search得到不同尺度的候選區域

R-CNN的想法是，既然CNN在圖像分類任務中的表現很好，可以自動學習特徵，何不用它來對每個候選區域進行特徵提取呢？於是R-CNN在Selective Search得到的候選區域的基礎上，將每個候選區域縮放到一個固定的大小，並且作為AlexNet（ImageNet 2012圖像分類競賽的冠軍）的輸入，依次對這些區域進行特徵提取，然後再使用支持向量機對各個區域的特徵分別進行分類。R-CNN的過程如下：

R-CNN示意圖

這樣就能得到一個檢測的結果了。但是Slelective Search得到的候選區域並不一定和目標物體的真實邊界相吻合，因此R-CNN提出對物體的邊界框做進一步的調整，使用一個線性迴歸器來預測一個候選區域中物體的真實邊界。該回歸器的輸入就是候選區域的特徵，而輸出是邊界框的座標。

R-CNN的效果很不錯，比VOC 2012的最好的結果提高了30%的準確度。但是問題就是太慢，主要有三方面原因：1，候選區域的生成是一個耗時的過程；2，對候選區域特徵提取需要在單張圖像上使用AlexNet 2000多次； 3，特徵提取、圖像分類、邊框迴歸是三個獨立的步驟，要分別進行訓練，測試過程中的效率也較低。

2， Fast R-CNN

為了解決R-CNN中效率低的問題，Fast R-CNN想，一張圖像上要使用AlexNet 2000多次來分別得到各個區域的特徵，但很多區域都是重合的，可否避免這些重複計算，只在一張圖像上使用一次AlexNet，然後再得到不同區域的特徵呢？

於是Fast R-CNN提出了一個ROI Pooling的方法，先對輸入圖像使用一次CNN前向計算，得到整個圖像的特徵圖，再在這個特徵圖中分別取提取各個候選區域的特徵。由於候選區域的大小不一樣，而對應的特徵需要要具有固定的大小，因此該方法對各個候選區域分別使用POI Pooling, 其做法