機器學習-目標檢測(Object Detection)的評估指標mAP

在Faster RCNN論文中與Fast RCNN的對比效果如下:

官方公佈的Fast R-CNN在COCO test-dev數據集上的[email protected]為35.9%，mAP@[.5,.95]為19.7；

作者在論文中自己實現的Fast R-CNN在COCO test-dev上的[email protected]為39.3%，mAP@[.5,.95]為19.3%，之所以比官方公佈的指標高，作者認為原因在於：

We conjecture that the reason for this gap is mainly due to the definition of the negative samples and also the changes of the mini-batch sizes

Faster R-CNN在COCO test-dev數據集上的[email protected]是42.1%，比Fast R-CNN高2.8%；mAP@[.5,.95]的mAP@[.5,.95]是21.5%，比Fast R-CNN高2.2%。

可以看到：Faster R-CNN的效果要優於Fast R-CNN,也說明了RPN網絡的Excellent Performance.

評估指標mAP

論文中經常用mAP去衡量目標檢測模型的好壞優劣,mAP的全稱是Mean Average Precision，是目標檢測領域最常用的評估指標。

Object Detection不僅需要檢測出圖像中物體的分類，還需要給出物體在圖像中的位置，並使用IoU來映射Prediction結果與Ground Truth的關係。

IoU

在Object Detection中是通過計算Prediction Box與Ground Truth Box的交併比(IoU)來評價邊界框正確性的度量指標。

IoU的定義

Intersection over Union is a ratio between the intersection and the union of the predicted boxes and the ground truth boxes

[email protected]中的0.5就是指在IoU=0.5時目標檢測的效果.

Object Detection的Precision & Recall

Precision=TP/(FP+TP)​

Recall=TP/(FN+TP)​

TP(True Positive，真正)：將正類預測為正類的數量；即與Ground truth區域的IoU>=threshold的預測框

FP(False Positive，假正)：將負類預測為正類的數量，誤報；即與Ground truth區域IoU < threshold的預測框

FN(False Negative，假負)：將正類預測為負類的數量，漏報；遺漏的Ground truth區域

TN(True Negative，真負)：將負類預測為負類的數量；沒法算，因為沒有標框的地方無法界定

Precision和Recall之間往往是一種博弈關係，好的模型讓Recall值增長的同時保持Precision的值也在很高的水平，而差的模型性可能會損失很多Precision值才能換來Recall值的提高。通常情況下，都會使用Precision-recall曲線，來顯示分類模型在Precision與Recall之間的權衡。

Precision和Recall受到IoU和置信度閾值的影響，IoU很容易標準化，比如在PASCAL VOC中採用的IoU閾值為0.5，而COCO中採用了一系列的IoU閾值(0.05至0.95)，但是不同模型的置信度會差異很大，一個模型的0.5置信度可能等價於其它模型0.8的置信度，而置信度會影響到Precision-Recall的曲線形狀。為了得到一種適用於任何模型的評估指標，提出了Average Precision(AP)的評估指標。

AP是Precision-Recall Curve(PRC)曲線所覆蓋的面積，用來衡量模型在每個具體類別上的好壞。mAP就是給每一分類分別計算AP，再做mean平均。