作者 | 路一直都在
出品 | AI科技大本營（ID:rgznai100）
Paper link：
https://arxiv.org/pdf/1904.02701.pdf
Code link：
https://github.com/OceanPang/Libra_R-CNN
Abstract
在目標檢測中，人們更關注的往往是模型結構，而在訓練過程中投入的注意力相對較少。但是訓練過程對於一個目標檢測器來說同樣關鍵。在本工作中，作者仔細回顧了檢測器的標準訓練過程，發現在訓練過程中，檢測性能往往受到不平衡的限制。這種不平衡往往包括三個方面：sample level（樣本層面），feature level（特徵層面），objective level（訓練目標層面），為了上述三個不平衡對檢測性能的影響，本文提出了Libra R-CNN，一個針對目標檢測平衡學習的簡單有效框架。該框架集成了三個組件：
IoU-balanced sampling，balanced feature pyramid，balanced L1 loss，分別對應解決上述的三個不平衡。基於這些改造，Libra R-CNN在AP上的提升有兩個多點，可以說是簡潔高效。Introduction
隨著深度卷積神經網絡的發展，目標檢測任務取得了很大的突破。Faster R-CNN，RetinaNet，Cascade R-CNN是其中的代表性框架。不論是one-stage結構還是two-stage結構，主流檢測框架大都遵循一種常見的訓練範式，即對區域進行採樣，從中提取特徵，然後在一個標準的多任務目標函數的指導下，共同進行分類和細化位置任務。基於這種指導思想，目標檢測訓練的成功取決於三個關鍵方面：（1）選取的區域是否具有代表性（2）提取的特徵是否被充分利用到（3）目標損失函數是否是最優的。
作者研究發現，現有的目標檢測網絡在三個方面都存在嚴重的不平衡。這種不平衡阻礙了網絡架構發揮最佳性能，進而影響了整個檢測器的效果。下面介紹一下這三個不平衡，如下圖所示：
（a）Sample level imbalance：
當訓練一個目標檢測器時，對於hard samples的訓練更有利於提升檢測器的表現，如果把訓練中心放在easy samples，整個訓練結果會被帶偏。基於隨機採樣機制進行區域選取，造成的結果一般是使挑選的樣本趨向於easy類型，為了解決這個問題，有著名的OHEM，能夠更多的關注hard samples，但是它們通常對噪音很敏感，並會產生相當大的內存和計算成本；RetinaNet中提出了著名的損失函數Focal loss，應用於one-stage的效果較好，但是，擴展到大部分樣本為簡單負樣本的two-stage模型中，效果一般。
（b）Feature level imbalance
我們知道，底層特徵擁有高分辨率信息，隨著卷積層數的加深，高層特徵擁有更豐富的語義信息。把高分辨率信息和豐富的語義信息結合能顯著增強特徵表達，FPN，PANet都是這方面的成功案例。這些網絡結構給我們的啟發是可以通過將底層特徵信息和高層特徵信息互補應用於目標檢測。如何利用它們來整合金字塔特徵表示的方法決定了檢測性能，那麼這就引申出一個問題：將不同層特徵組合在一起的最佳方法是什麼？作者實驗表明，組合後的特徵必須從各分辨率特徵中進行均衡。但是上述方法中的順序方式將使組合特徵更多地
關注相鄰分辨率，而較少關注其他分辨率，每融合一次，非相鄰層中包含的語義信息將被稀釋一次。（c）Objective level imbalance
一個目標檢測器需要完成兩個任務，目標分類和定位，因此總的訓練目標是兩個任務目標的結合，這可以看做是一個multi-task的訓練優化問題，如何給不同任務賦予權重，保持各個任務之間的平衡，將決定最後的效果。此情形同樣適用於訓練過程中的樣本，如果不平衡，由簡單樣本產生的小梯度值會淹沒困難樣本產生的較大的梯度值，進而使得訓練被簡單樣本主導，某些任務無法收斂。因此，針對最優收斂，需要平衡相關的任務及樣本。
為了減輕這些不平衡造成的影響，本文提出了Libra R-CNN，通過引入IoU-balanced sampling，balanced feature pyramid和balanced L1 loss三個架構組件來解決不平衡問題。
Libra R-CNN在COCO上相比Faster R-CNN，RetinaNet AP至少漲了兩個點，在簡單有高效的框架基礎上，更加難能可貴。
Method
下圖是整個Libra R-CNN的結構圖，作者的目標是使用整體平衡的設計來緩解檢測器訓練過程中的不平衡，從而儘可能地挖掘模型架構的潛力。
下面來詳細介紹一下：
1. IoU-balanced Sampling
作者首先進行了一個實驗，實驗的目的是為了驗證訓練樣本與其對應ground-truth之間的重疊是否與其難度相關。也就是說，樣本的hard還是easy和對應ground-truth的IoU有沒有關係。這裡重點看hard negative samples，結果如下圖所示，超過60%的hard negative samples的IoU都是大於0.05的，但是在隨機抽樣中，只有大約
30%的樣本IoU大於0.05，這種極度的不平衡性導致hard samples被大量的easy samples淹沒。
基於實驗發現，本文提出了IoU-balanced sampling解決樣本之間的不平衡性。具體做法為：假定我們需要從M個候選中抽取N個負樣本，每個樣本被抽中的概率很好計算：
為了增加hard negative samples被抽中的概率，根據IoU將抽樣區間平均分成K個格子。N個負樣本平均分配到每個格子中，然後均勻地從中選擇樣本，此時被選中的概率為：
*Mk表示k個對應區間內的抽樣候選個數，K在實驗中默認為3
*實際上，作者在實驗中證明，K的取值並不敏感，如下圖所示，取不同的K值，AP表現差別不大，也就是說，將IoU分為幾個區間，並沒有那麼重要。
這種方法最大的轉變是作者通過在IoU上均勻採樣， 使得hard negative在IoU上均勻分佈。
2. Balanced Feature Pyramid
為了將不同特徵層的信息融合，得到高分辨率和高語義信息的表達，FPN等網絡結構提出了橫向連接（lateral connection），與以往使用橫向連接來整合多層次特徵的方法不同，本文的核心思想是利用深度整合的均衡語義特徵來強化多層次特徵。
如下圖所示，整個過程分為四步，rescaling（尺寸調節），integrating（特徵融合），refining（特徵細化），strengthening（特徵增強）。
Obtaining balanced semantic features
假設C_l表示第l層特徵，lmin，lmax分別表示最底層和最高層的特徵。如下圖所示，C2有最高的分辨率，為了整合多層次的功能，同時保持它們的語義層次。作者首先將不同層的特徵{C2,C3,C4,C5 }進行resize，resize到相同的尺寸，如C4。resize的方法無外乎插值和最大池化。尺寸調整完畢後，可以通過下式得到平衡後的語義特徵：
得到的特徵C，進行rescale然後通過反向操作增強原始每層的特徵，每個分辨率特徵從其他分辨率特徵中同等的獲得信息。此過程不包含任何參數，證明了信息傳遞的高效性。
Refining balanced semantic features
平衡的語義特徵可以進一步細化，使其更具辨別力，作者受《Non-local neural networks》的啟發，利用embedded Gaussian non-local attention進行特徵細化。通過特徵細化能進一步豐富特徵信息。
融合後得到的特徵{P2,P3,P4,P5}用於後續的目標檢測中，流程和FPN相同。
3. Balanced L1 Loss
目標檢測的損失函數可以看做是一個多任務的損失函數，分為分類損失和定位損失，可以用下列式子表示：
其中，Lcls 和Lloc分別是分類和定位的損失函數。在分類損失函數中，p是預測值，u是真實值， 是類別u的位置迴歸結果，v是位置迴歸目標。λ是調整多任務權重參數。在這裡定義損失大於等於0.1的樣本為outliers，剩餘樣本為inliers。
為了平衡不同任務，調整參數λ是一個可行的辦法。但是，由於迴歸目標是沒有邊界限制的，直接增加回歸損失的權重將會使模型對outliers更加敏感。對於outliers會被看作是困難樣本（hard example），這些困難樣本會產生很大的梯度阻礙訓練，而inliers被看做是簡單樣本（easy example）只會產生相比outliers大概0.3倍的梯度。基於此，作者提出了balanced L1 Loss，在下文中用Lb表示。
Balanced L1 Loss受smooth L1 Loss的啟發，所以這裡先貼一個smooth L1 loss的解釋：
smooth L1 Loss的思想是，當x較大時，按照一個恆定的速率梯度下降，等到x較小時， 不再按照一個恆定大梯度下降，而是按照自身進行動態調整。
如下圖所示，設置一個拐點區分outliers和inliers，對於那些outliers，將梯度固定為1。
Balanced L1 Loss的關鍵思想是提升關鍵的迴歸梯度，即來自inliers的梯度(準確樣本)，以重新平衡所涉及的樣本和任務，從而在分類、整體定位和準確定位方面實現更平衡的訓練。
利用balanced L1 Loss的 可以表示為：
對應的梯度公式如下所示：
基於上述公式，設計了一個提升梯度的公式：
其中，α控制著inliers梯度的提升；一個很小的α會提升inliers的梯度同時不影響outliers的值。γ控制調整迴歸誤差的上界，能夠使得不同任務間更加平衡。α，γ從樣本和任務層面控制平衡，這兩個控制不同方面的因素相互增強，達到更加平衡的訓練。
如下圖所示，相比smooth l1 loss，本文提出的balanced l1 loss能顯著提升inliers點的梯度，進而使這些準確的點能夠在訓練中扮演更重要的角色。
對梯度公式進行積分，就可以看到Lb也就是Balanced L1 Loss的廬山真面了：
其中，為了保證函數的連續性，在x=1時，需要滿足下式：
*在本文中，α = 0.5 and γ = 1.5
Experiments
三個組件的效果對比
可以看到，即使單獨應用一個組件，總體相比baseline都會有提升，如果將三個都組合起來，AP提升是最大的，充分驗證了Libra R-CNN的威力.
-
與主流目標檢測網絡對比
在COCO數據集上，Libra R-CNN在AP上相對主流的one-stage和two-stage方法都有不同程度的提升
Conclusion
本文分析了當前目標檢測中存在的三個不平衡問題：
（1）Sample level
（2）Feature level
（3）Objective level
針對這三個不平衡，對症下藥，提出了包含三個組件的Libra R-CNN架構，包括：
（1）IoU-balanced Sampling
（2）Balanced Feature Pyramid
（3）Balanced L1 Loss
很好的解決了三個不平衡帶來的問題和挑戰，使得網絡框架能夠發揮出更好的性能，COCO數據集上的實驗結果表明，Libra R-CNN與最先進的探測器相比，包括one-stage和two-stage框架相比，都獲得了顯著的改進。
◆
◆
2019 中國大數據技術大會（BDTC）再度來襲！豪華主席陣容及百位技術專家齊聚，15 場精選專題技術和行業論壇，超強幹貨+技術剖析+行業實踐立體解讀，深入解析熱門技術在行業中的實踐落地。
閱讀更多 AI科技大本營 的文章
