選自arXiv
機器之心編譯
參與：Geek AI、張倩
現代計算機視覺研究的一個隱含的假設是，在 ImageNet 上性能更好的模型必定在其它的視覺任務上表現得更好。然而，這個假說從來沒有被系統地驗證過。谷歌大腦研究者在 3 組實驗環境下對比了 13 個分類模型在 12 個圖像分類任務上的性能。實驗結果表明，ImageNet 架構在其它數據集上的泛化能力很強，在 ImageNet 數據集上的精確率的小小的提升就能夠導致在其它數據集上性能的提升，但是 ImageNet 提取出的固定特徵的泛化能力小於其架構的泛化能力。
過去十年來，計算機視覺研究一直將追趕學術上用於對比的基準模型的性能作為衡量進步的標準。然而沒有任何一個基準能像 ImageNet [1] 一樣被如此激烈地追趕。針對這一數據集構建的網絡架構，在許多方面顯著促進了計算機視覺研究的進步，包括將模型遷移到新的數據集 [2，3]、目標檢測 [4]、圖像分割 [5，6] 和圖像質量評價 [7]。這一進展背後一個隱含的假設是，在 ImageNet 上性能更好的網絡架構必定在其它視覺任務上表現得更好。另一個假設是，更好的網絡架構能夠學到更好的能在基於視覺的任務之間遷移的特徵。儘管之前的研究已經為這些假說提供了一些證據（例如，[4，5，8-10]），但是這些假說還沒有被系統地探究過。
在本文中，研究者試圖通過研究 ImageNet 特徵和 ImageNet 分類架構的可遷移性來檢驗這些假說。具體而言，研究者在 12 個圖像分類數據集上對 13 個性能最好的圖像分類卷積神經網絡間的遷移學習進行了大規模的研究，實驗環境如圖 1 所示，包含以下三種類型：固定的特徵提取器 [2，3]，從 ImageNet 的初始化 [8，11，12] 環境中進行調優，從隨機初始化開始訓練。本文的主要貢獻如下：
最佳的 ImageNet 模型沒有給出最佳的圖像特徵。在 ImageNet 上訓練的 ResNet 模型 [14，15] 的特徵始終優於那些在 ImageNet 上取得更高準確率的網絡。
當網絡經過調優後，ImageNet 的準確率是遷移任務準確率的更強有力的指標（r^2 = 0.86），目前最先進的 ImageNet 架構在許多任務中取得了最佳性能。
即使權重信息並不能在任務間很好地遷移，但是網絡架構可以很好地被遷移。在 3 個小型細粒度分類數據集上，調優並不能為從隨機初始化狀態開始的訓練提供顯著的幫助，但是儘管如此，更好的 ImageNet 架構能取得更高的準確率。
圖 1: 細粒度數據集（FGVC 飛機）上的性能可以從調優或從頭開始的訓練中獲得很大的提升，和 ImageNet 類似的數據集（CIFAR-10）上的提升則小一些。低維嵌入在從「inception v4」網絡的倒數第二層中的特徵上使用 t-SNE[13]，用於測試集中的 10 個類別。
表 1: 在遷移學習中被檢驗的數據集。
圖 2: 在 ImageNet 上取得的準確率對於遷移到其它數據集上的經過了調優的模型有很大的預測作用。每組圖片都測量了使用固定的 ImageNet 特徵（最上面的一組）、經過調優的網絡（中間的一組）、以及隨機初始化的網絡（最下方的一組）在 ImageNet 上的準確率和遷移任務的準確率之間的相關性。左圖：不同的訓練環境下，在遷移數據集上的分類準確率（y 軸）和最佳的 ImageNet 模型的準確率（x 軸）之間的關係。右圖：相對於數據集上所有分類器的平均值，在數據集上正確分類的平均對數幾率。誤差條表示標準差。與最佳模型沒有顯出差異（p>0.05）的模型對應的點為綠色。
圖 3: 對網絡進行調優在固定的 ImageNet 特徵上或從隨機初始化模型開始的訓練得到的特徵取得了比 logistic 迴歸更高的準確率。在固定的 ImageNet 特徵上的 Logistic 迴歸和從隨機初始化開始訓練的網絡的性能在很大程度上取決於數據集。圖中的座標經過了合理的放縮。
圖 4: 對 ImageNet 調優取得了目前最好的性能。數據條表示 logistic 迴歸、參數調優以及從隨機初始化開始訓練的模型（不包括 VGG）準確率。誤差條表示標準差。數據點代表獨立的模型。黑色水平線代表之前最好的模型性能。
表 2: 最優模型的性能。
圖 5: 在 ImageNet 上預訓練的網絡收斂得更快。每個點表示一個使用優化過的超參數訓練的 inception v4 模型。圖中的座標軸被合理放縮過。
圖 6: 在 ImageNet 上預訓練能夠提升擁有小規模數據的細粒度任務的性能。在不同規模數據集上的 Inception v4 模型的性能。誤差條反映了 3 個子集的標準差。請注意，圖中顯示的最大數據集的大小並不是整個數據集的大小。
論文：Do Better ImageNet Models Transfer Better?
論文鏈接：https://arxiv.org/pdf/1805.08974.pdf
摘要：隨著 ImageNet 中提取出的特徵的出現，遷移學習已經成為了計算機視覺的基石。然而評估 ImageNet 架構在不同數據集上的表現的研究卻很少。現代計算機視覺研究的一個隱含的假設是，在 ImageNet 上性能更好的模型必定在其它的視覺任務上表現得更好。然而，這個假說從來沒有被系統地驗證過。在本文中，研究者在 3 組實驗環境（固定的特徵提取器、經過調優的網絡權重、從隨機初始化開始訓練）下對比了 13 個分類模型在 12 個圖像分類任務上的性能。研究者發現，當網絡直接被用作固定的特徵提取器時，在 ImageNet 上的準確率對它在其它網絡上準確率的預測能力很弱（r^2=0.24）。在這種情況下，ResNet 的遷移能力始終優於那些在 ImageNet 上取得更高的準確率的網絡。當網絡經過調優後，研究者觀察到一個顯著增強的 ImageNet 的準確率和遷移任務的準確率之間的相關性（r^2=0.86）。研究者通過對目前最先進的 ImageNet 架構進行調優在 8 個圖像分類任務上取得了目前最好的模型性能，超越了之前基於專門的遷移學習方法得到的結果。最後，研究者觀察到，在 3 個小型細粒度圖像分類數據集上，從隨機初始化開始訓練而來的網絡和用 ImageNet 預訓練的網絡的性能相似。總而言之，本文的實驗結果表明，ImageNet 架構在其它數據集上的泛化能力很強，在 ImageNet 數據集上的精確率的小小的提升就能夠導致在其它數據集上性能的提升，但是 ImageNet 提取出的固定特徵的泛化能力小於其架構的泛化能力。
✄------------------------------------------------
廣告 & 商務合作：[email protected]
閱讀更多 坤艮機器之心 的文章
