【頂會AAAI-2020】神經網絡架構搜索(NAS)最新研究進展(二)

Binarized Neural Architecture Search. Hanlin Chen, Li'an Zhuo, Baochang Zhang, Xiawu Zheng, Jianzhuang Liu, David Doermann, Rongrong Ji

The main steps of our BNAS

Algorithm 1: Performance-Based Search

通過為各種任務自動設計最佳的神經網絡架構，神經體系結構搜索（NAS）可對計算機視覺產生重大影響。具有二元卷積搜索空間的二值化神經體系結構搜索（BNAS）可以搜索到極度壓縮的模型。但該領域仍未得到充分的探索研究。 由於優化需求導致學習效率低下以及巨大的搜索空間，BNAS比NAS更具挑戰性。為了解決這些問題，我們將通道採樣和操作空間縮減引入到了差分NAS方法中，以顯著降低成本開銷。這是通過基於性能的策略來丟棄一些具有較少潛力的操作來實現的。我們使用了兩種二值化神經網絡的優化方法來驗證BNAS的有效性。大量實驗表明，我們提出的BNAS在CIFAR和ImageNet數據集上均具有與NAS相當的性能表現。在CIFAR-10數據集上，準確率達到96.53％（差分NAS的準確率為97.22％），模型壓縮效果顯著，搜索速度比最新的PCDARTS快40％。

Test error rates

Comparison with the state-of-the-art image classification methods on ImageNet.

Detailed structures of the best cells discovered on CIFAR-10 using BNAS based on XNOR.

Detailed structures of the best cells discovered on CIFAR-10 using BNAS based on PCNN

AutoShrink: A Topology-Aware NAS for Discovering Efficient Neural Architecture. Tunhou Zhang, Hsin-Pai Cheng, Zhenwen Li, Feng Yan, Chengyu Huang, Hai Li, Yiran Chen

Neural architecture structure and cell topology

An overview of AutoShrink workflow.

在移動設備和邊緣設備上部署深度神經網絡時，資源是重要的限制。現有研究工作通常採用基於cell的搜索方法，限制了學習單元中網絡模式的靈活性。另外，由於基於cell和基於node方法的現有研究中拓撲不可知的性質，搜索過程都很耗時，發現的網絡結構的性能可能不是最佳的。為了解決這些問題，我們提出了AutoShrink，這是一種拓撲感知的神經體系結構搜索方法，用於搜索神網絡結構的有效構建塊。我們的方法基於node，因此可以在拓撲搜索空間內學習單元結構中靈活的網絡模式。有向無環圖（DAG）用於抽象DNN架構並通過邊緣收縮(edge shrinking)方式逐步優化單元結構。由於隨著邊緣逐漸縮小，搜索空間本質上也會縮小，AutoShrink能夠在更短的搜索時間探索更多靈活的搜索空間。我們通過設計ShrinkCNN和ShrinkRNN模型，在圖像分類和語言任務上評估AutoShrink的作用。 ShrinkCNN在mageNet-1K數據集上與當前SOTA模型精度相當，但可減少48％的參數並節省34％I的Multiply-Accumulates (MACs) 計算。具體來說，在1.5 GPU小時內訓練得到的ShrinkCNN和ShrinkRNN模型分別比SOTA CNN和RNN模型快7.2倍和6.7倍的時間。

Algorithm 1 AutoShrink

Performance comparison of various CNN architectures on ImageNet-1K dataset.

InstaNAS: Instance-Aware Neural Architecture Search. An-Chieh Cheng, Chieh Hubert Lin, Da-Cheng Juan, Wei Wei, Min Sun

InstaNAS searches for a distribution of architectures.

InstaNAS controller

常規的神經網絡架構搜索（NAS）旨在找到一個可以實現最佳性能的架構，通常可以優化與任務相關的學習目標，例如準確性。但是，單個網絡架構可能對於具有高多樣性的整個數據集而言，代表性不足。直觀來看，選擇精通特定領域特徵的領域專家架構(domain expert architecture)可以進一步使與架構相關的目標受益，例如時延。在本文中，我們提出了InstaNAS（一種實例感知NAS框架），該框架採用了一個控制器，訓練後用來搜索“架構的分佈”而不是單個網絡架構；這允許模型對於困難樣本使用複雜的架構，對於簡單樣本的使用淺層的架構。在推斷階段，可以通過自定義推理成本，控制器為每個新的輸入樣本分配一個實現高精度的領域專家架構(domain expert architecture)。在一個受MobileNetV2啟發的搜索空間中，實驗顯示，InstaNAS可以在一系列數據集上獲得與MobileNetV2相當的準確性，並實現高達48.8％的延遲減少。

InstaNAS consistently provides significant accuracy improvement and latency reduction on CIFAR-100

ImageNet results show that InstaNAS can consistently provides latency reduction

InstaNAS out-performs all the related baseline methods