【顶会AAAI-2020】神经网络架构搜索(NAS)最新研究进展(二)

Binarized Neural Architecture Search. Hanlin Chen, Li'an Zhuo, Baochang Zhang, Xiawu Zheng, Jianzhuang Liu, David Doermann, Rongrong Ji

The main steps of our BNAS

Algorithm 1: Performance-Based Search

通过为各种任务自动设计最佳的神经网络架构，神经体系结构搜索（NAS）可对计算机视觉产生重大影响。具有二元卷积搜索空间的二值化神经体系结构搜索（BNAS）可以搜索到极度压缩的模型。但该领域仍未得到充分的探索研究。 由于优化需求导致学习效率低下以及巨大的搜索空间，BNAS比NAS更具挑战性。为了解决这些问题，我们将通道采样和操作空间缩减引入到了差分NAS方法中，以显着降低成本开销。这是通过基于性能的策略来丢弃一些具有较少潜力的操作来实现的。我们使用了两种二值化神经网络的优化方法来验证BNAS的有效性。大量实验表明，我们提出的BNAS在CIFAR和ImageNet数据集上均具有与NAS相当的性能表现。在CIFAR-10数据集上，准确率达到96.53％（差分NAS的准确率为97.22％），模型压缩效果显著，搜索速度比最新的PCDARTS快40％。

Test error rates

Comparison with the state-of-the-art image classification methods on ImageNet.

Detailed structures of the best cells discovered on CIFAR-10 using BNAS based on XNOR.

Detailed structures of the best cells discovered on CIFAR-10 using BNAS based on PCNN

AutoShrink: A Topology-Aware NAS for Discovering Efficient Neural Architecture. Tunhou Zhang, Hsin-Pai Cheng, Zhenwen Li, Feng Yan, Chengyu Huang, Hai Li, Yiran Chen

Neural architecture structure and cell topology

An overview of AutoShrink workflow.

在移动设备和边缘设备上部署深度神经网络时，资源是重要的限制。现有研究工作通常采用基于cell的搜索方法，限制了学习单元中网络模式的灵活性。另外，由于基于cell和基于node方法的现有研究中拓扑不可知的性质，搜索过程都很耗时，发现的网络结构的性能可能不是最佳的。为了解决这些问题，我们提出了AutoShrink，这是一种拓扑感知的神经体系结构搜索方法，用于搜索神网络结构的有效构建块。我们的方法基于node，因此可以在拓扑搜索空间内学习单元结构中灵活的网络模式。有向无环图（DAG）用于抽象DNN架构并通过边缘收缩(edge shrinking)方式逐步优化单元结构。由于随着边缘逐渐缩小，搜索空间本质上也会缩小，AutoShrink能够在更短的搜索时间探索更多灵活的搜索空间。我们通过设计ShrinkCNN和ShrinkRNN模型，在图像分类和语言任务上评估AutoShrink的作用。 ShrinkCNN在mageNet-1K数据集上与当前SOTA模型精度相当，但可减少48％的参数并节省34％I的Multiply-Accumulates (MACs) 计算。具体来说，在1.5 GPU小时内训练得到的ShrinkCNN和ShrinkRNN模型分别比SOTA CNN和RNN模型快7.2倍和6.7倍的时间。

Algorithm 1 AutoShrink

Performance comparison of various CNN architectures on ImageNet-1K dataset.

InstaNAS: Instance-Aware Neural Architecture Search. An-Chieh Cheng, Chieh Hubert Lin, Da-Cheng Juan, Wei Wei, Min Sun

InstaNAS searches for a distribution of architectures.

InstaNAS controller

常规的神经网络架构搜索（NAS）旨在找到一个可以实现最佳性能的架构，通常可以优化与任务相关的学习目标，例如准确性。但是，单个网络架构可能对于具有高多样性的整个数据集而言，代表性不足。直观来看，选择精通特定领域特征的领域专家架构(domain expert architecture)可以进一步使与架构相关的目标受益，例如时延。在本文中，我们提出了InstaNAS（一种实例感知NAS框架），该框架采用了一个控制器，训练后用来搜索“架构的分布”而不是单个网络架构；这允许模型对于困难样本使用复杂的架构，对于简单样本的使用浅层的架构。在推断阶段，可以通过自定义推理成本，控制器为每个新的输入样本分配一个实现高精度的领域专家架构(domain expert architecture)。在一个受MobileNetV2启发的搜索空间中，实验显示，InstaNAS可以在一系列数据集上获得与MobileNetV2相当的准确性，并实现高达48.8％的延迟减少。

InstaNAS consistently provides significant accuracy improvement and latency reduction on CIFAR-100

ImageNet results show that InstaNAS can consistently provides latency reduction

InstaNAS out-performs all the related baseline methods