AUTOML之 AmoebaNet-A

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_14845119/article/details/85160295

论文:Regularized Evolution for Image Classifier Architecture Search 

 

Github:

https://github.com/tensorflow/tpu/tree/master/models/official/amoeba_net

https://colab.research.google.com/github/google-research/google-research/blob/master/evolution/regularized_evolution_algorithm/regularized_evolution.ipynb#scrollTo=6dr709ay2ahZ

https://tfhub.dev/google/imagenet/amoebanet_a_n18_f448/classification/1

 

 

论文贡献:

(1)提出了aging evolution 搜素算法

(2)将本文的aging evolution和reinforcement learning (RL)以及random search 进行了对比

(3)分享了最终训练处的模型,AmoebaNet-A ,最终在ImageNet分类任务上达到83.9% top-1 / 96.6% top-5 准确性。

 

Search Space

这里搜索空间采用NASNet 的搜索空间,网络结构为类似Inception的结构(左图)。

网络的第一个输入模块接收输入图片的2个copy,也就是接收2个同样的输入(右图),后续的模块都接收前面模块的输出和以shortcut形式的前前面模块的输入(中图)。

网络主要搜索2个模块,normal cell ,reduction cell(左图) 。其中normal cell级联的个数为N。卷积操作输出的滤波器个数为F。

 

Evolutionary Algorithm :

训练过程中主要有2种参数的变化,hidden state mutation 和the op mutation 。

hidden state的变化表示连接路径的变化(上图)。

op的变化表示操作算子的变化(下图)。主要的op包括,none (identity),3x3, 5x5 , 7x7 separable (sep.) convolutions (convs.),3x3 average (avg.) pool,3x3 max pool,3x3 dilated (dil.) sep. Conv,1x7 then 7x1 conv 。

 

AmoebaNet-A网络结构:

实验结果:

aging evolution,reinforcement learning (RL),random search对比

RS方法为一个baseline方法。RL方法计算量较大,精度和evolution相当。evolution搜索算法不管在时间消耗,计算量,准确性上都占有绝对的优势。

 

ImageNet分类准确性:

猜你喜欢

转载自blog.csdn.net/qq_14845119/article/details/85160295