当前位置: 南昌夜网|南昌桑拿【www.ncyewang.com】|南昌夜生活|南昌SPA会所|南昌2018最新最热的桑拿主题论坛 > 南昌桑拿按摩 > 【AAAI 2018】中大商汤等提出深度网络加速新方法,具有强大兼容能力

【AAAI 2018】中大商汤等提出深度网络加速新方法,具有强大兼容能力

时间:2017-12-26 20:03 | 作者:采集侠 | 来源:网络整理

【AAAI 2018】中大商汤等提出深度网络加速新方法,具有强大兼容能力

 
  新智元专栏作者:陈添水

  【新智元导读】中山大学、香港理工大学、商汤等机构的联合研究团队提出基于类小波自编码机的深度网络加速法,不需要改动原来网络的结构,故可以兼容现有的深度神经网络,有极好的普适性。相关研究已被AAAI 2018录用为oral paper,第一作者中山大学博士生陈添水带来详细解读。

 

 
  深度网络不断地提升计算机视觉任务的性能,然而,性能提高往往却伴随着愈高的计算复杂度,这严重限制了深度网络在资源受限的平台(如手机,移动嵌入式设备等)的应用。因此,研究深度网络的加速吸引大量工作的关注。近日,中山大学、哈尔滨工业大学、桂林电子大学,香港理工大学以及商汤科技公司联合研究团队提出基于类小波自编码机的深度网络加速法。该方法首先通过一个可学习的类小波自编码机(Wavelet-like Auto-Encoder, WAE),把输入图片分解成两个低分辨率的小图,再以小图替代大图输入到深度网络,从而达到加速的效果。该方法优势还在于,不需要改动原来网络的结构,故可以兼容现有的深度神经网络,有极好的普适性。

  模型介绍

  近年来,深度卷积神经网络在很多计算机视觉任务上取得非常大的突破,但精度的提高往往以增加模型计算复杂度为代价。例如,在ImageNet图像分类任务上, VGG16相比AlexNet提高了约8%的识别率的同时,却增加了约20倍的运算开销。因而高精度模型往往也需要极大的运算开销,如VGG16分类网络处理单张224×224的图像,需要约153.6亿次浮点数运算。大运算开销意味着对处理设备的高要求,这就严重阻碍了深度网络在计算性能较低的平台(如个人电脑或其它嵌入式设备)上的移植应用。因此,深度网络的加速成为一个具有重要的实践意义的研究课题。

  迄今为止,已经有一系列工作致力于深度网络加速的研究。常见的工作主要有两类,第一类通过采用张量分解对卷积运算等价优化的方法实现计算加速。概括地说,这类方法一般步骤为:

  1)通过对预训练好的网络的卷积核进行低秩分解,获得这个网络的近似表达模型;

  2)通过再次训练,重新微调近似表达模型的参数。

  该类方法的不足在于,涉及多个步骤的实现方式,致使其难以较好地平衡模型识别精度和加速效果。

  另一类方法通过在深度网络中采用量化的权重和响应值的方法来减少运算量。该类方法虽然取得比较好的加速效果,但是往往导致精度的显著下降。

  顾此,作者根据以下两个准则设计加速方法:

  1)不改变网络原本的结构,以保证方法的普适性,使其比较容易地推广到具有不同结构的网络模型中;

  2)提升网络模型速度的同时要把识别效果的损失控制在可接受的范围。

表1:模型精度的提高往往以增加模型计算复杂度为代价

 

表1:模型精度的提高往往以增加模型计算复杂度为代价

  采用下采样后的图片替代原图达到加速目的

  由于输入图片的分辨率大小直接跟深度网络浮点数运算量相关,在网络训练和测试过程采用下采样后的图片替代原图作为输入是一个直接、看似可行的加速方法。如表1所示,通过简单缩放下采样的方法虽然取得了可观的加速比,但由于信息的丢失,不可避免地导致识别精度的明显下降。为了解决这个问题,作者提出了类小波自编码机(Wavelet-like Auto-Encoder, WAE)。方法的基本框架如如图1所示。

  ●WAE加速模型

  WAE把输入图片分解成两个低分辨率的小图,并以小图作为深度网络的输入,从而达到加速的效果。为了保证模型加速的同时识别精度不会有明显损失,作者对两个分解得到的子图进行约束,使其具有以下两个性质:

  1)两个子图分别携带输入图像的高频和低频信息,并能利用一个简单的解码过程合成原图。这样子,原图大部分的信息能够保留下来以保证加速模型的识别精度。

  2)

  高频子图携带尽可能少的信息,因此,能够利用一个很小的网络来对其进行处理,避免引入大量的计算开销。

  WAE包括一个编码层和一个解码层。编码层把输入图片分解成两个低分辨率子图,解码层基于这两个子图合成输入图像。

  ●损失函数

  作者定义一个变换损失函数,用于训练WAE。该损失函数包括输入图像和合成图像的重构误差以及高频子图的能量最小化损失函数。

  ●识别预测

本文由 南昌夜生活 原创!欢迎分享及转载请保留出处,谢谢!http://www.ncyewang.com