GhostNet : 轻量级网络模型,性能超越MobileNetV3(CVRP2020, 华为诺亚)
干货第一时间送达
主要思想
提出背景
传统的CNN通常需要大量的参数和浮点运算(FLOPs)才能达到满意的精度;
尽管最近的工作,例如MobileNet和ShuffleNet引入了深度可分离卷积或混淆卷积操作,以使用较小的卷积核(浮点运算)来构建有效的CNN,但1x1卷积层仍将占用大量内存和FLOPs;
MobileNet和ShuffleNet这类模型在较少FLOPs下获得了高性能,但特征映射之间的相关性和冗余性却从未得到很好的利用;
深度网络处理过的特征有一部分冗余,这类特征可以通过更廉价的方式获取,不一定非要传统代价较为高昂的运算方式;
创新点
引入了一种新的Ghost模块,通过使用较少的参数来生成更多的特征;
Ghost深层神经网络中的一个普通卷积层将被分成两部分。第一部分涉及普通卷积,但它们的总数将受到严格控制,给定第一部分的内在特征映射,然后应用一系列简单的线性运算来生成更多的特征映射;
在不改变输出特征映射大小的情况下,与普通卷积module相比该Ghost模块所需的参数总数和计算复杂度相比减少了;
基于Ghost模块,本文建立了一个高效的神经网络结构:GhostNet;
实验结果表明,所提出的Ghost模块在保持相似识别性能的同时,能够降低通用卷积层的计算成本,在移动设备上快速推理的各种任务上,Ghost网络可以超过MobileNet3等最新的高效深层模型;
网络模型结构
实验结果
为了验证所提出的Ghost模块和GhostNet架构的有效性,我几个基准视觉数据集上进行了实验,包括CIFAR-10、ImageNet ILSVRC 2012数据集和MS-COCO对象检测基准。针对d和s的大小,论文进行了实验,最终确定了d=3,s=2。
推荐阅读:
重磅!3DCVer-知识星球和学术交流群已成立
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导,550+的星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
▲长按加群或投稿
推荐阅读: