轻量级网络

Xception

从Inception v3是假设出发，即解耦通道相关性和空间相关性，进行简化，推导出深度可分离卷积。实际上，Inception背后的基本假设是跨通道相关性和空间相关性充分解耦，因此最好不要将它们共同映射。（该过程的一种变体是独立查看宽度方向的相关性和高度方向的相关性。这是由Inception V3中的某些模块实现的，这些模块交替进行7x1和1x7卷积。这种在空间上可分离的卷积的使用在图像处理中已有很长的历史，并且至少从2012年开始（可能更早）就已在一些卷积神经网络实现中使用。）

depthwise separable convolution operation

Xception架构：完全基于深度可分离卷积层的卷积神经网络体系结构。实际上，我们做出以下假设：卷积神经网络的特征图中跨通道相关性和空间相关性的映射可以完全解耦。

提出深度可分离卷机SeparableConv2D层，分为两步，先进行分组数目为n的分组卷机，再进行1*1的点卷积。

Inception 模块与深度可分离卷积存在两点区别：

1. 深度可分离卷积先进行 channel-wise 的空间卷积，再进行1×1 的通道卷积，Inception则相反；

2. Inception中，每个操作后会有一个ReLU的非线性激活，而深度可分离卷积则没有。

深度可分离卷积（Depthwise Separable Convolution，DSC）最早出现在一篇名为“Rigid-motion scattering for image classification”的博士学位论文中。但让大家对DSC熟知的则是两个著名的模型，Xception和MobileNet。Xception和MobileNet是同一时期出自Google团队的两个重要成果。

MobileNet

MobileNet 是Google推出的一款高效的移动端轻量化网络，其核心即是深度可分离卷积。

ShuffleNet

引入分组点卷积和通道重排。

SqueezeNet

Distilling the Knowledge in a Neural Network

Network Slimming

attention transfer

Pruning for Efficient Inference

learning Weights and Connections