阅读笔记5——深度可分离卷积
一、标准卷积
标准卷积的过程如图1-1所示,假设输入特征图的channel=3,则每个卷积核的channel都为3,每个卷积核的3个channel对应提取输入特征图的3个channel的特征(考虑了特征图的区域信息),并输出channel=1的输出特征图(考虑了特征图的通道信息)。即:
- 卷积核的channel=输入特征图的channel
- 输出特征图的channel=卷积核的个数
图1-1 标准卷积过程图
二、Depthwise卷积
对于一个通道的输入特征H×WH×WH×W,利用一个3×3的卷积核进行点乘求和,得到一个通道的输出H×WH×WH×W。然后,对于所有的输入通道CCC,使用CCC个3×3卷积核即可得到C×H×WC×H×WC×H×W大小的输出。
通道之间相互独立,没有各通道间的特征融合,这也是Depthwise卷积的核心思想。即:
- 卷积核的channel=1
- 输入特征图的channel=卷积核的个数=输出特征图的channel
图2-1 Depthwise卷积过程图
三、Pointwise卷积
由于Depthwise卷积的通道间缺少特征融合,并且通道数无法改变,因此后续还需要继续连接一个逐点的1×1的卷积,一方面可以融合不同通道间的特征,同时也可以改变特征图的通道数。
Pointwise卷积就是卷积核大小为1的标注卷积。即:
- 卷积核的channel=输入特征图的channel
- 输出特征图的channel=卷积核的个数
- 卷积核的大小为1
图3-1 Pointwise卷积过程图