> 文章列表 > 为什么深度学习网络越往后卷积核通道数越大

为什么深度学习网络越往后卷积核通道数越大

为什么深度学习网络越往后卷积核通道数越大

在深度神经网络中,通常将前面的卷积层设计为提取较为基础的特征(物理轮廓、边缘、颜色、纹理),后面的卷积层则负责进一步提取更加高级的特征(和类别相关的抽象特征)。因此,后面的卷积层需要更加复杂、抽象的特征表达能力,才能有效地提取更好的特征。

为了增强特征提取能力,通常可以使用更多的卷积核来学习特征。同时,还可以逐层增加卷积核的通道数,以增加模型的复杂度和表达能力。具体而言,每一层卷积层中的卷积核个数和通道数都可以根据实际任务需要进行相应的调整。

需要注意的是,过深或过于复杂的网络结构可能会导致过拟合问题。因此,在设计深度神经网络时,需要考虑到模型的深度与宽度之间的平衡,并通过适当的正则化等手段来避免过拟合的问题。

ZF-NET论文研究的贡献

参考博客
1、特征可视化
使用反卷积、反池化、反激活函数去反可视化feature map ,通过feature map可以看出,特征分层次体系结构 ,以及我们可以知道前面的层学习的是物理轮廓、边缘、颜色、纹理等特征,后面的层学习的是和类别相关的抽象特征。这一个非常重要的结论,我们后面很多的微调手段都是基于此理论成果。再次强调这个结论:
结论一:CNN网络前面的层学习的是物理轮廓、边缘、颜色、纹理等特征,后面的层学习的是和类别相关的抽象特征。
结论二:CNN学习到的特征具有平移和缩放不变性,但是,没有旋转不变性

2、特征提取的通用性
作者通过实验说明了,将使用ImageNet2012数据集训练得到的CNN,在保持前面七层不变的情况,只在小数据集上面重新训练softmax层,通过这样的实验,说明了使用ImageNet2012数据集训练得到的CNN的特征提取功能就有通用性。

结论三:CNN网络的特征提取具有通用性,这是后面微调的理论支持

3、对于遮挡的敏感性
通过遮挡,找出了决定图像类别的关键部位当,在输入图片中遮挡了学习到的特征时,分类效果会很差。同时根据遮挡图像局部对分类结果的影响来探讨对分类任务而言到底那部分输入信息更重要。

4、特征的层次分析
作者通过实验证明了,不同深度的网络层学习到的特征对于分类的作用,说明了深度结构确实能够获得比浅层结构更好的效果。 通过实验,说明了深度增加时,网络可以学习到更具区分的特征。 底层特征在迭代次数比较少时就能收敛,高层需要的迭代次数比较多。越是高层的特征,其用来做分类的性能越好。