yolov5 剪枝、蒸馏、压缩、量化
文章大纲
- 神经网络模型的全周期优化方式都有哪些?
- 剪枝
-
- 蒸馏
- 量化
- 推理优化
-
- CPU 下的推理优化
- GPU 下的推理优化
- Demo 与代码样例
- YOLOv5 剪枝可能出现的问题
- 参考文献与学习路径
神经网络模型的全周期优化方式都有哪些?
考察神经网络时期重要的激活函数sigmoid和tanh,它们有一个特点,即输入值较大或者较小的时候,其导数变得很小,而在训练阶段,需要求取多个导数值,并将每层得到的导数值相乘,这样一旦层数增加,多个很小的导数值相乘,结果便趋于零,即所谓梯度消失问题[插图],
这将会导致靠近输入层的隐含层的学习效果也趋于零。而靠近输入层的隐含层参数无法学习,就意味着它的值类似随机生成,那么有具体现实意义的输入层经过这些隐含层后会被变换成无意义的信息,继续沿着神经网络往后传递一直到输出层,也就无法得出有效的结论了。所以,深度神经网络很难训练。在深度学习中,除了改进激活函