一文弄清-BP的过拟合与validationCheck

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com

BP神经网络的训练经常会遇到过拟合的情况，导致模型在训练效果上很好但预测效果差
正因如此，matlab工具箱引入validationCheck来防止BP神经网络走向过拟合
本文介绍过拟合是什么，并讲解validationCheck是如何防止BP神经网络走向过拟合的

目录

一、BP神经网络的过拟合     

1.1 BP神经网络与过拟合

二、 BP神经网络的validationCheck     

2.1 什么是BP神经网络的validationCheck

2.2 BP神经网络-validationCheck的相关设置

一、BP神经网络的过拟合     

本节简单讲解什么是BP神经网络的过拟合

1.1 BP神经网络与过拟合

我们训练BP神经网络主要用于拟合数据，
但是往往出现以下的情况 

上面第二种情况就称为过拟合
可以看到，第二种情况比第一种情况在数据点上拟合得更好
但第二种情况为了强行拟合训练数据，
导致曲线非常跌宕，已经偏离了我们想要的形态
总的来说
过拟合时，模型虽然在训练数据上拟合得更好，
但拟合出的曲线已经偏离了我们想要的形态
过拟合会导致数据在预测上效果非常差

二、 BP神经网络的validationCheck     

本节介绍BP神经网络的validationCheck是什么
并展示与validationCheck相关的设置

2.1 什么是BP神经网络的validationCheck

    我们知道，当过拟合时，未经训练的数据预测效果会较差
为了避免过拟合，matlab会把训练数据预留一部分验证数据
在训练时，会用这部分数据不断测试BP神经网络的预测能力
这个过程就是validationCheck(验证数据检验)

如上图所示，本来已经训练得差不多了，
如果再强行不顾一切拟合训练数据，而使曲线非常跌宕时，
未训练的数据就会预测得非常不准确
因此，加入validationCheck
如果检测到训练数据的效果越来越好
而验证数据的效果越来越差，则说明模型正在走向过拟合   
这时再把训练数据训练得更精准，也没有太大意义
当验证数据连续N次变得更差时，模型就会停止训练

2.2 BP神经网络-validationCheck的相关设置

与validation相关的设置有
👉1. 验证数据的划分             
👉2. validationCheck的步数

关于验证数据的划分
 验证数据的划分由以下参数设置

    net.divideParam.trainRatio   = 0.7;             % 用于训练的数据比例                 net.divideParam.valRatio     = 0.15 ;           % 用于验证过拟合的数据比例       net.divideParam.testRatio    = 0.15;            % 用于比例          

以上就是matlab工具箱的默认配置，
它代表用15%的数据作为验证数据，
我们可以调整net.divideParam.valRatio参数来控制验证数据的划分占比
但是，修改后别忘了把trainRatio和testRatio也修改一下，使三者的总和为1

validationCheck的步数设置
validationCheck的步数由以下参数设置

net.trainparam.max_fail = 6;    % 过拟合验证失败次数

以上就是matlab工具箱的默认配置，
它代表用失败6次就终止训练

相关文章

《BP神经网络梯度推导》

《BP神经网络提取的数学表达式》

《一个BP的完整建模流程》