Focal Loss损失函数

损失函数

损失：在机器学习模型训练中，对于每一个样本的预测值与真实值的差称为损失。

损失函数：用来计算损失的函数就是损失函数，是一个非负实值函数，通常用L(Y, f(x))来表示。

作用：衡量一个模型推理预测的好坏（通过预测值与真实值的差距程度），一般来说，差距越小，损失越小，模型在相应数据集上效果越好。

使用：损失函数主要是在模型训练阶段，在每一个batch的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值与真实值的差异值，即损失值。得到损失值后，模型通过反向传播去更新模型参数，来降低真实值与预测值之间的损失（距离），使得模型生成的预测值向真实值靠拢，从而达到学习的目的。

在训练完该模型后，此时模型通过n次反向传播后，使得模型每个参数达到最优，即该模型预测得到的结果最接近真实结果。

常见损失函数

• 1、分类损失函数：0-1 loss、熵与交叉熵loss、softmax loss及其变种、KL散度、Hinge loss、Exponential loss、Logistic loss、Focal Loss
• 2、回归损失函数：L1 loss、L2 loss、perceptual loss、生成对抗网络损失、GAN的基本损失、-log D trick、Wasserstein GAN、LS-GAN、Loss-sensitive-GAN

Focal Loss损失函数简介

解决问题：解决one-stage目标检测中的正负样本数量极其不平衡的问题。

正负样本不平衡：为了提高召回率，在一张图像中能够匹配到目标的候选框（正样本）个数一般只有十几个或者几十个，而没有匹配到的候选框（负样本）则有1000-100000个，很直观的想法是“宁肯错杀一千，绝不放过一个”，因此在目标检测中，模型往往会提出远高于实际数量的区域提议（Region Proposal，SSD等one-stage的Anchor也可以看作一种区域提议），这么多的负样本不仅对训练网络起不到什么作用，反而会淹没掉少量但有助于训练的样本。

根据Focal Loss论文的统计，通常包含少量信息的“easy examples”（通常是负例），与包含有用信息的“hard examples”（正例+难负例）之比为100000：100！这导致这些简单例的损失函数值将是难例损失函数的40倍！

二阶段目标检测：一般不需要解决样本不平衡问题，因为在二阶段目标检测中分了两步，第一步同样会生成许多负样本以及很少的正样本，但到第二步时，会在第一步的基础上选取特定数量的正负样本去检测，所以正负样本一般不会特别不平衡。

Focal Loss基本理论

Focal loss是基于二分类交叉熵CE（Cross Entropy）的。它是一个动态缩放的交叉熵损失，通过一个动态缩放因子，可以动态降低训练过程中易区分样本的权重，从而将重心快速聚焦在那些难区分的样本（有可能是正样本，也有可能是负样本，但都是对训练网络有帮助的样本）。

Cross Entropy Loss：基于二分类的交叉熵损失，它的形式如下

CE(p,y)={−log⁡(p)if y=1−log⁡(1−p)otherwise \\mathrm{CE}(p, y)= \\begin{cases}-\\log (p) & \\text { if } y=1 \\\\ -\\log (1-p) & \\text { otherwise }\\end{cases} CE(p,y)={−log(p)−log(1−p)​ if y=1 otherwise ​

上式中，y 的取值为1和-1，分别代表前景和背景。p 的取值范围为0~1，是模型预测属于前景的概率。接下来定义一个关于P的函数：

pt={pif y=11−potherwise p_{\\mathrm{t}}= \\begin{cases}p & \\text { if } y=1 \\\\ 1-p & \\text { otherwise }\\end{cases} pt​={p1−p​ if y=1 otherwise ​

结合上式，可得到简化公式：

$$CE(p,y)=CE(pt)=-\log (pt)$$

Balanced Cross Entropy：常见的解决类不平衡方法。引入了一个权重因子α ∈ [ 0 , 1 ] ，当为正样本时，权重因子就是α，当为负样本时，权重因子为1-α。所以，损失函数也可以改写为

CE⁡(pt)=−αtlog⁡(pt)\\operatorname{CE}\\left(p_{\\mathrm{t}}\\right)=-\\alpha_{\\mathrm{t}} \\log \\left(p_{\\mathrm{t}}\\right) CE(pt​)=−αt​log(pt​)

这里给出一张图，可以看出当权重因子为0.75时，效果最好。

Focal Loss：虽然BCE解决了正负样本不平衡问题，但并没有区分简单还是难分样本。当易区分负样本超级多时，整个训练过程将会围绕着易区分负样本进行，进而淹没正样本，造成大损失。所以这里引入了一个调制因子 ，用来聚焦难分样本，公式如下

FL⁡(pt)=−(1−pt)γlog⁡(pt)\\operatorname{FL}\\left(p_t\\right)=-\\left(1-p_t\\right)^\\gamma \\log \\left(p_t\\right) FL(pt​)=−(1−pt​)γlog(pt​)

γ为一个参数，范围在 [0,5]， 当 γ为0时，就变为了最开始的CE损失函数。

(1−pt)γ\\left(1-p_t\\right)^\\gamma(1−pt​)γ 可以降低易分样本的损失贡献，从而增加难分样本的损失比例，解释如下：当 ptp_tpt​ 趋向于1，即说明该样本是易区分样本，此时调制因子 (1−pt)γ\\left(1-p_t\\right)^\\gamma(1−pt​)γ 是趋向于0，说明对损失的贡献较小，即减低了易区分样本的损失比例。当 ptp_tpt​ 很小，也就是假如某个样本被分到正样本，但是该样本为前景的概率特别小，即被错分到正样本了，此时调制因子 (1−pt)γ\\left(1-p_t\\right)^\\gamma(1−pt​)γ 是趋向于1，对loss也没有太大的影响。

对于 $\gamma$ 的不同取值，得到的loss效果如图所示

可以看出，当 ptp_tpt​ 越大，即易区分的样本分配的非常好，其所对于的loss就越小。

通过以上针对正负样本以及难易样本平衡，可以得到应该最终的Focal loss形式：

FL(pt)=−αt(1−pt)γlog⁡(pt)F L\\left(p_t\\right)=-\\alpha_t\\left(1-p_t\\right)^\\gamma \\log \\left(p_t\\right) FL(pt​)=−αt​(1−pt​)γlog(pt​)

即通过 αt\\alpha_tαt​ 可以抑制正负样本的数量失衡，通过 $\gamma$ 可以控制简单/难区分样本数量失衡。

总结

• 1、调制因子 (1−pt)γ\\left(1-p_t\\right)^\\gamma(1−pt​)γ 是用来降低易分样本的损失贡献（比重），无论是前景类还是背景类，ptp_tpt​ 越大，就说明该样本越容易被区分，调制因子也就越小。
• 2、αt\\alpha_tαt​ 用于调节正负样本损失之间的比例，前景类别使用 αt 时，对应的背景类别使用 1−αt1-\\alpha_t1−αt​ 。
• 3、$\gamma$ 和 αt\\alpha_tαt​ 都有相应的取值范围，他们的取值相互间也是有影响的，在实际使用过程中应组合使用。

参考：
https://www.zhihu.com/question/46292829
https://blog.csdn.net/chenaxin/article/details/109218772
https://blog.csdn.net/BIgHAo1/article/details/121783011