SeeThroughNet: Resurrection of Auxiliary Loss by Preserving Class Probability Information

摘要

辅助损失函数是在主分支损失之外的附加损失，有助于优化神经网络的学习过程。
为了计算语义分割领域中中间层特征图与ground truth之间的辅助损失，每个特征图的大小必须与ground truth匹配
在所有使用分割模型的辅助损失的研究中，要么使用下采样函数来减少ground truth的大小，要么使用上采样函数来增加特征图的大小，以匹配特征图和地面真相之间的分辨率。
但是在通过下采样和上采样选择代表性值的过程中，信息的丢失是不可避免的
本文方法
引入了类概率保留池化(CPP)来减少语义分割任务中ground truth下采样时的信息损失

类概率保持(CPP)池化效果的可视化。对于被遮挡的火车(红色框中)、被遮挡的建筑(橙色框中公交车站)和远处的柱子(黄色框中)，与DeepLabV3+原始模型相比，DeepLabV3+模型w/ CPP在grada - cam可视化(左列)中显示出更精细和更强的激活。在推理结果中(右列)，w/ CPP模型显示了正确和精细的分割。

传统池化(即最近邻[NN]池化)和CPP池化效果的可视化。由于GT值为整数，神经网络池化被广泛应用于地面真实值的下采样分割任务。使用了来自Cityscapes数据集的语义ground truth。随着池的规模因子的增加，会丢失更多的信息。特别是在神经网络池化中，远目标和边界信息丢失了很多，而在CPP池化中，远目标和边界信息仍然是一种概率。

本文方法

类概率保留(CPP)池化的说明。它显示了1/4池化，其中4x4网格信息被下采样到一个网格。输出的通道数等于类的总数(例如Cityscapes的20个类，包括忽略类)，其中每个通道表示对应网格的类概率。

Class Probability Preserving Pooling

CPP池化不是从输入映射中对应的接受区域中确定一个代表值，而是计算与区域中每个类匹配的网格(或像素)的数量，然后使用该数字作为每个类的概率。例如，图3显示了1/4 CPP池，其中4x4网格向下采样到一个网格。

在输入映射中，统计4x4区域中0类(道路)的个数，成为0类(道路)输出通道对应网格的概率值。

对于其他类(例如，cityscape总共有20个类，包括忽略类)也会进行相同的计算。如图所示，输出网格中的每个位置都保持一定的类概率。

更详细地说，在CPP池化中，一个类k的输出Y网格被计算为:

为了测量两个概率分布之间的差异，我们使用Kullback-Leibler (KL)散度，写为公式2中的DKL。设pi(x)和qi(x)分别为该层的语义预测输出和语义ground truth的CPP池化结果，损失函数为:

SeeThroughNet

主干网络：HRNetV2-W48，输出四种不同的尺度特征
SeeThrough解码器：
粗语义分割头由(3x3 conv)→(BN)→(ReLU)→(1x1 conv)组成
使用三个辅助损失，采用由CPP池化生成的标签y0，由于类概率保留标签，解码器从更大的图像中学习潜在的存在信息，当使用下采样时，这些信息就消失了。
在相邻尺度语义分割图之间使用解码器中可训练的相对注意掩码αds
在较小的图上使用双线性上采样操作µ来匹配分辨率(多尺度注意模块[图4中的蓝框])
多尺度粗分割XS按公式3所示顺序聚合，得到细分割特征X。

采用OCR Head来预测最终的语义分割输出X

对于双分辨率训练，我们遵循比例因子r为r=0.5和r=1.0

总体目标函数
最终的语义分割预测X和标签Y的损失：Lce是交叉熵损失。I代表互信息，b是批大小，c是类。对于λ，我们使用0.5

我们利用KL散度(公式2)得到方程中的辅助损耗Ldecoder

总损失