2022基于GAN的去雾去雨论文
目录
去雨CVPR2022：使用双重对比学习的不成对深度图像去雨
去雨CVPR2021：闭环：通过解开图像转换生成和去除联合雨
去雨CVPR2021：从雨水产生到雨水清除
去雾CVPR2020：图像去雾的域适配
去雨CVPR2022：使用双重对比学习的不成对深度图像去雨
Unpaired Deep Image Deraining Using Dual Contrastive Learning
论文地址：https://arxiv.org/pdf/2109.02973v4.pdf
项目地址：https://github.com/cschenxiang/DCD-GAN
摘要：从一组不成对的干净和多雨图像中学习单图像去雨（SID）网络是实用且有价值的，因为获取配对的真实世界数据几乎是不可行的。但是，如果没有配对数据作为监督，学习 SID 网络将具有挑战性。此外，在SID任务中仅使用现有的非配对学习方法（例如，非配对对抗学习和周期一致性约束）不足以学习从下雨输入到干净输出的潜在关系，因为雨水和干净图像之间存在显着的域差距。在本文中，我们开发了一个有效的非配对SID对抗框架，该框架通过深度特征空间中的双重对比学习方式探索了未配对样本的相互性质，称为DCD-GAN。所提出的方法主要由双向翻译分支（BTB）和对比引导分支（CGB）两个合作分支组成。具体而言，BTB充分利用对抗一致性的循环架构来生成丰富的样本对，并通过配备双向映射来挖掘两个域之间的潜在特征分布。同时，CGB隐式约束不同样本在深层特征空间中的嵌入，鼓励相似特征分布更近，同时将不同特征分布推得更远，以更好地促进雨水去除和帮助图像恢复。大量的实验表明，我们的方法在合成和真实世界数据集上与现有的不配对去雨方法相比表现良好，并且与几个完全监督或半监督模型产生了可比的结果。
去雨CVPR2021：闭环：通过解开图像转换生成和去除联合雨
Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation
论文地址：https://arxiv.org/pdf/2103.13660v1.pdf
项目地址：guyii54/JRGR: Torch implementation for CVPR 2021: Closing the Loop: Joint Rain Generation and Removal via Disentangled Image Translation. (github.com)
摘要：现有的基于深度学习的图像去雨方法在合成雨像中取得了有希望的性能，通常依赖于成对的锐利图像和模拟的雨景对应物。然而，这些方法在面对真雨时性能会明显下降，因为简化的合成雨和复杂的真雨之间存在巨大差距。在这项工作中，我们认为雨水的产生和移除是同一枚硬币的两面，应该紧密结合。为了闭环，我们建议在一个统一的解开图像转换框架内共同学习真实的雨水生成和去除过程。具体来说，我们提出了一种双向解耦平移网络，其中每个单向网络分别包含真实和合成雨图像的联合雨生成和去除两个循环。同时，通过将雨图像分解为干净的背景和雨层（雨水去除），通过周期一致性损失和对抗性损失更好地保护身份背景，并简化雨层在真实和合成雨图像之间的转换，从而实施解缠策略。具有纠缠策略的对应组合对称地应用于降雨的产生。在合成和真实世界降雨数据集上进行的广泛实验表明，与最先进的方法相比，所提出的方法具有优越性。
去雨CVPR2021：从雨水产生到雨水清除
From Rain Generation to Rain Removal
论文地址：https://arxiv.org/pdf/2008.03580v2.pdf
项目地址：https://github.com/hongwang01/VRGNet
摘要：对于单幅图像除雨（SIRR）任务，基于深度学习（DL）的方法的性能主要受设计的除雨模型和训练数据集的影响。目前大多数最先进的技术都集中在构建强大的深度模型上，以获得更好的脱雨结果。为了进一步提高降雨性能，我们尝试从训练数据集的角度处理SIRR任务，探索一种更有效的雨季图像合成方法。具体来说，我们为雨水图像构建了一个完整的贝叶斯生成模型，其中雨层被参数化为生成器，输入作为一些潜在变量，代表物理结构雨因子，例如方向、尺度和厚度。为了解决该模型，我们采用变分推理框架以数据驱动的方式近似雨图像的预期统计分布。使用学习生成器，我们可以自动且充分地生成多样化且非重复的训练对，从而有效地丰富和增强现有的基准数据集。用户研究定性和定量地评估生成的雨水图像的真实性。综合实验证明，所提模型能够忠实地提取复杂的雨量分布，不仅有助于显著提高当前深部单图像除雨器的除雨性能，而且在很大程度上放宽了SIRR任务对大型训练样本预采集的要求。
去雾CVPR2020：图像去雾的域适配
Domain Adaptation for Image Dehazing
论文地址：https://arxiv.org/pdf/2005.04668v1.pdf
项目地址：GitHub - HUSTSYJ/DA_dahazing: Domain Adaptation for Image Dehazing, CVPR2020
摘要：近年来，使用基于学习的方法进行图像去雾已经实现了最先进的性能。然而，大多数现有方法在合成朦胧图像上训练去雾模型，由于域偏移，这些图像不太能够很好地推广到真正的朦胧图像。为了解决这个问题，我们提出了一种域适应范式，它由一个图像转换模块和两个图像去雾模块组成。具体来说，我们首先应用双向翻译网络，通过将图像从一个域翻译到另一个域来弥合合成域和真实域之间的差距。然后，我们使用翻译前后的图像来训练所提出的两个具有一致性约束的图像去雾网络。在这个阶段，我们通过利用清晰图像的特性（例如，暗通道先验和图像梯度平滑）将真实的朦胧图像纳入去雾训练中，以进一步提高域适应性。通过端到端地训练图像平移和去雾网络，我们可以获得更好的图像平移和去雾效果。在合成和真实世界图像上的实验结果表明，我们的模型在与最先进的去雾算法相比表现良好。