Abstract

结构光法具有稳定、快速的优点，是工业生产中自动化三维测量的最佳方法之一。然而，当工业零件表面具有高动态范围(HDR)区域时，例如生锈、油污或有光泽的表面，由于图像中的低调制和像素过饱和，可能会发生相位计算错误，从而难以获得准确的3D数据。本文对现有的高动态范围结构光三维测量技术进行了分类和总结，比较了各自的优势，并分析了未来的发展趋势。现有的测量方法根据测量原理分为多次测量融合(MMF)和单次最佳测量(SBM)。然后，详细讨论了两类不同方法的优点，并分析了适用场景。最后，提出了基于结构光的高动态范围三维测量的发展趋势。

1、Introduction

结构光三维测量因其良好的稳定性和测量速度而被广泛应用于工业生产的许多方面。它可应用于缺陷检测、废物分类和参数优化等程序。
然而，当工业零件表面具有高动态范围(HDR)区域，如生锈、油污、有光泽的表面时，由于图像中的低调制和像素过度饱和度，可能会发生相位计算误差。因此，可能很难获得准确的3D数据。因此，如何获取高动态范围曲面的精确三维数据仍是有待研究的课题。
解决这个问题的一般方法可以分为三种。1)接触测量采用高动态范围区域专用设备;例如坐标测量机(CMM)和光笔。测量精度高，但测量速度慢，因此仍难以获得三维形状和尺寸数据。2)粉末喷涂还可以在工件表面形成一层薄薄的粉末，使表面出现漫反射。在这种情况下，3D数据的准确性取决于粉末的厚度，它可能会损坏工件。3)采用多视点方法，从视点出发对3D数据进行重构和合并，补充暗部和亮部。该方法操作简单，但增加了必须处理的数据量，因此其效果取决于规划视点的质量。这三种方法在某些方面可以实现HDR三维测量，但可能不完全准确和高效。
许多研究者对这一问题进行了研究，并提出了不同的方法，主要分为多测量融合(MMF)和单最佳测量(SBM)。
1)基于mmf的方法试图通过获得具有不同参数的同一视点图像来克服上述问题;例如曝光，投影强度和颜色通道。理论上，MMF方法可以通过对不同的反射区域设置适当的参数来解决这一问题。然而，如何设置能够满足所有领域的参数仍然是一个挑战。
2)基于SBM的方法有可能通过单一测量来修复这个问题，这涉及到最佳的投影模式、额外的设备或深度学习的图像增强。SBM的原理是非常有效的，但目前的交流效果不如MMF。因此，最广泛认可的方法是应用于MMF的多次暴露融合法，因为其操作简单，不需要额外的设备。
考虑到上述方法的不同原理和特点，分析和讨论它们的实用性是至关重要的。通过研究这些方法，不仅可以帮助新手快速入门，还可以帮助有需要的人根据不同的测量需求选择最合适的方法。为此，本文从原理和适用性两个方面对这些方法进行了全面的综述。第2节介绍了用于结构光三维测量的一般相机成像模型，第3节介绍了通常用于HDR三维测量的基于mmf的方法。第4节介绍了基于sbm的方法，第5节讨论了基于结构光的HDR三维测量的未来研究方向，并对本研究提出的内容进行了总结。

2、Camera-imaging model

当使用结构光技术进行测量时，投影仪在研究对象的表面上显示一组条纹图案，而相机同时捕捉图像。由于被测物体表面几何形状的改变，相机拍摄的光栅条纹图案发生了变形。然后根据该算法进行相位计算、相位展开和立体匹配。最后，利用三角剖分原理重构三维点云。
在结构光三维测量中，如图1所示，相机成像模型可以表示为

其中a为相机的灵敏度系数，t为相机的曝光量，b为被测物体的反射系数，I^a1为照射在被测物体上的环境光，I^p为投影仪的光强，I^a2为直接进入相机的环境光，μ为相机的噪声误差。考虑到投影图像是一系列其他相移量恒定的正弦条纹图像，对上述公式进行简化和修改后，图像的灰度分布可表示为:

其中A (x,y)是平均强度，B (x,y)是调制强度，φ (x,y)表示要求解的相位，δk是相移。δn = 2π (n - 1) n为相移量。结构光技术的关键是从摄像机获取的边缘图像序列中恢复相位φ (x,y)，以实现相应的点匹配，并对点云数据进行重构。其中φ (x,y)和B (x,y)可以通过

根据公式(2)-(4)，可以得出相位计算的精度取决于图像灰度值和实际投影亮度值的相对精度。
但由于相机设备的限制，通常使用的图像强度范围I_cam∈[0,255]无法用其真实强度表示。如果工业零件表面具有高动态范围(HDR)区域(例如锈迹、油污、闪亮部分)，则图像中对应像素的灰度值不能准确表示，从而导致相位计算错误。

3、Multiple measurement fusion

基于mmf的方法的目的是用不同参数得到的图像中合适的范围区域来代替过饱和或低调制区域。基于mmf的方法主要用于HDR 3D测量过程，并依赖于重要的特性，如多次曝光融合和多投影融合。

3.1、Multiple exposure fusion

多次曝光融合技术是指将同一视点在不同曝光时间下收集的图像混合成一张图像。该过程是为了避免图像饱和和实现更高的调制强度。考虑到这一原理，Zhang和Yau提出了一种基于多次曝光的高动态范围扫描技术。首先，获得了一系列由高到低曝光量不同的条纹图像序列。然后，如图2所示，根据条纹图像中占据相同位置、频率序列相同的像素都是不饱和的，且都是最强烈的像素，选择融合图像的像素值。由于环境光对相移法的影响不大，该方法操作简单，效果满意。然而，在实验中，曝光是主观选择的，这需要拍摄大量照片(例如，一个花瓶需要23张不同的曝光)。因此，仍然有必要创建一种方法来自动选择适当的曝光，同时考虑效果和效率。

3.3.1 Auto-exposure

一些研究人员已经尝试找到一种自动确定HDR 3D测量曝光的方法。例如，Ji‐ang等²²提出了一种自动选择曝光和投影条纹强度的方法。所有可能的候选参数都是按照最大投影强度和最小曝光量的原则按升序设定的。然后，对均匀光照的光束进行投影，用最大调制准则代替最大和不饱和的像强准则计算有效参数的掩模。该方法具有鲁棒性和对环境光不敏感的特点;这就是为什么它可以用于增加测量自动化。但是，该方法需要的图像比传统方法多得多，且效果取决于初始候选点，无法自动设置。为了解决这一问题，Feng等人²³提出了一种基于反射率直方图的曝光自动生成算法。如图3所示，该方法根据反射率直方图分布将成像区域划分为几个范围较小的聚类。它根据每个聚类右侧的显著谷值计算曝光，以便能够完全覆盖每个聚类。这个过程可以自动生成曝光，以提高自动化性能。然而，这种用于预测曝光的直方图聚类分布可能不适用于反射率类别分布不显著的物体，因为它很容易产生遮挡效应。

Rao和Da²⁴提出了一种基于自动多次曝光FPP的技术，可以根据直方图的调制来预测曝光。其思想是将图像通过调制划分为几个区域，以计算曝光，使每个区域的调制大于设置的阈值。该方法可以通过调节灰度值自动预测有效曝光量，由于其阈值的存在，曝光量趋向于5。
张²⁵提出了一种策略，即通过低曝光下的图像投影均匀的白色图像来确定最佳曝光率，从而按顺序找到下一个曝光。其思想是先对相机噪声进行预标定，选择最反射区域灰度强度达到最大且不饱和的最佳时间。接下来的步骤是通过使最后一个最小值成为这次曝光的最大值的原则来选择下一次曝光，直到曝光超过所有区域的极限或强度，并使其大于设定的最小值。这种方法的本质是根据设定的强度区间计算曝光，可以用直方图或相同的数字像素代替。所提出的方法偏向于场景的整体明亮区域，对较暗区域的影响不明显。其实际效果取决于设定的阈值和预校准精度。

3.1.2 Measurement acceleration

一些研究人员试图通过提高测量速度来减少多次测量造成的效率损失。Liu等²⁶提出了一种方法，通过结合一个双目相机和两个基于多次曝光的双目相机投影系统来实现HDR 3D测量。与传统方法相比，该方法通过重构单个相机中只有过饱和或低调制的部分区域，获得了更令人满意的结果。然而，重建结果的准确性也取决于相机-投影仪的校准，由于加热容易漂移。
Zhao等²⁷提出了一种快速HDR三维测量方法，可以提高投影速度和强度。实验结果表明，该投影仪采用高帧信号传输模式LVDS (low voltage Differential signal)，最大帧率可达700Hz，光强变化范围可达9倍以上。在实验中，投影仪可以在60赫兹下减少约60%的投影时间。
Suresh等²⁸提出了一种基于DMD(数字微镜设备)过渡状态的实时HDR三维测量方法。它通过双值散焦³⁰和在单个投影中使用两次曝光来实现高速HDR 3D测量，通过设置相机曝光和投影曝光的精确控制，如图4所示。该方法可以提高速度，但只能实现一次两次曝光，可能无法满足工艺中涉及零件的要求。

基于二元散焦和一次投影两次曝光的思想，Zhang等人³¹提出了一种混合相位展开算法的HDR三维测量方法，可以减少密集条纹图案的相位展开误差。该技术能够对HDR场景进行实时3D测量，就像以每秒28帧的速度使用的模型一样。
Wang等人³²提出了另一种基于自动曝光和二元散焦的快速HDR 3D测量方法，该方法能够通过使用两组预捕获的附加条纹来生成最佳曝光间隔。这大大提高了预捕获的测量时间，减少了旧解决方案的时间消耗，包括像相机响应功能等。
多曝光融合方法的优点是操作简单，精度高。为了使这种方法工作良好，只需要调整曝光，而不需要额外的设备。因此，可以认为它有许多应用，例如工业钣金，多纹理表面和多颜色表面。

3.2 Multiple projection fusion

除了调整曝光时间以实现HDR 3D测量外，另一个常见的操作是调整投影仪的全局强度。Waddington和Kofman³³考虑通过最大输入灰度(MI‐GL)来调整投影强度，以避免饱和。通过这样做，可以逐帧获取HDR图像，并识别每帧中的不同强度。这种方法不能有足够的曝光范围，但可以相应改变，作为一种补充。
Jiang等²²使用不同的投影强度和曝光来获得HDR图像。通过增加环境光的强度来减小环境光引起的误差，因此也可以增加测量范围。Waddington和Kofman³⁴提出了一种通过投影不同的MIGL模式来获得HDR图像的新方法。它在不改变相机的情况下，通过高调制和不饱和的原理选择合适的像素。
Sheng等³⁵提出了一种基于相机获取的最后一幅图像对投影图像进行修改的方法。第一步是计算过饱和像素的点扩散函数，然后使用灰度校正函数生成修改后的图像。该方法可以通过一到两次迭代有效地减少饱和点的数量，这将对具有光泽表面的物体有用。
为了使强度选择更加自动化，Zhang等³⁶提出了一种基于相机响应模型的多重投影融合方法。它计算出对应于每个像素的反射系数，并通过反射强度来划分区域。然后，根据预标定模型，通过上下限计算每个区域的最佳投影强度。与直接使用灰色直方图进行图像年龄分割的结果相比，该结果具有更大的分析意义，重要的是要强调区域分割不是自动的。
多投影融合方法的优点与多曝光融合方法的优点相似，但其动态范围不够。因此，我们认为该方法可以作为多次暴露融合的补充。

3.3 Polarization filter

HDR三维测量的主要问题是由于角度的原因，在某些区域往往会产生镜面反射。为了克服这一障碍，一些研究人员试图通过偏振滤光片去除镜面反射光，以避免过度饱和。
例如，Chen等³⁷提出了一种半透明物体的三维测量方法，该方法由添加两个偏振滤波器组成，如图5所示。该方法能够减小半透明物体表面下散射的影响，避免过饱和。然而，这同时导致调制较低。为了解决这个问题，Li等人³⁸想到了一种通过多极化条纹投影获取HDR图像的方法。该方法首先在投影仪前放置线性偏光片对投影图像进行极性化，然后根据相机前四种状态的像素化偏光片阵列得到不同的图像。该方法可以有效地减小因反射引起的过饱和问题，但系统复杂。Feng等人23提出了一种结合多次曝光和偏振滤光片来进行HDR 3D测量的方法。由于偏振滤光片的存在，相机获得的图像具有较低的调制程度，因此需要延长曝光以满足较暗的区域。
由于镜面反射被去除，这种方法是有利的，因为它可以应用于有光泽的表面。但对于较暗的极光，由于较低的调制，它往往会引起较大的误差。

3.4 Other technologies

还可以通过调整RGB相机和某些投影模式来获得融合图像。

Jiang等³⁹提出了一种基于原始条纹图案和反向条纹图案相结合的方法。该方法基于原始条纹图的投影和180度相移(或反转)条纹图来计算相位。当任何条纹图像的像素饱和时，使用反条纹上的像素和相应的公式来计算accu‐rate相位。该方法可以减小投影条纹强度过大引起的饱和对误差的影响。但是，它使用不同的公式来计算相位，不能扩展到四步移位。为了克服这一障碍，Wang等⁴⁰提出了另一种基于规则和逆模式的所有不饱和像素的广义移相算法计算相位的方法。实验结果表明，该方法简化了计算过程，取得了较好的计算效果。

Yin等⁴¹提出了一种能够合成彩色相机和校准衰减比的HDR图像的方法。它遵循的思想是，由于滤波器的选择性，不同的通道具有不同的量子效率曲线随波长的变化。这种新技术可能适用于相同颜色的工业零件，但可能会对具有颜色纹理的物体造成错误。如图6所示，在用RGB cam‐eras⁴²取代灰度相机后，采用实时HDR 3D测量方法提出了同一组。在RGB相机中，通过一次投影两次曝光，三种通道对单色光源的不同响应，获得了6张不同的图像。
Song等⁴³提出了一种用二值图代替正弦图实现镜面物体三维测量的方法。首先介绍了一种有效的相机响应函数估计方法，然后根据衰减函数对亮度图进行压缩。

4、Single best measurement

4.1 Adaptive projection intensity

自适应投影强度的方法与每个DMD中投影仪强度的变化有关，以避免低调制和饱和的问题。Waddington和Kof‐man⁴⁴通过分析投影强度和相机捕捉强度之间的关系，找到了一种使用自适应投影强度来避免饱和的方法。该方法可以减小环境光引起的均方根误差(RMSE)，并通过改变预校准强度来避免饱和现象。然而，投影强度的选择不是自动的，它可能非常耗时。为了解决这一问题，Waddington和Kof‐man⁴⁵提出了一种新技术，可以选择合适的投影强度来最小化RMSE并避免饱和。该方法可有效地缩短操作时间，减少环境光引起的误差。然而，仅靠单一的全局投影强度无法获得足够的动态范围。
后来，Waddington和Kofman³⁴提出了一种方法，可以通过改变局部投影强度的变化来避免两次先验投影的局部饱和。它首先投影最高强度的图案来提取过饱和度区域，然后通过垂直和水平条纹图像投影得到的绝对相位与投影仪上的区域进行匹配。然后，对低强度模式进行投影，利用最小二乘法计算捕获图像中过饱和区域对应区域的自适应强度。最后，将自适应强度模式投影到HDR三维测量中。该方法减小了位置饱和带来的误差，但局部强度变化不能满足过饱和区域每个像素的需要。为了解决这个问题，Lin et al⁴⁶根据相机的响应函数改变了每个像素的投影强度。他们首先用不同的强度投影出一个统一的模式来计算相机响应的功能。然后，根据响应函数，利用饱和区域的不饱和轮廓生成的水平矩阵，计算投影图形中每个像素的强度。该方法可以通过单次测量实现像素级的HDR三维测量，因此被认为比多次投影融合更有效。
显然，自适应投影强度法的效果取决于摄像机的响应函数和摄像机-投影仪的标定;两者都需要很多不同的计算。Li等人⁴⁷提出了一种不依赖于任何这些特征的自适应投影方法。该方法通过二分搜索确定每个像素的投影强度，对于255级投影仪，只需计算8倍的合适强度。如图7所示，Chen et al⁴⁸考虑了另一种方法，通过聚类包围轮廓多项式拟合来选择局部饱和区域的强度。这种方法工作时，一次只需要投射一系列图案，因此可以有效地减少操作时间。

Chen等⁴⁹还提出了另一种方法，即在蓝色和红色通道中投影一系列灰度不同的正交彩色条纹图案，以减少时间。该方法首先通过绝对相位与投影仪的像素相匹配，然后通过投影的一系列均匀图像计算出每个像素的适当强度。该方法比用于不均匀物体的水平矩阵更能得到摄像机与投影仪的精确匹配。
Yu等⁵⁰创建了一种基于多阈值分割和双目摄像机与投影仪之间映射关系的HDR三维测量方法。该方法基于区域分割和摄像机的响应函数，得到最佳投影强度。根据预标定参数，将双目摄像机图像上的过饱和度像素与投影仪进行匹配，进行三维重建。
Liu等⁵¹提出了一种基于自适应投影的HDR表面小物体的方法。在相机成像模型的基础上，只需要两种均匀模式和一组正交条纹模式就可以计算出最优的投影模式。在同一方向上，Xu等人提出了一种基于二色反射模型的三维测量新框架。该框架的关键是首先根据二色反射模型去除镜面反射分量，然后根据拟合的能量方程求解最佳投影强度，从而最终修复过曝区域。

4.2 Deep learning

深度学习^53-59作为一项新技术，在图像增强领域具有很大的潜力。一些研究人员已经将其应用于结构光三维测量领域，以获得更精确的相位^60-67。例如，Yu等⁶³提出了一种卷积神经网络(CNN)，经过适当的训练后，能够在低信噪比(SNR)和饱和情况下提取相位信息。CNN设计以三步移相图像为输入，将其基于十二步移相计算的结果作为ground truth进行训练。因此，在低信噪比或饱和情况下，可以通过CNN的输出来计算包裹相位。

Liu等⁶⁰提出了一种新的CNN——跳过金字塔上下文聚合网络(skip pyramid context aggregation network, SP-CAN)，该网络以低曝光图像为输入特征，将多次曝光融合获得的HDR图像作为ground truth。如图8所示，SPCAN利用跳跃式连接提取每一层的输出，并将它们组合在一个级联层中，以保持其接受场大小的优势。在低信噪比的情况下，SP-CAN在图像增强中发挥着重要作用，可以获得更准确的相位细节信息。

深度学习高效方便，没有任何设计手册的特点。在合适的数据集训练后，无需任何额外设备，即可进行单次普通曝光的HDR 3D测量。出于同样的原因，它的结果取决于训练，这需要大量的数据和计算。

4.4 Other technologies

Ekstrand和Zhang68提出了一种方法，通过适当地散焦二元模式，允许使用任意曝光时间。

该方法简化了HDR 3D测量的曝光调整，但它不能满足HDR物体单曝光的需要。Zhong等人69还提出了一种新的最佳曝光时间校准方法，以避免在光谱反射区域的过饱和。如图9所示，他们得出的结论是像素可以在30到220的强度范围内线性表现。因此，最佳强度应接近220，以获得更准确的相。理论上，计算相位的最佳方法是使强度非饱和。然而，有时灰度强度会过饱和，导致相位计算过程中出现误差。
Ekstrand和Zhang⁶⁸提出了一种方法，通过适当地散焦二元模式，允许使用任意曝光时间。
该方法简化了HDR三维测量的曝光调整，但不能满足HDR对象单次曝光的需要。Zhong等⁶⁹还提出了一种新的最佳曝光时间校准方法，以避免镜面反射区域的过饱和。如图9所示，他们得出的结论是像素可以在30到220的强度范围内线性表现。因此，最佳强度应接近220，以获得更准确的相。理论上，计算相位的最佳方法是使强度非饱和。然而，有时灰度强度会过饱和，导致相位计算过程中出现误差。

Chen等⁷⁰分析了高表面对比度导致的过饱和度，发现在某些情况下即使过饱和度也能获得准确的相位。当条纹周期P为偶数时，即使条纹图案饱和，N=P/2k步进算法也能准确恢复相位。当P为奇数时，N=PK步长算法在相同条件下也能准确恢复相位。
Feng等人考虑了一种结合条纹和散斑的方法，可以成功地进行HDR 3D测量。其思想是通过散斑模式在另一个凸轮时代图像上获得相应的相位，以纠正饱和区域的相位误差。这种方法可以使用不同视角的摄像机来校正土星区域的相位。它的效果也取决于角度。
Hu等⁷²提出了一种基于多频相移的光泽表面微观三维测量方法。该技术根据在低景深下，频率越高对比度越低的原理，用低频相位代替高频过饱和区域的相位
Liu等⁶⁰提出了另一种HDR 3D测量的最佳曝光选择方法，该方法基于调制和过度曝光相结合的一种新的定量度量。

5、Conclusion

尽管HDR 3D测量技术不断进步，但在工业检测领域仍然存在与最先进的结构光技术相关的问题。理论上，最好的解决方案是获得具有更高动态范围的测量设备。目前，这仍然是一个挑战，可行的方法仍然如第2节和第3节所述。
在上述方法中，应用最广泛的是多次暴露融合，因为其操作简单，适用性广。考虑到其他技术，我们认为仍有改进的空间。下面将简要分析每种方法面临的挑战和研究方向。
(1)多重暴露融合。他的技术是目前测量结果最好的技术，经常被用作比较标准。其挑战在于如何自动高效地选择合适的曝光时间序列，因此目前的研究正在寻找一种自动选择曝光序列的方法，并通过减少曝光次数或加速投影来提高测量速度。
(2)多重投影融合。由于原理相似，该方法的问题与多次暴露融合的问题相似。因此，很可能与多次曝光融合相结合，以获得更高的动态范围。
(3)偏振滤光片。这种技术存在暗区低调制的问题，可能会导致较大的误差。研究人员一直试图了解如何滤除高调制的高光。
(4)自适应投影强度。该方法具有像素级调整的优点，具有很大的应用潜力。然而，考虑到很难足够快地计算出最佳强度和映射关系，它可能存在缺陷。因此，许多研究者试图简化强度的计算过程，关于这个问题还需要进行更多的研究。
(5)深度学习。该方法是目前HDR三维测量领域研究较少的方法，存在大数据集、合适的网络结构、训练等问题。目前，我们认为挑战在于如何选择这种方法的输入和输出以获得令人满意的结果。