锁定成像背景光消除技术扩展研究

图像采集时易受背景光的干扰，影响成像质量。激光锁定成像技术利用正弦调制的辅助激光实现了良好的背景光消除，但成本高和安全性不足，且要求图像传感器帧频足够高以满足调制速度。因此对该技术进行扩展，从理论上探讨除正弦波外的其他信号调制辅助光源的可行性和背景光消除机制。采用LED为辅助光源，并利用优化图像采集的控制方式降低对图像传感器帧频的要求。理论研究表明，锁定成像技术辅助光源的调制信号可扩展到一个周期内积分为零的任何波形信号。采用正弦波、方波、三角波、锯齿波调制LED光源的实验结果表明，在一个调制周期内，所提技术采用4种调制波形后在不同采样率下都取得较好的背景光消除效果，且该技术对辅助光源及图像传感器帧频的要求不高，验证了理论的可行性。

Abstract

Background light affects an image and degrades its quality. Laser lock-in imaging is an outstanding technology for reducing the impacts of the background light by a sine auxiliary modulation. However, the technology is expensive and not safe enough, and it requires that the frame rate of the image sensor is high enough to meet the modulation speed. In this study, the technology is extended theoretically to investigate the feasibility of a non-sine auxiliary-modulated light and mechanism of the background light elimination. We used an LED as the auxiliary light and the control mode of optimizing image acquisition to reduce the requirement for the frame rate of the image sensor. According to our findings, the modulation signal of the auxiliary light of the locked imaging technology can be extended to any waveform signal with zero integration in a period. Experiments using sine, square, triangular, and sawtooth signals to modulate an LED light show that in a modulation cycle the proposed technology uses four modulation waveforms to achieve a good background light elimination effect at different sampling rates. The proposed technology has low requirements for auxiliary light sources and frame rates of image sensors, providing theoretical feasibility.

1　引言

人类获取外界信息靠视觉、听觉、触觉、味觉、嗅觉等。“百闻不如一见”，视觉更能传达直观、生动的信息，计算机视觉是计算机应用的一个重要、热门领域。该领域目前主要关注图像分类^［1-2］、目标检测^［3-4］、语义分割^［5］、实例分割^［6］和全景分割^［7］等。直观地，一张高质量的原始图像能为研究与应用带来更理想的结果。影响图像采集质量的因素有很多，如环境光、目标距离、相机参数等，其中环境光是重要影响因素之一。环境光在图像采集中也常称为“背景光”。影响图像采集的强背景光（如高光反射）的信号强度通常远大于目标物体，导致目标物湮没在背景光下，影响目标图像信息的获取。

消除强背景光以提取弱信号目标物图像已有一些卓有成效的工作，提取信息的技术主要分为利用辅助光源的成像技术和无辅助光源的数字图像处理技术两类。锁定成像技术^［8-10］采用正弦调制的激光作为辅助光源，经乘法、归一化、累加等一系列鉴相流程后，得到消除背景光后的图像。调制白光的锁定成像方法^［11］采用正弦调制的白光LED作辅助光源，并对图像RGB三个分量分别进行鉴相处理，以消除背景光。数字外差锁定图像检测技术^［12］涉及一种使用高速脉冲辅助光源和高速图像传感器的主动视觉系统，采用脉宽调制技术对辅助光源进行调制，高速传感器同步采集图像，然后将图像与调制光数字相乘，使用低通滤波器提取结果的低频分量，得到去背景光图像。除利用辅助光源的成像技术外，数字图像处理技术也广泛地应用于背景光消除，该技术主要采用滤波法去除图像中的高光部分，间接消除部分背景光对图像的影响。如，基于双边滤波的高光去除法^［13-16］通过双色反射模型将漫反射分量和镜面反射分量分离，并估计最大漫反射色度，利用最大漫反射色度具有的局部平滑的特征，以最大漫反射色度估计值作为双边滤波器的阈值去除图像的高光部分，在一定程度上保留了边缘信息和图像细节颜色。另外，高动态范围（HDR）成像^［17］通过采集同一场景不同曝光水平下的多幅图像，将其合并以重建场景的原始动态范围图像，更好地还原真实场景，减轻了过曝等问题，在一定程度上消除了强背景光的影响。除图像背景光消除外，在无线激光通信等领域也需要消除背景光对信号光的影响，如神经网络消除背景光法^［18-19］利用前向神经网络能够使非线性函数逼近线性的特点，将无线激光通信中的信号光和背景光作为神经网络的输入，得到与背景光无关的输出信号，达到消除背景光的目的。

尽管数字图像处理技术不需要辅助光源，但它只能部分滤除背景光的高光部分，且不可避免地会过滤掉部分目标图像信息，背景光消除效果并不理想。要较好地去除背景光对目标图像的影响，采用辅助光源的成像技术是目前的主要方法。Throngnumchai等^［12］利用脉宽调制的辅助光源去背景光技术，该技术需要高速调制器和高速图像传感器，系统成本高。激光锁定成像技术^［8-10］采用正弦信号调制的辅助光源，需要与调制速度匹配的图像传感器。为解决复杂背景光对能见度测量造成极大干扰的问题，本课题组^［20］曾把激光锁定成像技术应用于能见度测量中的光斑图像背景光消除方面，取得了较好的效果，与文献［8-10］相同，所使用的辅助光源也是单色激光。虽然激光光源性能优良，但存在大面积成像成本高以及高能量密度激光带来的安全隐患等问题。文献［11］把辅助光源改为白色LED，也取得了较理想的效果，但需要同时处理图像的RGB三个分量，运算量较大，且其目标物位于LED光源表面。激光锁定成像、调制白光的锁定成像等技术均是基于正弦信号进行调制的，获取理想的正弦信号有一定难度，且需要为图像传感器增加滤光片，同时在调制过程中必须等时间间隔采集图像，要求图像传感器帧频足够高以跟上调制速度。

本文对激光锁定成像技术进行进一步扩展，使用普通LED辅助光源、去除滤光片、更改图像传感器控制方式以适应低速传感器，并讨论了如方波、三角波等非正弦信号调制的可行性。研究结果表明，辅助光源调制信号可以是任何一种在一个周期内积分为零的信号，新的传感器控制方式可适应任意帧频的图像传感器。实验表明，常见的正弦波、方波、三角波、锯齿波4种信号调制辅助光源，在不同采样率下都获得了较理想的背景光消除效果。整个实验装置所涉及的辅助光源、图像传感器等都是常见的民用级，间接地验证了锁定成像技术通用性高、抗干扰能力强等优点。

2　技术原理

2.1　锁定成像

锁定成像是苏柯等^［8］提出的利用调制激光作为辅助光源消除背景光的技术，技术原理如图1所示。该技术具有较强的抗外界杂光干扰能力，在钢轨磨耗测量^［9］、高温钢坯三维轮廓测量^［10］等复杂工业环境下的非接触式目标检测系统中得到了较好的应用。该技术采用正弦信号调制的激光器作为辅助光源照射目标物，使用添加了光学滤光片和光学衰减片的CCD图像传感器同步采集若干帧图像，将采集的调制图像与数字正弦信号相乘并进行累加以完成鉴相。一个周期的正弦数字信号之和为零，与背景光部分之积为零，但辅助光源的存在使得正常图像之积不为零，达到去背景光的目的。

图 1. 锁定成像技术原理

Fig. 1. Framework of lock-in imaging technology

下载图片查看所有图片

2.2　调制与鉴相原理

设光源调制信号函数 $f^{(m)} (t)$ 和鉴相信号函数 $f (t)$ 周期均为 $τ$ ，满足

\{\begin{array}{l} \int_{0}^{τ} f^{(m)} (t) d t = 0 \\ \int_{0}^{τ} f (t) d t = 0 \end{array}

。（1）

无任何外界光源（无背景光）时，调制光源 $f^{(m)} (t)$ 照射目标物，时刻 $t$ 的目标区域图像为

G_{t} (t) = G_{g 0} [1 + f^{(m)} (t)]

，（2）

式中： $G_{g 0}$ 为光源未被调制时采集到的图像。

有外界光源（背景光）时，目标区域叠加背景光的影响，此时图像可表示为

G (t) = G_{b} (t) + G_{t} (t)

，（3）

式中： $G_{b} (t)$ 为背景光叠加相机内部干扰等噪声的图像。

消除背景光的影响，即消去式（3）中的 $G_{b} (t)$ ，采用函数 $f (t)$ 对图像进行鉴相：

G^{(d)} (t) = [G_{b} (t) + G_{t} (t)] \times f (t)

，（4）

将式（4）代入式（2），得

\begin{array}{l} G^{(d)} (t) = \{G_{b} (t) + G_{g 0} [1 + f^{(m)} (t)]\} \times f (t) = \\ [G_{b} (t) + G_{g 0}] f (t) + G_{g 0} f^{(m)} (t) f (t) 。 \end{array}

（5）

在一个调制周期内对式（5）进行积分，得鉴相后的图像：

G = \int_{0}^{τ} [G_{b} (t) + G_{g 0}] f (t) d t + G_{g 0} \int_{0}^{τ} f^{(m)} (t) f (t) d t

。（6）

若光源调制速度足够快，那么可认为在一个调制周期内背景光不发生变化，即 $G_{b} (t)$ 是常量，得

\begin{array}{l} G = [G_{b} (t) + G_{g 0}] \int_{0}^{τ} f (t) d t + G_{g 0} \int_{0}^{τ} f^{(m)} (t) f (t) d t = \\ G_{g 0} \int_{0}^{τ} f^{(m)} (t) f (t) d t \end{array}

。（7）

式（7）表明，经鉴相后，消除了背景光 $G_{b} (t)$ 对目标图像的影响。下面讨论常见的正弦波、方波、三角波、锯齿波4种调制信号的鉴相，并设鉴相信号幅度为 $a$ 。

1）正弦波

设调制信号是幅度为 $ξ$ 、角频率为 $ω$ 、初相为 $ϕ$ 的正弦波，鉴相采用 $f (t) = a s i n (ω t)$ ，则式（7）变为

G = G_{g 0} \int_{0}^{τ} ξ s i n (ω t + ϕ) \cdot a s i n (ω t) d t

。（8）

图像是离散采集的，将积分转变为求和，则式（8）变为

G = \sum_{i = 1}^{N} G (i) = \sum_{i = 1}^{N} G_{g 0} ξ a s i n (ω i + ϕ) s i n (ω i)

，（9）

式中：N为一个调制周期内采集的图像帧数。整理式（9），得

G = \frac{N}{2} G_{g 0} ξ a c o s ϕ

。（10）

2）方波

令调制信号的幅度为 $ξ$ ，鉴相采用 $f (t) = \{\begin{array}{l} a, & n τ \leq t < n τ + \frac{τ}{2} \\ - a, & n τ + \frac{τ}{2} \leq t < (n + 1) τ \end{array}$ （ $n$ 为非负整数），则式（7）变为

G = G_{g 0} [\int_{0}^{\frac{τ}{2}} ξ \cdot a d t + \int_{\frac{τ}{2}}^{τ} (- ξ) \cdot (- a) d t]

。（11）

与正弦波同理，积分变为求和，得

G = N G_{g 0} ξ a

。（12）

3）三角波

设三角波幅度为 $ξ$ ，鉴相采用 $f (t) = \{\begin{array}{l} \frac{4 a}{τ} t - a, & n τ \leq t < n τ + \frac{τ}{2} \\ - \frac{4 a}{τ} t + 3 a, & n τ + \frac{τ}{2} \leq t < (n + 1) τ \end{array}$ （ $n$ 为非负整数），则式（7）变为

G = G_{g 0} [\int_{0}^{\frac{τ}{2}} (\frac{4 ξ}{τ} t - ξ) \cdot (\frac{4 a}{τ} t - a) d t + \int_{\frac{τ}{2}}^{τ} (- \frac{4 ξ}{τ} t + 3 ξ) \cdot (- \frac{4 a}{τ} t + 3 a) d t]

。（13）

与正弦波同理，积分变为求和，得

G = \frac{N}{3} G_{g 0} ξ a

。（14）

4）锯齿波

设锯齿波幅度为 $ξ$ ，鉴相采用 $f (t) = \frac{2 a}{τ} t - a$ ，则式（7）变为

G = G_{g 0} \int_{0}^{τ} (\frac{2 ξ}{τ} t - ξ) \cdot (\frac{2 a}{τ} t - a) d t

。（15）

与正弦波同理，积分变为求和，得

G = \frac{N}{3} G_{g 0} ξ a

。（16）

$ξ$ 、 $ϕ$ 、 $a$ 和N均为常量，式（10）、（12）、（14）、（16）表明，消除背景光后的目标区域图像信息仅与图像帧数N和调制信号、鉴相信号参数成比例，相当于对目标图像 $G_{g 0}$ 进行像素增强处理。同时，4个表达式还表明鉴相过程与周期 $τ$ 无关，这样在图像采集时，只要保证采集N张图像时的辅助光源强度满足调制信号的变化规律即可，而无需在周期 $τ$ 内进行等间隔采样，如图2所示，从而降低了对图像传感器的帧频要求。

图 2. 图像采样时间示意图。（a）等时间间隔采样；（b）非等时间间隔采样

Fig. 2. Schematic of image sampling time. (a) Equal interval sampling; (b) unequal interval sampling

下载图片查看所有图片

3　成像实验

3.1　光源调制与图像采集

光源调制系统由计算机（上位机）、光源调制模块（下位机）、图像传感器组成，如图3所示。光源调制模块是一个发光强度受单片机（MCU）控制的LED光源，其调制过程受上位机控制。LED是民用级电压为12 V、功率为18 W的LED光源芯片，图像传感器是可二次开发的JHSM300 CMOS工业相机（COMS尺寸为1/2″、像素300万、最高分辨率为2048×1536），相机镜头焦段为6~12 mm，最大光圈为1∶1.6，用额定功率为2.3 W的LED台灯模拟强背景光。实验有两个不同场景：场景一，将背景光置于一幅卡通画构成的目标物前方，如图3所示，在目标物前放置一块玻璃片以增强反光效果；场景二，背景光位于目标物（一个U盘）后方，这里把目标物固定在背景光中心位置。实验时，调节相机镜头焦距使无背景光的图像尽可能清晰。同时，考虑到相机难以保证调制光最弱到最强的全范围不出现曝光不足或过度，调节光圈使无背景光且调制光最弱时的图像更少欠曝，有背景光且调制光最强时的图像更少过曝。

图 3. 光源调制系统（场景一）

Fig. 3. Light modulating system (scene 1)

下载图片查看所有图片

由2.2节可知，一个调制周期内采集任意两张图像的时间间隔可以不同，所以实验将光源调制和相机控制都交由计算机完成。为便于讨论，以下称N为“采样率”。

在实际光源调制过程中，光强不可能为负值，将调制信号整体向上偏移 $G_{0}$ 单位，使信号高于零电位。为避免固定等时间间隔采样，上位机和下位机之间采用“握手协议”（下位机产生一个调制点后固定调制光源亮度，同时通知上位机采集一张图像，上位机图像采集完成后通知下位机，下位机接收到采集的信号后产生下一个调制点）建立连接，确保了相机完成图像采集后才产生下一个调制点的过程，即任意帧频的相机都可用于本系统。系统工作流程如图4所示。

图 4. 图像采集流程（虚线表示PC，实线表示MCU）

Fig. 4. Flowchart of image acquisition (dotted and solid lines represent PC and MCU, respectively)

下载图片查看所有图片

3.2　鉴相

鉴相过程如图5所示。将一个周期内采集的调制图像信号 $G (x_{i}, y_{j})$ 与鉴相信号 $f (t)$ 相乘并累加，考虑到多帧图像累加后像素值可能超过255而溢出，最后对图像进行归一化后输出。由式（10）、（12）、（14）、（16）可知，鉴相信号幅度 $a$ 仅影响多帧图像累加后像素值的大小，为便于计算，这里令 $a = 1$ 。

图 5. 图像鉴相流程

Fig. 5. Flowchart of image phase discrimination

下载图片查看所有图片

3.3　光强校正

在实际调制过程中，对于除方波外的其他波形，需考虑两个问题：①辅助光源从最暗到最亮的整个亮度变化区间可能非线性；②亮度过低的辅助光源无法获得足够光照强度的图像。因此，需要控制辅助光源强度在一个合理的区间，令调制波形的有效峰-峰值为

A_{e} = α A_{m a x} (0 < α < 1)

，（17）

式中： $A_{e}$ 为有效峰-峰值； $A_{m a x}$ 为最大峰-峰值； $α$ 为收缩系数。 $A_{m a x}$ 由下位机自动侦测， $α$ 则由用户通过上位机软件指定。显然，一个合适的 $α$ 可以解决问题②。

由于实际的光源并非理想的线性元件，电流过大时会饱和，如图6所示。为了获得理想的背景光消除效果，需要对调制光源的发光强度进行校正，以得到电流与光照强度的线性关系。校正方法是：实验得到电流-光强曲线，然后根据式（17）进一步调整 $α$ ，使调制电流避开饱和区，并对去除饱和区的电流-光强曲线进行线性拟合，以拟合的直线作理论值用于校正实际曲线。

图 6. 电流-光强曲线（DAC是数模转换器的输入值，代表电流）

Fig. 6. Curve of current-light intensity (DAC is the input value of the digital-to-analog converter corresponding to the current)

下载图片查看所有图片

4　结果与讨论

4.1　光强校正

实验得到的电流-光强曲线如图7所示，去除饱和区后，对剩余数据进行线性拟合。线性拟合的决定系数R²=0.99896，接近于1，意味着拟合程度很高，可不进行校正。

图 7. 电流-光强拟合（实线为线性拟合后的直线）

Fig. 7. Fitting of current-light intensity (solid is the fitting line)

下载图片查看所有图片

4.2　基于LED的锁定成像去背景光

考虑到高能量密度激光带来的安全隐患以及大面积成像成本高，实验采用普通平面LED作辅助光源，正弦波、方波、三角波、锯齿波作调制与鉴相信号，采样率为2~512，对每场景完成36组实验。其中，正弦波作为光源调制信号时采样率为4的场景一照明图案示例如图8所示，为便于对比观察图像细节，采用基于HSV色彩空间的低照度图像增强法^［21］对图像进行亮度增强处理。

图 8. 照明图案示例

Fig. 8. Examples of lighting patterns

下载图片查看所有图片

利用4种调制波形，在采样率为2~512时，未归一化的去背景光图像像素均值如图9所示。图9显示，像素值与采样率N成正比，且同一采样率的4种调制波形的图像像素均值比近似为1/2∶1∶1/3∶1/3，符合式（10）、（12）、（14）、（16）。

图 9. 未归一化的去背景光图像像素均值。（a）场景一；（b）场景二

Fig. 9. Unnormalized pixel mean of background light removed image. (a) Scene 1; (b) scene 2

下载图片查看所有图片

作为示例，这里随机选取采用方波作调制信号与鉴相信号、采样率为64的锁定成像进行背景光去除，结果如图10所示。图10（b）为未打开背景光且调制光源亮度合适时（以目标物清晰为宜）拍摄的无背景光图像。当仅有背景光时图像整体亮度不足，为便于对比观察，采用基于HSV色彩空间的低照度图像增强法对图10（a）仅含背景光原图像进行亮度增强处理。鉴相时，多帧图像累加会导致像素值溢出，如图10（c）所示，对鉴相结果进行归一化处理。去背景光结果如图10（d）所示，背景光产生的高反光部分基本被完全消除，使得湮没在该区域的内容清晰可辨，与无背景光的原图几无差异。

图 10. LED锁定成像去背景光。（a）仅含背景光的亮度增强图像；（b）不含背景光的图像；（c）未归一化的去背景光图像；（d）去背景光后的图像

Fig. 10. Eliminating background light by LED lock-in imaging. (a) Brightness-enhanced image with background light; (b) image without background light; (c) image of eliminated background light without normalization; (d) image of eliminated background light

下载图片查看所有图片

探讨不同调制信号和采样率对背景光消除效果的影响，图11~14分别为4种调制波形在不同采样率下消除背景光后的结果图。经裁剪，仅保留高反光部分以便直观比对，其中数字代表采样率。

图 11. 正弦波调制的去背景光结果

Fig. 11. Results of eliminated background light by sine modulation

下载图片查看所有图片

图 12. 方波调制的去背景光结果

Fig. 12. Results of eliminated background light by square modulation

下载图片查看所有图片

图 13. 三角波调制的去背景光结果

Fig. 13. Results of eliminated background light by triangular modulation

下载图片查看所有图片

图 14. 锯齿波调制的去背景光结果

Fig. 14. Results of eliminated background light by sawtooth modulation

下载图片查看所有图片

两个实验场景的图像鉴相平均运行时间如表1所示。计算机配置为Intel（R）Core（TM）i7-10510U CPU、16G内存、Windows 10、MATLAB编程。

表 1. 鉴相平均运行时间

Table 1. Average running time of phase discrimination

Modulation waveform	N=2	N=4	N=8	N=16	N=32	N=64	N=128	N=256	N=512
Sine	0.54	0.62	0.76	1.52	2.75	5.22	10.29	21.23	40.95
Square	0.42	0.54	0.83	1.44	2.51	4.91	10.34	21.38	41.69
Triangular	0.45	0.57	0.80	1.45	2.67	5.22	10.77	21.42	40.34
Sawtooth	0.40	0.55	0.81	1.50	2.62	5.01	10.07	20.70	39.36

查看所有表

实验采用结构相似度（SSIM）及ISO12233分辨率测试卡检测图像分辨率，来评价去背景光效果。结构相似度在图像品质的衡量上符合人眼对图像品质的判断，SSIM值越大，表示两张图像的相似度越高，即去背景光效果越好^［22］。由未裁剪的全局去背景光结果图像分别与不含背景光的真实图像和含背景光的原图像计算SSIM值，结果表2所示。

表 2. 去背景光结果图像与无/有背景光图像的SSIM值

Table 2. SSIM of eliminated background light image to image without/with background light

Modulation waveform

Scene

N=2

N=4

N=8

N=16

N=32

N=64

N=128

N=256

N=512

Sine

0.23

（0.06）

0.86

（0.09）

0.93

（0.11）

0.95

（0.11）

0.96

（0.11）

0.95

（0.12）

0.96

（0.11）

0.98

（0.11）

0.97

（0.11）

0.13

（0.05）

0.93

（0.50）

0.96

（0.53）

0.96

（0.54）

0.96

（0.55）

0.95

（0.56）

0.96

（0.55）

0.95

（0.56）

0.94

（0.58）

Square

0.92

（0.10）

0.95

（0.12）

0.97

（0.11）

0.93

（0.11）

0.94

（0.11）

0.95

（0.11）

0.95

（0.11）

0.95

（0.11）

0.96

（0.12）

0.94

（0.50）

0.93

（0.47）

0.94

（0.55）

0.95

（0.53）

0.96

（0.53）

0.95

（0.54）

0.95

（0.55）

0.95

（0.55）

0.95

（0.55）

Triangular

0.90

（0.12）

0.50

（0.13）

0.90

（0.10）

0.96

（0.11）

0.96

（0.11）

0.97

（0.11）

0.97

（0.11）

0.97

（0.11）

0.97

（0.11）

0.90

（0.49）

0.60

（0.29）

0.95

（0.53）

0.97

（0.54）

0.96

（0.57）

0.96

（0.57）

0.95

（0.57）

0.95

（0.57）

0.95

（0.58）

Sawtooth

0.79

（0.08）

0.89

（0.09）

0.93

（0.10）

0.95

（0.10）

0.96

（0.11）

0.97

（0.11）

0.97

（0.11）

0.97

（0.11）

0.98

（0.11）

0.89

（0.55）

0.93

（0.55）

0.93

（0.58）

0.95

（0.57）

0.95

（0.56）

0.95

（0.56）

0.95

（0.59）

0.95

（0.58）

0.94

（0.59）

查看所有表

分辨率测试可以检测去背景光后的图像分辨率是否退化，这里对不同调制信号和采样率进行实验，并通过IQstest软件进行分辨率判读。实验结果显示，不含背景光的原图像分辨率为119.77 lp/mm，去背景光后的图像分辨率如表3所示。

表 3. 结果图像的分辨率

Table 3. Resolution of the resulting image

Modulation waveform	N=2	N=4	N=8	N=16	N=32	N=64	N=128	N=256	N=512
Average	107.94	109.05	107.00	105.46	109.77	113.77	104.78	118.60	105.16
Sine	109.57	119.01	103.27	100.00	116.13	114.31	107.47	119.15	107.04
Square	108.90	105.92	108.14	107.37	102.40	105.75	102.58	113.75	102.45
Triangular	106.01	105.52	103.54	107.30	116.83	119.25	102.86	122.23	105.52
Sawtooth	107.28	105.76	113.07	107.18	103.71	115.76	106.23	119.26	105.64

查看所有表

图11~14显示，在4种调制波形下，在采样率为2~512时，都有较好的背景光消除效果。采样率为2时的正弦波、锯齿波和采样率为4时的正弦波、三角波的去背景光效果稍差。由表2可知：实验场景一中，正弦波、三角波、锯齿波在采样率8~512及方波在采样率2~512下，去背景光的图像与含背景光的原图像的SSIM值在0.11左右，与无背景光的真实图像的SSIM值在0.9以上；实验场景二中，正弦波在采样率4~512、三角波在采样率2和8~512、方波和锯齿波在采样率2~512下，去背景光的图像与含背景光的原图像的SSIM值在0.55左右，与无背景光的真实图像的SSIM值均在0.9以上，说明采样率不小于8时背景光消除效果良好。同时，各调制波形与采样率之间两组SSIM值差异不大，意味着当正弦波、三角波、锯齿波调制采样率大于8及方波调制采样率大于2时，调制波形和采样率对背景光消除效果基本无影响，这说明在实际去背景光应用中可以使用较低的采样率来降低图像采集和计算成本。

由表3可知，所有去背景光图像的分辨率差异不大，且与不含背景光的真实图像的分辨率差别较小，说明去背景光后的图像分辨率基本没有退化。表1还显示鉴相时间与采样率呈正相关，当采样率为8时（此时所有调制波形均可获得较理想的去背景光效果），平均鉴相时间仅0.81 s，速度尚可。

4.3　对比实验

实验使用双边滤波法和高动态范围成像Mertens曝光融合算法^［23］与所提方法进行比较。双边滤波法利用估计的最大漫反射色度，结合双边滤波器，去除图像中的高光部分，同时保留图像信息的纹理和颜色，达到间接去除背景光的目的。两个实验场景下，使用该方法处理仅含背景光的原图像，平均运行时间为1.11 s，结果如图15（b）所示（为便于观察，对双边滤波法的结果图像也进行了相同亮度增强），同时计算结果图像与无/有背景光图像的SSIM值，实验场景一与场景二分别为0.10、0.97和0.46、0.93。图15（b）显示，湮没于高反光区域的图形可辨识性略好于图15（a）原图像，图像中仍存在大面积高反光部分未被去除且额外地增加了大量噪点。高动态范围成像Mertens曝光融合算法利用多帧同一场景不同的曝光水平的图像创建低动态范围图像，可在一定程度上消除强背景光的影响。对于两个场景，在曝光值范围900~5000以均匀间隔分别拍摄3、5、10、15、20张共5组图像，使用Mertens方法分别生成HDR图像，去背景光后与无背景光原图像SSIM最大的结果图像如图15（c）所示。两个实验场景生成HDR图像的平均运行时间为15.75 s，图15（c）中场景一与场景二图像与无/有背景光图像的SSIM值分别为0.43、0.49和0.62、0.72。

图 15. 不同方法处理的图像。（a）仅含背景光的亮度增强图像；（b）双边滤波法去背景光的亮度增强图；（c）高动态范围成像去背景光的图像；（d）LED锁定成像去背景光的图像

Fig. 15. Images processed by different methods. (a) Brightness-enhanced image with background light; (b) brightness-enhanced image of eliminated background light by bilateral filtering; (c) image of eliminated background light by HDR imaging; (d) image of eliminated background light by lock-in imaging technology based on LED

下载图片查看所有图片

结合表2，对比实验结果表明，无论主观感觉还是SSIM客观评价，图15（d）LED锁定成像的背景光消除效果都明显优于双边滤波法和高动态范围成像技术，且LED锁定成像方法在采样率为8时的图像重建时间均低于双边滤波法和高动态范围成像技术。

5　结论

对锁定成像背景光消除技术进行了扩展讨论，从理论上探讨了除正弦波以外的其他信号波形调制辅助光源的可行性，以及不同采样率对背景光消除效果的影响，利用优化图像采集的控制方式降低对图像传感器等设备的要求，并通过实验加以验证。理论研究表明，任何一种在一个周期内积分为零的信号均可用于调制辅助光源。基于普通LED的锁定成像实验表明，正弦波、方波、三角波和锯齿波4种波形作为调制信号时均得到了良好的背景光消除效果，且当正弦波、三角波、锯齿波调制采样率大于8及方波调制采样率大于2时，背景光消除效果基本不受调制波形和一周期内采集图像数的影响，这表明在实际应用中可以使用较低的采样率来获得较满意的背景光消除效果。同时，实验也验证了锁定成像技术对辅助光源及图像传感器帧频的要求不高，反映了低成本解决方案的可行性。

参考文献

[1] Jena B, Saxena S, Nayak G K, et al. Artificial intelligence-based hybrid deep learning models for image classification: the first narrative review[J]. Computers in Biology and Medicine, 2021, 137: 104803.

[2] 张祥东, 王腾军, 朱劭俊, 等. 基于扩张卷积注意力神经网络的高光谱图像分类[J]. 光学学报, 2021, 41(3): 0310001.

Zhang X D, Wang T J, Zhu S J, et al. The hyperspectral image classification is based on dilated convolutional attention neural network[J]. Acta Optica Sinica, 2021, 41(3): 0310001.

[3] Zaidi S S A, Ansari M S, Aslam A, et al. A survey of modern deep learning based object detection models[J]. Digital Signal Processing, 2022, 126: 103514.

[4] 赵亮, 胡杰, 刘汉, 等. 基于语义分割的深度学习激光点云三维目标检测[J]. 中国激光, 2021, 48(17): 1710004.

Zhao L, Hu J, Liu H, et al. Deep learning based on semantic segmentation for three-dimensional object detection from point clouds[J]. Chinese Journal of Lasers, 2021, 48(17): 1710004.

[5] Yuan X H, Shi J F, Gu L C. A review of deep learning methods for semantic segmentation of remote sensing imagery[J]. Expert Systems with Applications, 2021, 169: 114417.

[6] YangL J, FanY C, XuN. Video instance segmentation[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 27-November 2, 2019, Seoul, Korea. New York: IEEE Press, 2019: 5188-5197.

[7] Mohan R, Valada A. EfficientPS: efficient panoptic segmentation[J]. International Journal of Computer Vision, 2021, 129(5): 1551-1579.

[8] 苏柯, 余学才, 朱良销, 等. 激光锁定成像获取强背景光下的目标图像[J]. 激光与红外, 2010, 40(12): 1293-1297.

Su K, Yu X C, Zhu L X, et al. The target image acquisition in strong background light using laser lock-in imaging[J]. Laser & infra-red, 2010, 40(12): 1293-1297.

[9] 吴柯庆, 余学才, 吴福华, 等. 激光锁定成像在钢轨磨耗测量系统中的应用[J]. 激光技术, 2012, 36(3): 353-356.

Wu K Q, Yu X C, Wu F H, et al. The application of laser lock-in imaging in rail wear measurement[J]. Laser Technology, 2012, 36(3): 353-356.

[10] 王玉杰. 基于激光锁定成像的低信噪比图像目标的轮廓测量[D]. 成都: 电子科技大学, 2015.

WangY J. Profile measurement of low signal-to-noise ratio targets is based on laser lock-in imaging[D]. Chengdu: University of Electronic Science and Technology of China, 2015.

[11] 蒋波, 余学才, 万聪灵, 等. 基于调制白光照射的锁定成像[J]. 光电工程, 2014, 41(1): 83-86.

Jiang B, Yu X C, Wan C L, et al. Lock-in imaging based on modulated white light[J]. Opto-Electronic Engineering, 2014, 41(1): 83-86.

[12] ThrongnumchaiK, NishiuchiH, MatsunoY, et al. Application of background light elimination technique for lane marker detection[EB/OL]. (2013-03-25)[2022-03-06]. https://saemobilus.sae.org/content/2013-01-0085/.

[13] Yang Q X, Tang J H, Ahuja N. Efficient and robust specular highlight removal[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(6): 1304-1311.

[14] 高如新, 李雪颖. 双边滤波的改进高光去除[J]. 中国图象图形学报, 2018, 23(1): 9-17.

Gao R X, Li X Y. Specular highlight removal using improved bilateral filtering[J]. Journal of Image and Graphics, 2018, 23(1): 9-17.

[15] ChenH A, HouC G, DuanM H, et al. Single image specular highlight removal on natural scenes[M]∥Ma H M, Wang L, Zhang C S, et al. Pattern recognition and computer vision. Lecture notes in computer science. Cham: Springer, 2021, 13021: 78-91.

[16] ShanW Z, XuC, FengB. Image highlight removal based on a double edge-preserving filter[C]∥2020 IEEE 5th International Conference on Signal and Image Processing, October 23-25, 2020, Nanjing, China. New York: IEEE Press, 2020: 263-268.

[17] DebevecP E, MalikJ. Recovering high dynamic range radiance maps from photographs[C]∥SIGGRAPH '08: ACM SIGGRAPH 2008 Classes, August 11-15, 2008, Los Angeles, California, USA. New York: ACM Press, 2008: 1-10.

[18] 欧阳沄霏. 基于ATP的背景光消除技术研究[D]. 南京: 南京邮电大学, 2014.

OuyangY F. Research on background light elimination based on ATP[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2014.

[19] 白一波, 潘康立, 耿林. 激光测距的空间卷积神经网络信号处理研究[J]. 中国激光, 2021, 48(23): 2304001.

Bai Y B, Pan K L, Geng L. Signal processing of spatial convolutional neural networks for laser ranging[J]. Chinese Journal of Lasers, 2021, 48(23): 2304001.

[20] 郝勤正, 杨玲, 甄小琼, 等. 能见度仪的背景光消除设计[J]. 激光与光电子学进展, 2018, 55(3): 030102.

Hao Q Z, Yang L, Zhen X Q, et al. The design of background light elimination for visibility instrument[J]. Laser & Optoelectronics Progress, 2018, 55(3): 030102.

[21] 刘寿鑫, 龙伟, 李炎炎, 等. 基于HSV色彩空间的低照度图像增强[J]. 计算机工程与设计, 2021, 42(9): 2552-2560.

Liu S X, Long W, Li Y Y, et al. Low-light image enhancement based on HSV color space[J]. Computer Engineering and Design, 2021, 42(9): 2552-2560.

[22] Sara U, Akter M, Uddin M. Image quality assessment through FSIM, SSIM, MSE and PSNR: a comparative study[J]. Journal of Computer and Communications, 2019, 7(3): 8-18.

[23] Mertens T, Kautz J, van Reeth F. Exposure fusion: a simple and practical alternative to high dynamic range photography[J]. Computer Graphics Forum, 2009, 28(1): 161-171.

胡珍珍, 刘汉明, 黎姿, 李泽南, 郭港, 司马燊. 锁定成像背景光消除技术扩展研究[J]. 激光与光电子学进展, 2023, 60(14): 1411003. Zhenzhen Hu, Hanming Liu, Zi Li, Zenan Li, Gang Guo, Shen Sima. Study on Lock-In Imaging Technology Expansion for Background Light Elimination[J]. Laser & Optoelectronics Progress, 2023, 60(14): 1411003.