基于HDMI数码显微相机的自动曝光优化方法

针对HDMI数码显微相机在观测时由于不同目标反光水平不一致而出现过曝、曝光收敛速度慢、不稳定的问题，提出一种自动曝光优化方法。相较于传统的HDMI显微相机中的自动曝光控制方法，所提方法实现了基于感兴趣区域的曝光控制，可对RAW图像中的任意区域进行测光和亮度统计，拓展亮度统计的动态范围并实现基于不同目标的曝光控制，提升亮度统计的准确性，解决因目标过亮或者过暗而出现的过曝现象。同时设计了可变的曝光调节步长，该功能能够根据当前亮度水平动态调整曝光步长，实现曝光的粗调和细调，以平衡曝光收敛速度和曝光精确度。最终结合实际的相机进行实验，所提曝光控制优化方法相较于原有的自动曝光法曝光偏离度降低了一半，曝光收敛时间缩短了一半以上，最快能在4帧图像内完成曝光收敛。

Abstract

An automatic exposure optimization method for mitigating overexposure, slow convergence speed, and instability in HDMI digital microscopy cameras due to the inconsistent reflection levels of different targets during observation is proposed. Compared with a traditional automatic exposure control method, the proposed method facilitates exposure control based on the region of interest, metering, and brightness statistics on any area in RAW images, thus expanding the dynamic range of brightness statistics and facilitating exposure control for different targets. In addition, the method improves the accuracy of brightness statistics and mitigates overexposure caused by extremely bright or dark targets. A variable exposure adjustment step size is set for the dynamic adjustment of exposure step size according to the current brightness level, achieving coarse and fine adjustment of exposure to balance exposure convergence speed and exposure accuracy. Finally, experiments were performed using actual cameras. The proposed method reduced the exposure deviation by half compared with the traditional automatic exposure method. The exposure convergence time was shortened by more than half, and the fastest exposure convergence was achieved within four frames of an image.

1　引言

数码显微相机可作为传统显微镜目镜的替代品，在显微光学系统中充当人眼的角色，将观测到的光学信号转换为数字信号进行显示。而相机想拍摄到清晰、明亮图像常常离不开对图像传感器曝光水平的控制，由此衍生出的自动曝光（AE）控制算法在相机的自动控制中扮演着非常重要的角色。目前商用级别的工业相机常采用基于图像的曝光控制策略，通过对实时拍摄到的图像进行处理和分析，提取出亮度特征进行进一步分析，然后调整图像传感器的曝光参数，最终使图像达到目标亮度水平。

目前国内外学者对基于图像的曝光控制方法主要从直方图^［1-2］、平均亮度^［3-5］、图像熵^［6-7］，以及图像融合^［8-11］等方面对自动曝光技术进行研究与优化。马泽龙等^［1］基于图像直方图特征函数，通过多点测光提取感兴趣区域，利用HF函数和模糊逻辑实现曝光时间的粗调与细调；吴文麟等^［3］基于图像的区域加权平均灰度值，设计了一种基于改进“S”曲线的参数控制优化方法，降低了相机的自动曝光调节时间；杨作廷等^［6］基于图像熵提出了一种新的自动曝光算法，提高了高动态范围场景下自动曝光的准确性。以上的曝光控制改进方法，在不同程度或者层面上对传统曝光算法进行了优化，但较难兼顾数据计算量、数据精度、曝光收敛速度等，通常只对其中的部分缺点进行了改进。

本文基于HDMI数码显微相机，提出了一种改进亮度信息统计和曝光收敛的自动曝光优化方法。无需借助PC端控制，算法部署在相机内部，基于RAW图像计算感兴趣区域的亮度水平，反馈当前的曝光水平。同时通过可变曝光步长控制技术，优化了曝光收敛过程中的步长，从而稳定了曝光水平，并有效避免了闪烁现象的发生。

2　曝光控制优化方法

2.1　亮度统计方法

目前在多数的图像处理方法中，对图像亮度的统计是针对可视化的RGB888图像进行的^［12］，需要统计和计算三通道的灰度值，并且单通道的灰度值范围只有0~255，具有数据量大且精度不高的缺点。所提曝光控制方法对RAW格式图像进行亮度统计，基于HDMI数码显微相机从图像传感器获取到12 bit位宽、3840×2160分辨率的RAW图像，如图1所示，单个像素灰度值范围是0~4095，相较于RGB888，动态范围提升了16倍。

图 1. GBRG的RAW格式示意图

Fig. 1. Schematic of GBRG in RAW format

下载图片查看所有图片

RAW图像是一种基于Bayer排列的原始数字信号图像数据，每个像素点只有一个颜色通道的灰度值，包含了最原始的图像信号。统计某个区域的亮度信息时，针对该区域统计出R、G、B通道的灰度值均值作为整个区域的三通道均值，然后根据下列公式计算出区域的亮度水平：

V_{R a v e r} = \frac{1}{N} \sum_{i = 0}^{N} V_{R i}

，（1）

V_{G r a v e r} = \frac{1}{N} \sum_{i = 0}^{N} V_{G r i}

，（2）

V_{B a v e r} = \frac{1}{N} \sum_{i = 0}^{N} V_{B i}

，（3）

V_{G b a v e r} = \frac{1}{N} \sum_{i = 0}^{N} V_{G b i}

，（4）

Y = 0.299 V_{R} + 0.687 V_{G} + 0.114 V_{B}

。（5）

2.2　测光方法优化

自动曝光控制算法中的测光模式决定了相机如何测量成像场景中的光线，具体的就是要统计图像中哪部分区域的亮度信息以及亮度权重的分配。传统的测光模式有中央重点测光、点测光和评价测光。中央重点测光在统计时以中央区域为重点，从中心到四周测光权重逐渐下降；点测光在统计时取相机画面中心的一个较小范围（占整张图像的2%~4%）进行测光，范围内测光权重一致；评价测光通过对成像全部区域进行亮度统计，计算出亮度平均值作为整张图像的测光结果。

上述的几种测光模式各有优劣。而在数码显微相机的实际应用中，会遇到多目标、光线响应差别大等情况而导致过曝^［13］、欠曝或者闪烁抖动的不稳定现象。针对多变的曝光需求，所提基于感兴趣区域（ROI）的曝光控制方法如图2所示，红色矩形框区域是由控制端设定的ROI，将ROI设为目标区域进行亮度统计来控制曝光参数。

图 2. ROI曝光控制示意图。（a）场景一下ROI选择，①亮度相对较低的区域，②亮度相对较高的区域；（b）场景二下ROI选择，①亮度相对较低的区域，②亮度相对较高的区域

Fig. 2. ROI exposure control diagram.(a) ROI area selection under scene 1, ① relatively low brightness area, ② relatively high brightness area; (b) ROI area selection under scene 2, ① relatively low brightness area, ② relatively high brightness area

下载图片查看所有图片

控制端能够通过拖动操作来调整ROI的位置和大小，从而灵活地改变目标测光区域，目标区域内的亮度估计为

Y = {\bar{Y}}_{M \times N} \cdot W_{M \times N}

，（6）

W (i, j) = \frac{1}{2 π σ} e x p [- \frac{{(i - \frac{M}{2})}^{2} + {(j - \frac{N}{2})}^{2}}{2 σ^{2}}]

，（7）

式中： $Y$ 为估计出的感兴趣区域的加权亮度值； ${\bar{Y}}_{M \times N}$ 为感兴趣区域中子区域的平均亮度值矩阵； $W_{M \times N}$ 为子区域的亮度权重矩阵； $M$ 和 $N$ 为垂直、水平方向上的子区域数量； $W (i, j)$ 是位置在 $(i, j)$ 处子区域的亮度权重值，满足感兴趣区域中心权重最大，向四周逐渐减小的正态分布；子区域权重值分布可通过变量 $σ$ 进行调整。图3在ROI内再分成子区域来进行亮度统计，子区域越靠近中心位置其亮度权重越大。

图 3. ROI内亮度统计示意图。（a）分块统计子区域亮度及权重系数；（b）子区域权重分布

Fig. 3. Schematic diagrams of luminance statistics within the ROI. (a) Chunked statistics subregion luminance and weight coefficients; (b) subregion weight distribution

下载图片查看所有图片

相较于传统的测光模式，基于感兴趣区域的曝光控制中统计的区域范围更加精确，数据量和计算量更少，能够显著提高计算速度，降低曝光调节时间，针对目标区域能得到更合适的曝光水平。

2.3　曝光收敛优化方法

曝光收敛控制在曝光控制中承担着非常重要的作用，负责调节当前曝光水平从过曝或者欠曝水平到目标曝光水平。传统的曝光收敛控制中多数采用固定步长来调节曝光参数，逐帧调整曝光时间使得成像的亮度水平达到目标曝光值。这种固定步长调节曝光进行收敛的方法最大的优势是简单、计算量少，但鲁棒性较差，容易出现曝光收敛速度慢或者无法收敛而出现闪烁的不稳定现象。本文针对曝光收敛提出了可变步长的收敛控制优化方法，同时具备曝光粗调与曝光细调功能，保证了曝光收敛速度的同时增强了曝光的稳定性与自适应性。

所提可变步长曝光收敛控制方法基于当前亮度水平和目标曝光水平之间差值的绝对值来判断当前亮度水平到目标曝光水平之间的差距：越靠近目标曝光水平，曝光调整的步长越小、越精确；距离目标曝光水平越远，曝光调整的步长越大、收敛速度越快但误差大。

线性的曝光收敛步长变化公式为

s (Δ Y) = \{\begin{array}{l} k_{1} Δ Y + s_{1}, & Δ Y < Δ Y_{1} \\ 0, & Δ Y_{1} \leq Δ Y \leq Δ Y_{2} \\ k_{2} Δ Y + s_{2}, & Δ Y > Δ Y_{2} \end{array}

，（8）

式中： $s (Δ Y)$ 表示当前亮度水平距目标曝光水平为 $Δ Y$ 时的曝光收敛步长， $[Δ Y_{1}, Δ Y_{2}]$ 表示曝光收敛的容忍区间，达到该区间的亮度水平即可认为是曝光收敛，曝光收敛步长随亮度差的变化如图4所示。

图 4. 收敛步长线性变化示意图

Fig. 4. Schematic diagram of linear variation of convergence step size

下载图片查看所有图片

实际应用场景中，画面亮度与曝光参数之间虽是正相关的，但由于中间模数信号的转换以及实际动态范围的不同，两者之间通常并不是完全线性响应，所以提出了另一种非线性的曝光收敛步长调整公式：

s (Δ Y) = \{\begin{array}{l} s_{1} \times e x p (k_{1} Δ Y), & Δ Y < Δ Y_{1} \\ 0, & Δ Y_{1} \leq Δ Y \leq Δ Y_{2} \\ s_{2} \times e x p (k_{2} Δ Y), & Δ Y > Δ Y_{1} \end{array}

（9）

式中： $s (Δ Y)$ 表示亮度水平距目标曝光水平为 $Δ Y$ 时的曝光收敛步长； $s_{1}$ 和 $s_{2}$ 是初始调节步长； $k_{1}$ 和 $k_{2}$ 是负责调节步长变化速度的系数。当亮度水平差接近曝光收敛的容忍区间 $[Δ Y_{1}, Δ Y_{2}]$ 时，步长逐渐减小，实现更精确的曝光细调。收敛步长随亮度差的变化如图5所示。

图 5. 收敛步长非线性变化示意图

Fig. 5. Schematic of the nonlinear variation of the convergence step size

下载图片查看所有图片

曝光收敛步长主要与当前亮度水平到目标水平之间的亮度差有关，通过动态调整曝光收敛步长实现粗调与细调，来兼顾曝光收敛速度和曝光准确度。最终采用的是基于非线性的曝光收敛步长控制。

2.4　曝光控制方法

所提曝光控制方法如图6所示，触发曝光控制是根据RAW图对感兴趣区域进行亮度水平统计得来的本次曝光控制的依据和曝光收敛的判定条件，然后根据当前亮度水平调整曝光参数的调节步长，并按照计算出的步长调节曝光时间或者曝光增益。然后在新的一帧图像到来时重新统计感兴趣区域的亮度情况，当满足曝光收敛条件就结束本次曝光控制，反之重新根据亮度水平控制调节曝光参数直至收敛。

图 6. 曝光控制流程示意图

Fig. 6. Exposure control flow diagram

下载图片查看所有图片

可以结合上位机软件设定感兴趣区域、调整曝光步长变化曲线，以及设定目标曝光水平来不断优化、调整曝光控制算法，所提曝光优化方法从亮度统计、曝光收敛步长两个角度进行了优化工作。

3　算法效果评价

3.1　曝光偏差度

曝光偏差度是评价自动曝光控制算法准确度的一个重要指标，其反映曝光控制算法调整后图像亮度与目标亮度之间差距^［14-16］，差距越小说明算法准确度越高：

P = \frac{|B_{a d j} - B_{t a r}|}{B_{t a r}} \times 100 %

。（10）

在实验中记录曝光收敛时目标区域的加权亮度得到两个场景下曝光收敛后的统计亮度水平，具体如表1所示。亮度水平数值不具有直接的物理意义（仅在算法中做亮度计算和曝光收敛判断使用），值越大表示当前亮度水平越高。场景一下设定的目标曝光亮度水平是400，场景二下设定的目标曝光亮度水平是496，HDMI数码显微相机原有的自动曝光控制算法的偏差度在4%左右，所提曝光优化方法在曝光收敛后的偏差度降低到了0.25%~2.25%，针对曝光准确度有显著的提升和改善。

表 1. 不同自动曝光控制方法下的曝光结果

Table 1. Exposure results under different automatic exposure control methods

Types of exposure method	Brightness level at exposure convergence
Types of exposure method	Scene 1	Scene 2
Original	415	519
ROI method based on area ①	409	493
ROI method based on area ②	401	488

查看所有表

3.2　曝光收敛速度

曝光收敛速度为从触发曝光到收敛经过的时间或图像帧数。实验从最低曝光时间和最小曝光增益开始触发曝光控制，记录从触发到曝光收敛时的时间进行收敛速度的比较。

经过实验得到如表2所示的两个场景下的曝光收敛时间数据，HDMI数码显微相机原有的自动曝光算法单次的收敛时间在800 ms左右，而所提曝光控制改进方法不仅降低了亮度统计时的计算量，还从曝光收敛的步长调整上进行了优化，整体曝光收敛时间降低了47%~78%。实际测试中会因为场景的不同对曝光收敛的时间有所影响，但基本能够对曝光收敛时间有一半以上的优化，显著地提高了曝光收敛速度。

表 2. 不同自动曝光控制方法下的收敛时间

Table 2. Exposure convergence time under different automatic exposure control methods

Types of exposure method	Exposure convergence time
Types of exposure method	Scene 1	Scene 2
Original	776	879
ROI method based on area ①	233	388
ROI method based on area ②	407	188

查看所有表

3.3　实验数据对比

为验证算法搭建了具体的硬件平台，使用基于SSD268G的HDMI数码显微相机和体视显微镜来验证和比较算法的先进性。具体的实验方法是设置统一的初始曝光参数，在同样的光照条件下拍摄同样的物体画面，记录在同一款HDMI显微相机上测试从曝光触发到最后曝光收敛的收敛时间和最终的曝光结果。并测量多组数据求取平均值作为最终的测试结果。

具体的实验场景如图7所示，上边是HDMI数码显微相机，接在体视显微镜上，配备了LED光源，通过观测电路板来进行实验。图8是场景一下拍摄到最终曝光稳定后的照片。图9是在场景二下，3种曝光控制方法拍摄到的图片。图10展示了图9（c）中曝光控制的收敛过程，从初始曝光状态（最低曝光时间、最小曝光增益）共经历3帧的曝光调整完成曝光收敛。

图 7. 实验平台示意图

Fig. 7. Schematic diagram of experimental platform

下载图片查看所有图片

图 8. 场景一下曝光结果对比。（a）原有曝光；（b）基于相对暗区的ROI曝光；（c）基于相对亮区的ROI曝光

Fig. 8. Comparison of exposure results under scene 1. (a) Original exposure; (b) ROI exposure based on relatively dark areas; (c) ROI exposure based on relatively bright areas

下载图片查看所有图片

图 9. 场景二下曝光结果对比。（a）原有曝光；（b）基于相对暗区的ROI曝光；（c）基于相对亮区的ROI曝光

Fig. 9. Comparison of exposure results under scene 2. (a) Original exposure; (b) ROI exposure based on relatively dark areas. (c) ROI exposure based on relatively bright areas

下载图片查看所有图片

图 10. 曝光收敛过程示意图。（a）初始曝光状态；（b）曝光调节第一帧；（c）第二帧；（d）第三帧曝光收敛

Fig. 10. Schematic diagrams of the exposure convergence process. (a) Initial exposure state; (b) exposure adjustment for the first frame; (c) second frame; (d) third frame exposure convergence

下载图片查看所有图片

从图10中看到，在曝光收敛前全程处于欠曝状态，没有出现在过曝与欠曝之间反复振荡的现象，在整个实验过程中也没有再出现过曝光收敛不稳定导致的振荡现象，在所提优化的曝光算法控制下振荡现象基本不再出现。

4　结论

提出了基于HDMI数码显微相机的曝光优化方法，通过抓取实时的RAW图像数据来扩大亮度统计范围，提高统计的准确度，采用能对任意区域进行亮度统计的基于感兴趣区域的测光方法，在同一画面下能够针对不同目标或主体控制实现不同水平的曝光，同时针对曝光调节步长提出了线性和非线性的可变步长控制，能够根据当前亮度水平动态调整曝光参数调节的步长，改善曝光收敛速度与精度。

最后结合了实际的HDMI显微相机和体式显微镜，通过实验，验证了所提曝光控制优化方法的优越性，较于原有的基于全局平均亮度统计和固定收敛步长的自动曝光控制算法，降低了一半多的曝光偏离度，曝光收敛时间缩短了一半以上，最快能够在4帧图像内完成曝光，且收敛过程稳定基本不再出现闪烁的不稳定现象，相较于相机原有的自动曝光算法有了明显的改善与提升。

在后续的研究中，将针对高帧率场景和光照变化迅速的场景做进一步的曝光控制优化，进一步提升算法的鲁棒性和对不同环境的适应性。

参考文献

[1] 马泽龙, 高慧斌, 余毅, 等. 采用图像直方图特征函数的高速相机自动曝光方法[J]. 光学精密工程, 2017, 25(4): 494-503.

Ma Z L, Gao H B, Yu Y, et al. Auto exposure control for high frame rate camera using image histogram feature function[J]. Optics and Precision Engineering, 2017, 25(4): 494-503.

[2] 李文涛, 王培俊, 唐晓敏. 钢轨磨损视觉测量的轮廓精确快速提取[J]. 光学精密工程, 2018, 26(1): 238-244.

Li W T, Wang P J, Tang X M. Accurate and rapid contour extraction of visual measurement for rail wear[J]. Optics and Precision Engineering, 2018, 26(1): 238-244.

[3] 吴文麟, 廖晓波, 李俊忠, 等. 工业相机过曝光自适应优化控制算法[J]. 光学精密工程, 2023, 31(2): 226-233.

Wu W L, Liao X B, Li J Z, et al. Adaptive optimization control method for overexposure of industrial camera[J]. Optics and Precision Engineering, 2023, 31(2): 226-233.

[4] 梁佳毅, 洪志良. 适用于大动态范围场景的自动曝光控制算法[J]. 光电工程, 2008, 35(5): 89-92.

Liang J Y, Hong Z L. Auto-exposure algorithm for scenes with large dynamic range[J]. Opto-Electronic Engineering, 2008, 35(5): 89-92.

[5] 郭惠楠, 曹剑中, 周祚峰, 等. 彩色数字相机快速自动曝光方法[J]. 光学学报, 2013, 33(10): 1011003.

Guo H N, Cao J Z, Zhou Z F, et al. Fast automatic exposure approach for color digital camera[J]. Acta Optica Sinica, 2013, 33(10): 1011003.

[6] 杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746.

Yang Z T, Ruan P, Zhai B. Auto-exposure algorithm for scenes with high dynamic range based on image entropy[J]. Acta Photonica Sinica, 2013, 42(6): 742-746.

[7] Ning J Y, Lu T J, Liu L Y, et al. The optimization and implementation of the auto-exposure algorithm based on image entropy[J]. Proceedings of SPIE, 2016, 10033: 100334G.

[8] 雷经发, 谢浩然, 李永玲, 等. 基于自适应多曝光融合的高动态范围表面测量方法[J]. 红外与激光工程, 2024, 53(1): 20200370.

Lei J F, Xie H R, Li Y L, et al. High dynamic range surface measurement method based on adaptive multi exposure fusion[J]. Infrared and Laser Engineering, 2024, 53(1): 20200370.

[9] VuongQ K, YunS H, KimS. A new auto exposure system to detect high dynamic range conditions using CMOS technology[C]∥2008 Third International Conference on Convergence and Hybrid Information Technology, November 11-13, 2008, Busan, Republic of Korea. New York: IEEE Press, 2008: 577-580.

[10] Pourreza-ShahriR, KehtarnavazN. Exposure bracketing via automatic exposure selection[C]∥2015 IEEE International Conference on Image Processing (ICIP), September 27-30, 2015, Quebec City, QC, Canada. New York: IEEE Press, 2015: 320-323.

[11] 祝新力, 张雅声, 方宇强, 等. 多曝光图像融合方法综述[J]. 激光与光电子学进展, 2023, 60(22): 2200003.

Zhu X L, Zhang Y S, Fang Y Q, et al. Review of multi-exposure image fusion methods[J]. Laser & Optoelectronics Progress, 2023, 60(22): 2200003.

[12] 杨爱萍, 杨苏辉, 田鑫, 等. 基于统计特性和亮度估计的夜晚图像去雾[J]. 天津大学学报(自然科学与工程技术版), 2018, 51(3): 299-307.

Yang A P, Yang S H, Tian X, et al. Nighttime image fog removal based on statistical properties and intensity estimation[J]. Journal of Tianjin University (Science and Technology), 2018, 51(3): 299-307.

[13] 吕磊, 刘浩然, 张庆辉, 等. 基于双频率解包裹的高反光运动物体三维重构[J]. 激光与光电子学进展, 2024, 61(4): 0412005.

Lü L, Liu H R, Zhang Q H, et al. Three-dimensional reconstruction of moving objects with high reflectivity based on dual-frequency unwrapping[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0412005.

[14] 张伟, 宋杰, 吕圣, 等. 结构光测量中相机曝光优化与图像质量评估[J/OL].激光与光电子学进展: 1-19[2024-01-04]. http://kns.cnki.net/kcms/detail/31.1690.TN.20230920.1047.026.html.

ZhangW, SongJ, LüS, et al. Camera exposure optimization and image quality assessment int structured light measurement[J/OL]. Laser & Optoelectronics Progress: 1-19[2024-01-04]. http://kns.cnki.net/kcms/detail/31.1690.TN.20230920.1047.026.html.

[15] 郑剑, 刘豪, 于祥春, 等. 一种基于反转融合框架的图像曝光校正方法[J]. 激光与光电子学进展, 2022, 59(12): 1210002.

Zheng J, Liu H, Yu X C, et al. Image exposure correction method based on inversion fusion framework[J]. Laser & Optoelectronics Progress, 2022, 59(12): 1210002.

[16] 高刘正, 关棒磊, 苏昂, 等. 基于多曝光图像序列的相机响应函数标定方法[J]. 光学学报, 2024, 44(4): 0411001.

Gao L Z, Guan B L, Su A, et al. Calibration method of camera response function based on multi-exposure image sequence[J]. Acta Optica Sinica, 2024, 44(4): 0411001.

翟梦伟, 余飞鸿. 基于HDMI数码显微相机的自动曝光优化方法[J]. 激光与光电子学进展, 2024, 61(6): 0618021. Mengwei Zhai, Feihong Yu. Automatic Exposure Optimization Method for HDMI Digital Microscopy Cameras[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618021.