基于HDMI数码显微相机的自动曝光优化方法
1 引言
数码显微相机可作为传统显微镜目镜的替代品,在显微光学系统中充当人眼的角色,将观测到的光学信号转换为数字信号进行显示。而相机想拍摄到清晰、明亮图像常常离不开对图像传感器曝光水平的控制,由此衍生出的自动曝光(AE)控制算法在相机的自动控制中扮演着非常重要的角色。目前商用级别的工业相机常采用基于图像的曝光控制策略,通过对实时拍摄到的图像进行处理和分析,提取出亮度特征进行进一步分析,然后调整图像传感器的曝光参数,最终使图像达到目标亮度水平。
目前国内外学者对基于图像的曝光控制方法主要从直方图[1-2]、平均亮度[3-5]、图像熵[6-7],以及图像融合[8-11]等方面对自动曝光技术进行研究与优化。马泽龙等[1]基于图像直方图特征函数,通过多点测光提取感兴趣区域,利用HF函数和模糊逻辑实现曝光时间的粗调与细调;吴文麟等[3]基于图像的区域加权平均灰度值,设计了一种基于改进“S”曲线的参数控制优化方法,降低了相机的自动曝光调节时间;杨作廷等[6]基于图像熵提出了一种新的自动曝光算法,提高了高动态范围场景下自动曝光的准确性。以上的曝光控制改进方法,在不同程度或者层面上对传统曝光算法进行了优化,但较难兼顾数据计算量、数据精度、曝光收敛速度等,通常只对其中的部分缺点进行了改进。
本文基于HDMI数码显微相机,提出了一种改进亮度信息统计和曝光收敛的自动曝光优化方法。无需借助PC端控制,算法部署在相机内部,基于RAW图像计算感兴趣区域的亮度水平,反馈当前的曝光水平。同时通过可变曝光步长控制技术,优化了曝光收敛过程中的步长,从而稳定了曝光水平,并有效避免了闪烁现象的发生。
2 曝光控制优化方法
2.1 亮度统计方法
目前在多数的图像处理方法中,对图像亮度的统计是针对可视化的RGB888图像进行的[12],需要统计和计算三通道的灰度值,并且单通道的灰度值范围只有0~255,具有数据量大且精度不高的缺点。所提曝光控制方法对RAW格式图像进行亮度统计,基于HDMI数码显微相机从图像传感器获取到12 bit位宽、3840×2160分辨率的RAW图像,如
RAW图像是一种基于Bayer排列的原始数字信号图像数据,每个像素点只有一个颜色通道的灰度值,包含了最原始的图像信号。统计某个区域的亮度信息时,针对该区域统计出R、G、B通道的灰度值均值作为整个区域的三通道均值,然后根据下列公式计算出区域的亮度水平:
2.2 测光方法优化
自动曝光控制算法中的测光模式决定了相机如何测量成像场景中的光线,具体的就是要统计图像中哪部分区域的亮度信息以及亮度权重的分配。传统的测光模式有中央重点测光、点测光和评价测光。中央重点测光在统计时以中央区域为重点,从中心到四周测光权重逐渐下降;点测光在统计时取相机画面中心的一个较小范围(占整张图像的2%~4%)进行测光,范围内测光权重一致;评价测光通过对成像全部区域进行亮度统计,计算出亮度平均值作为整张图像的测光结果。
上述的几种测光模式各有优劣。而在数码显微相机的实际应用中,会遇到多目标、光线响应差别大等情况而导致过曝[13]、欠曝或者闪烁抖动的不稳定现象。针对多变的曝光需求,所提基于感兴趣区域(ROI)的曝光控制方法如
图 2. ROI曝光控制示意图。(a)场景一下ROI选择,①亮度相对较低的区域,②亮度相对较高的区域;(b)场景二下ROI选择,①亮度相对较低的区域,②亮度相对较高的区域
Fig. 2. ROI exposure control diagram.(a) ROI area selection under scene 1, ① relatively low brightness area, ② relatively high brightness area; (b) ROI area selection under scene 2, ① relatively low brightness area, ② relatively high brightness area
控制端能够通过拖动操作来调整ROI的位置和大小,从而灵活地改变目标测光区域,目标区域内的亮度估计为
式中:
图 3. ROI内亮度统计示意图。(a)分块统计子区域亮度及权重系数;(b)子区域权重分布
Fig. 3. Schematic diagrams of luminance statistics within the ROI. (a) Chunked statistics subregion luminance and weight coefficients; (b) subregion weight distribution
相较于传统的测光模式,基于感兴趣区域的曝光控制中统计的区域范围更加精确,数据量和计算量更少,能够显著提高计算速度,降低曝光调节时间,针对目标区域能得到更合适的曝光水平。
2.3 曝光收敛优化方法
曝光收敛控制在曝光控制中承担着非常重要的作用,负责调节当前曝光水平从过曝或者欠曝水平到目标曝光水平。传统的曝光收敛控制中多数采用固定步长来调节曝光参数,逐帧调整曝光时间使得成像的亮度水平达到目标曝光值。这种固定步长调节曝光进行收敛的方法最大的优势是简单、计算量少,但鲁棒性较差,容易出现曝光收敛速度慢或者无法收敛而出现闪烁的不稳定现象。本文针对曝光收敛提出了可变步长的收敛控制优化方法,同时具备曝光粗调与曝光细调功能,保证了曝光收敛速度的同时增强了曝光的稳定性与自适应性。
所提可变步长曝光收敛控制方法基于当前亮度水平和目标曝光水平之间差值的绝对值来判断当前亮度水平到目标曝光水平之间的差距:越靠近目标曝光水平,曝光调整的步长越小、越精确;距离目标曝光水平越远,曝光调整的步长越大、收敛速度越快但误差大。
线性的曝光收敛步长变化公式为
式中:
实际应用场景中,画面亮度与曝光参数之间虽是正相关的,但由于中间模数信号的转换以及实际动态范围的不同,两者之间通常并不是完全线性响应,所以提出了另一种非线性的曝光收敛步长调整公式:
式中:
图 5. 收敛步长非线性变化示意图
Fig. 5. Schematic of the nonlinear variation of the convergence step size
曝光收敛步长主要与当前亮度水平到目标水平之间的亮度差有关,通过动态调整曝光收敛步长实现粗调与细调,来兼顾曝光收敛速度和曝光准确度。最终采用的是基于非线性的曝光收敛步长控制。
2.4 曝光控制方法
所提曝光控制方法如
可以结合上位机软件设定感兴趣区域、调整曝光步长变化曲线,以及设定目标曝光水平来不断优化、调整曝光控制算法,所提曝光优化方法从亮度统计、曝光收敛步长两个角度进行了优化工作。
3 算法效果评价
3.1 曝光偏差度
曝光偏差度是评价自动曝光控制算法准确度的一个重要指标,其反映曝光控制算法调整后图像亮度与目标亮度之间差距[14-16],差距越小说明算法准确度越高:
在实验中记录曝光收敛时目标区域的加权亮度得到两个场景下曝光收敛后的统计亮度水平,具体如
表 1. 不同自动曝光控制方法下的曝光结果
Table 1. Exposure results under different automatic exposure control methods
|
3.2 曝光收敛速度
曝光收敛速度为从触发曝光到收敛经过的时间或图像帧数。实验从最低曝光时间和最小曝光增益开始触发曝光控制,记录从触发到曝光收敛时的时间进行收敛速度的比较。
经过实验得到如
表 2. 不同自动曝光控制方法下的收敛时间
Table 2. Exposure convergence time under different automatic exposure control methods
|
3.3 实验数据对比
为验证算法搭建了具体的硬件平台,使用基于SSD268G的HDMI数码显微相机和体视显微镜来验证和比较算法的先进性。具体的实验方法是设置统一的初始曝光参数,在同样的光照条件下拍摄同样的物体画面,记录在同一款HDMI显微相机上测试从曝光触发到最后曝光收敛的收敛时间和最终的曝光结果。并测量多组数据求取平均值作为最终的测试结果。
具体的实验场景如
图 8. 场景一下曝光结果对比。(a)原有曝光;(b)基于相对暗区的ROI曝光;(c)基于相对亮区的ROI曝光
Fig. 8. Comparison of exposure results under scene 1. (a) Original exposure; (b) ROI exposure based on relatively dark areas; (c) ROI exposure based on relatively bright areas
图 9. 场景二下曝光结果对比。(a)原有曝光;(b)基于相对暗区的ROI曝光;(c)基于相对亮区的ROI曝光
Fig. 9. Comparison of exposure results under scene 2. (a) Original exposure; (b) ROI exposure based on relatively dark areas. (c) ROI exposure based on relatively bright areas
图 10. 曝光收敛过程示意图。(a)初始曝光状态;(b)曝光调节第一帧;(c)第二帧;(d)第三帧曝光收敛
Fig. 10. Schematic diagrams of the exposure convergence process. (a) Initial exposure state; (b) exposure adjustment for the first frame; (c) second frame; (d) third frame exposure convergence
从
4 结论
提出了基于HDMI数码显微相机的曝光优化方法,通过抓取实时的RAW图像数据来扩大亮度统计范围,提高统计的准确度,采用能对任意区域进行亮度统计的基于感兴趣区域的测光方法,在同一画面下能够针对不同目标或主体控制实现不同水平的曝光,同时针对曝光调节步长提出了线性和非线性的可变步长控制,能够根据当前亮度水平动态调整曝光参数调节的步长,改善曝光收敛速度与精度。
最后结合了实际的HDMI显微相机和体式显微镜,通过实验,验证了所提曝光控制优化方法的优越性,较于原有的基于全局平均亮度统计和固定收敛步长的自动曝光控制算法,降低了一半多的曝光偏离度,曝光收敛时间缩短了一半以上,最快能够在4帧图像内完成曝光,且收敛过程稳定基本不再出现闪烁的不稳定现象,相较于相机原有的自动曝光算法有了明显的改善与提升。
在后续的研究中,将针对高帧率场景和光照变化迅速的场景做进一步的曝光控制优化,进一步提升算法的鲁棒性和对不同环境的适应性。
[1] 马泽龙, 高慧斌, 余毅, 等. 采用图像直方图特征函数的高速相机自动曝光方法[J]. 光学 精密工程, 2017, 25(4): 494-503.
Ma Z L, Gao H B, Yu Y, et al. Auto exposure control for high frame rate camera using image histogram feature function[J]. Optics and Precision Engineering, 2017, 25(4): 494-503.
[2] 李文涛, 王培俊, 唐晓敏. 钢轨磨损视觉测量的轮廓精确快速提取[J]. 光学 精密工程, 2018, 26(1): 238-244.
[3] 吴文麟, 廖晓波, 李俊忠, 等. 工业相机过曝光自适应优化控制算法[J]. 光学 精密工程, 2023, 31(2): 226-233.
[4] 梁佳毅, 洪志良. 适用于大动态范围场景的自动曝光控制算法[J]. 光电工程, 2008, 35(5): 89-92.
[5] 郭惠楠, 曹剑中, 周祚峰, 等. 彩色数字相机快速自动曝光方法[J]. 光学学报, 2013, 33(10): 1011003.
[6] 杨作廷, 阮萍, 翟波. 基于图像熵的高动态范围场景的自动曝光算法[J]. 光子学报, 2013, 42(6): 742-746.
[7] Ning J Y, Lu T J, Liu L Y, et al. The optimization and implementation of the auto-exposure algorithm based on image entropy[J]. Proceedings of SPIE, 2016, 10033: 100334G.
[8] 雷经发, 谢浩然, 李永玲, 等. 基于自适应多曝光融合的高动态范围表面测量方法[J]. 红外与激光工程, 2024, 53(1): 20200370.
Lei J F, Xie H R, Li Y L, et al. High dynamic range surface measurement method based on adaptive multi exposure fusion[J]. Infrared and Laser Engineering, 2024, 53(1): 20200370.
[9] VuongQ K, YunS H, KimS. A new auto exposure system to detect high dynamic range conditions using CMOS technology[C]∥2008 Third International Conference on Convergence and Hybrid Information Technology, November 11-13, 2008, Busan, Republic of Korea. New York: IEEE Press, 2008: 577-580.
[10] Pourreza-ShahriR, KehtarnavazN. Exposure bracketing via automatic exposure selection[C]∥2015 IEEE International Conference on Image Processing (ICIP), September 27-30, 2015, Quebec City, QC, Canada. New York: IEEE Press, 2015: 320-323.
[11] 祝新力, 张雅声, 方宇强, 等. 多曝光图像融合方法综述[J]. 激光与光电子学进展, 2023, 60(22): 2200003.
[12] 杨爱萍, 杨苏辉, 田鑫, 等. 基于统计特性和亮度估计的夜晚图像去雾[J]. 天津大学学报(自然科学与工程技术版), 2018, 51(3): 299-307.
Yang A P, Yang S H, Tian X, et al. Nighttime image fog removal based on statistical properties and intensity estimation[J]. Journal of Tianjin University (Science and Technology), 2018, 51(3): 299-307.
[13] 吕磊, 刘浩然, 张庆辉, 等. 基于双频率解包裹的高反光运动物体三维重构[J]. 激光与光电子学进展, 2024, 61(4): 0412005.
[15] 郑剑, 刘豪, 于祥春, 等. 一种基于反转融合框架的图像曝光校正方法[J]. 激光与光电子学进展, 2022, 59(12): 1210002.
[16] 高刘正, 关棒磊, 苏昂, 等. 基于多曝光图像序列的相机响应函数标定方法[J]. 光学学报, 2024, 44(4): 0411001.
Article Outline
翟梦伟, 余飞鸿. 基于HDMI数码显微相机的自动曝光优化方法[J]. 激光与光电子学进展, 2024, 61(6): 0618021. Mengwei Zhai, Feihong Yu. Automatic Exposure Optimization Method for HDMI Digital Microscopy Cameras[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618021.