一种新型可调节的自适应区域调光方法 下载: 1118次
1 引言
高动态范围(HDR)图像能保持细腻的色彩特征以及清晰的亮度层次, 提升图像的整体对比度[1]。随着液晶显示器(LCD)的普及[2-4]和背光调节技术的不断发展,区域背光调节技术逐渐取代全局背光调节技术[5-7],成为提高图像显示质量、实现HDR图像显示效果的一个关键技术。一般而言,现有的发光二极管(LED)区域调光技术[8-10]大体上可以分成区域背光提取和液晶像素补偿两部分。区域背光提取技术中最基础也是最经典的方法是最大值法和平均值法[11]。最大值法取图像区域内像素灰度的最大值作为该分区背光亮度,虽然可提高图像亮度,但是节能效果比较差,对于噪声也非常敏感;平均值法是取图像区域内像素灰度的平均值作为该分区背光亮度,与最大值法相比,其节能效果大大提升,但是容易降低图像高亮区域的显示亮度,提高图像暗区的显示亮度,使得调光后的图像仍然容易出现失真。为了降低背光功耗,缓解显示图像失真问题,文献[ 12-14]中算法结合了这两种方法的优势,在节省功耗的同时提高显示图像的质量。此外,查表法(LUT)[15]、累积分布函数(CDF)法[16] 、映射函数反转(IMF)法 [17]等也逐渐在区域调光领域得到广泛关注,相比于最大值法和平均值法,这些方法能够使显示图像展现更好的视觉效果,并能更好地展示细节信息。查表法是在平均值法的基础上,将分区的亮度信息加上一个背光修正值,所得结果即为该区域的背光亮度;CDF法利用图像各分区的灰度直方图,得到各分区的概率密度函数(PDF)曲线,对分区的PDF曲线进行累加得到CDF曲线,将预设的阈值K映射到 CDF 曲线灰度轴上,得到分区背光亮度值;IMF法以CDF法为基础,在得到输入图像各分区的CDF曲线后,将CDF曲线进行直线y=x的镜像,得到背光调制的IMF曲线,将相应分区的灰度最大值或者其他参数通过该曲线进行映射,从而得到局部背光亮度值,但处理暗区图像时存在严重的细节失真。文献[ 18]提出了一种基于直方图和其他图像特征的自适应区域调光方法,这种方法并没有提升LCD的对比度,而是强调了区域调光法的低功耗特点。文献[ 19]提出了用于提升图像对比度和视觉质量的新型区域调光算法,目的在于将液晶显示屏的动态范围提升到最佳的可能范围。文献[ 20]介绍了一种基于图像特征的高性能区域调光算法,从而更好地根据图像内容特点进行区域背光提取。
单一区域调光算法在进行区域背光提取时,往往只针对图像的单一特点,如最大值法,将图像块内所有像素的最大灰度值作为背光强度,侧重于图像的高亮部分,导致提取的背光不能充分考虑图像其他内容的表达。在像素补偿后,部分图像内容显示出现失真,进而导致图像整体视觉质量的下降。本文针对现有单一区域调光算法在区域背光提取中存在的问题进行了探索,提出了一种新的可调节区域调光方法。通过改变背光模组中的背光值,利用LED-LCD双调制显示器进行显示图像质量的实时观测,凭借主观评价找到使图像显示质量达到人眼观看更舒服、整体质量最好的一组背光,然后利用模糊-掩模算法(BMA)[19]对最优背光进行平滑,进而对平滑后的背光进行像素补偿。实验中,对高亮度图像、低亮度图像、高对比度图像和低对比度图像分别应用本文提出的区域调光方法进行处理,实验结果表明本文所提方法能够在一定程度上提高图像对比度及其整体的显示质量,并且能避免图像一些区域的细节损失。
2 一种基于LED-LCD双调制显示器的背光提取方法
为了尽可能结合不同区域背光提取算法的优势,提出了一种基于LED-LCD的双调制显示器背光提取方法。该方法考虑了图像的实际显示质量,在某种程度上克服了单一算法的局限性。首先从现有区域背光提取算法中选出一种算法,用来提取图像的背光,并将该背光作为初始背光,然后用多种已有区域背光提取算法提取出的背光结果构造背光限制条件;其次,通过计算初始背光的均值和方差来将初始背光划分为高亮、中亮、低亮区域;最后,以不同的步长改变低亮和高亮区域的背光强度,得到多组调整后的背光,并通过LED-LCD样机进行显示图像的视觉质量评价,选出使图像显示质量最好的背光作为该图像对应的最优背光。本文提出的新型可调节的自适应区域调光方法框图如
图 1. 提出的可调节的自适应区域调光方法框图
Fig. 1. Block diagram of adjustable adaptive local dimming method
本文提出的可调节的自适应区域调光方法不仅考虑了图像内容特点,还结合了现有区域背光提取技术中的不同优势,通过实际显示样机确定使得图像的视觉感受更加生动逼真的最优背光。经过像素补偿后的图像显示暗的区域更暗,亮的区域更亮,显示图像的对比度得到有效提高。
2.1 背光提取模块
作为区域调光技术的一部分,背光提取是基于亮度分量而非色度信息,本文中利用的亮度信息Y是经过从RGB到YCbCr的颜色空间转换得到的。转换方法可表示为
式中:MsRGB=
假设N为利用的区域背光提取算法的总类数,显示图像的分辨率为w×h,采用区域背光算法得到的背光大小为m×n,则提取公式为
式中:k=1,2,…,N;fk为第k种区域背光提取函数;Bk为由fk计算得到的背光结果;(i,j)为背光矩阵中背光值的坐标;floor(·)表示向下取整函数。
2.2 最佳背光判定模块
针对2.1节得到的图像的N个背光提取结果,选择其中的一个结果作为初始背光B0。然后,计算初始背光的均值和方差,将初始背光分为高亮、中亮、低亮三个区域,进而通过不同的步长和构造的背光限制条件去调整初始背光的不同区域,得到不同的调整背光。将调整后的所有背光单独地传送给LED-LCD样机的背光模组,利用主观视觉挑选出最优背光。该方法在现有区域背光提取算法的基础上,将不同算法侧重不同图像内容的优点通过背光调整和实际显示进行结合和均衡,挑选出能够提供良好视觉感知的图像质量的背光来确定最优背光。
2.2.1 背光约束条件
在改变初始背光的过程中,本文构造了背光约束条件以给出变化幅度的范围,这有利于抑制图像质量衰减和整合不同算法的优势。对于特定的图像块,查找不同区域背光提取算法得出的背光结果,得出该图像块内容对应的最大背光值和最小背光值。最终得到的最大值和最小值背光矩阵元素分别用Mmax和Mmin表示:
考虑到在构建背光约束条件的过程中利用的区域背光提取算法是有限的,本文将得到的Mmax和Mmin分别增加和减少10%,但是最大值不超过255,最小值不能小于0。
2.2.2 背光调节原则
基于人眼的亮度阈值特性,人眼只能感知到超过特定阈值的灰度差。两个灰度等级之间的最小灰度级被称为恰可察觉差(JND)[17]。
JND曲线反映了人类视觉的敏感性。正如在
以未发生失真的图像为前提,根据初始背光的均值和方差将其分成三个区域,即高亮、中亮、低亮区域。降低低亮区的背光同时提高高亮区的背光以便营造可分辨的视觉差异,由于降低和提高光的幅度不同,得到不同组调整后的背光。根据JND曲线,设定调整的最大幅度为25。此外,调整后的背光在背光约束条件内。整个过程的详细说明如下。
1) 首先根据文献[ 19]中提出的背光提取函数f得到初始背光B0:
2) 由步骤1)得出的B0计算均值和方差,分别记作mb和vb,低亮区和中亮区分界点用O1表示,中亮区和高亮区分界点用O2表示。均值、方差的计算式分别为
分界点表示为
3) 按照(8)式调整初始背光值B0,可以得到5组不同的背光值:
式中:α=1,2,…,5。
4) 利用2.2.1节中的背光约束条件对Bα进行背光约束。
2.2.3 最佳背光获取
本文采用实验室研制的LED-LCD双调制显示系统主观选择最优背光,显示原理如
图 3. LED-LCD双调制显示器样机。(a)显示原理;(b)背光板的结构示意图;(c)原型样机背面结果;(d)原型样机
Fig. 3. LED-LCD dual modulation display prototype. (a) Display principle; (b)structural diagram of backlight panel; (c) back of prototype; (d) picture of prototype
在调节背光的过程中,人眼能直接感知处于不同背光环境下的图像质量。根据(8)式,改变的光的幅度以2的指数增长,因此每幅液晶面板图像对应的背光共有6组,1组为初始背光,5组为改变背光。所以主观评价方法为:选取20个视力正常的观察者,这里的视力正常指的是无色弱、色盲等影响对图像显示质量进行正常判断的眼睛疾病。20个视力正常的观察者包括10男10女,且他们都非本领域的研究人员,因此在选取使液晶面板图像呈现质量最优的背光的过程中,可根据实际感受进行客观公正的选择。当液晶面板图像确定后,先输入初始背光,再输入第1组改变背光,接着20位观察者在两组中选出1组使液晶面板图像内容呈现质量更好的背光。然后再输入第2组改变背光,观察者在已选出的背光和第2组改变背光中继续进行选择,直到第5组改变背光输入完毕,观察者选出6组背光中使液晶面板图像内容呈现质量最佳的最优背光。其中,每组背光停留时间为3 s,观察者每次选择的时间为3 s。在一次最优背光选择完毕后,观察者将有10 s的休息时间,再进行下一次的最优背光的选取。在初始背光和最优背光下图像的显示质量如
从
图 4. 初始和最优背光下的显示图像对比。(a)初始背光;(b)最优背光
Fig. 4. Comparison of displayed images under initial and optimal backlight. (a) Initial backlight; (b) optimal backlight
2.3 像素补偿方法
与全局调光相比,背光模组的亮度降低使得区域调光后的图像在实际显示时整体亮度偏低。因此需要对显示在LCD面板上的图像进行一定的像素补偿来使调光后的图像与未进行调光时的图像显示亮度相同,使得显示出的图像在LCD面板图像和区域背光的共同作用下,不仅可保持原图像的显示亮度,还能提高显示图像的对比度。但是如果利用得到的最优背光直接进行像素补偿,则比较容易出现块效应。块效应表现为相邻图像分区的背光值差异较大,造成明显的块边界,如
式中:Bsmoothed为经过BMA后的背光;Badjusted为进行BMA前的背光;φ(·)代表BMA函数。
图 5. 背光平滑对比结果。(a)未进行背光平滑;(b)进行背光平滑
Fig. 5. Contrast results of backlight smoothing. (a) Without backlight smoothing; (b) with backlight smoothing
采用(10)式对液晶像素进行补偿,以保持显示亮度和背光全亮时的显示亮度基本不变。液晶补偿计算表达式为
式中:Lori为原始的像素值;Lcom为液晶补偿之后的像素值;Bsmooth为平滑处理之后的背光值;γ为液晶显示器的校正系数,一般取值为2.2。
3 实验结果
本文用来构建背光限制条件的区域背光提取算法有最大值法、平均值法、LUT法、IMF法和参考文献[
19]中的算法。在文献[
19]中,背光提取的过程为根据不同图像块的内容结合最大类间方差法确定分区背光调节系数,根据该系数确定分区背光调光灰度级,再通过计算分区背光调光比得到不同图像块对应的背光值。本文中将文献[
19]中算法计算得到的背光作为初始背光。测试图像如
图 6. 测试图像 (a)低亮度;(b)高亮度;(c)低对比度;(d)高对比度
Fig. 6. Test images. (a) Low brightness; (b) high brightness; (c) low contrast; (d) high contrast
表 1. 不同算法的比较结果
Table 1. Comparison of results of different algorithms
|
为了证实本文提出的区域调光方法有助于提升对比度,并因此能够提供令人满意的视觉感知,本文采用对比度(CR)、峰值信噪比(PSNR)、结构相似性(SSIM)和信息熵(IE)指标进行客观评估。CR是图像中最暗和最亮区域的亮度对比,CR越高,代表图像的亮度范围越大。PSNR是图像处理中常用的客观评估指标,PSNR越高,失真度越小。SSIM反映了目标结构的特征,SSIM的范围为0~1,SSIM越接近1,意味着图像质量越好。IE用以评估图像细节的丰富性。在图像处理过程中,若灰度级的数量减少,则信息熵减小,导致图像细节丢失。本文中对比度的计算方法为
式中:h(i)代表灰度级为i的像素的数量;P10、P90分别表示累计概率密度曲线中占图像总像素数10%和90%的亮度值。
另外,本文也采用了色差(CD)来衡量颜色信息的失真度。在RGB色彩空间中使用了加权欧氏距离,此过程可表示为
式中:
基于上述分析,本文中使用了5种指标来证实所提方法的有效性。
图 7. 低亮度图像不同方法的仿真结果。(a) CDF;(b) LUT;(c)文献[ 19]中方法;(d)本文方法
Fig. 7. Simulation results of different methods for low brightness image. (a) CDF; (b) LUT; (c) method in Ref. [19]; (d) proposed method
图 8. 高亮度图像不同方法的仿真结果。(a) CDF;(b) LUT;(c)文献[ 19];(d)本文方法
Fig. 8. Simulation results of different methods for high brightness image. (a) CDF; (b) LUT; (c) method in Ref. [19]; (d) proposed method
图 9. 低对比度图像不同方法的仿真结果。(a) CDF;(b) LUT;(c)文献[ 19];(d)本文方法
Fig. 9. Simulation results of different methods for low contrast image. (a) CDF; (b) LUT; (c) method in Ref. [19]; (d) proposed method
图 10. 高对比度图像不同方法的仿真结果。(a) CDF;(b) LUT;(c)文献[ 19];(d)本文方法
Fig. 10. Simulation results of different method for high contrast image. (a) CDF; (b) LUT; (c) method in Ref. [19]; (d) proposed method
从
不同区域调光算法的客观评估结果对比如
4 结论
为了克服单一区域调光方法的缺陷,提出了一种新型可调节的自适应区域调光方法。在该方法中,介绍了基于LED-LCD样机的一种新型的可调节的区域背光提取方法,提出了包括确定初始背光、调整初始背光、验证调整后的背光的背光提取方法,以确定使显示图像质量最为逼真的最优背光。背光约束条件用来抑制背光调节过程中的图像失真。采用校正系数进行像素补偿有利于使液晶屏显示出色彩丰富的图像。实验结果说明本文方法在提高对比度和保持图像显示色彩的饱和度方面有一定效果。
[1] 张淑芳, 朱彤. 一种基于HDR技术的交通标志牌检测和识别方法[J]. 激光与光电子学进展, 2018, 55(9): 091006.
[2] 李强, 刘振泽, 曹慧, 等. 参数可配置全彩LED显示控制系统[J]. 激光与光电子学进展, 2018, 55(10): 101101.
[3] 田会娟, 郝甜甜, 关涛, 等. R/G/B/W 4色LED光源不舒适眩光研究[J]. 激光与光电子学进展, 2019, 56(13): 132301.
[4] 蓝栩砚, 杨欣, 宿世臣, 等. 电流和温度应力对LED球泡灯可靠性的影响[J]. 激光与光电子学进展, 2019, 56(8): 082301.
[5] Choi M, Hoffman D M. Efficacy of global dimming backlight and high-contrast liquid crystal panel for high-dynamic-range displays[J]. Journal of the Society for Information Display, 2017, 25(5): 283-294.
[6] Feng Q B, He H J, Han D, et al. Image-classification-based global dimming algorithm for LED backlights in LCDs[J]. Optics & Laser Technology, 2015, 70: 106-111.
[7] 章小兵, 刘欣, 刘波, 等. 液晶显示器全局动态背光调整的改进CDF方法[J]. 光电工程, 2012, 39(12): 127-131.
[8] Lee T W, Lee J H, Kim C G, et al. An optical feedback system for local dimming backlight with RGB LEDs[J]. IEEE Transactions on Consumer Electronics, 2009, 55(4): 2178-2183.
[9] Liu Y H, Yang Z Z, Wang S C. A novel sequential-color RGB-LED backlight driving system with local dimming control and dynamic bus voltage regulation[J]. IEEE Transactions on Consumer Electronics, 2010, 56(4): 2445-2452.
[10] Oh W S, Cho D, Cho K M, et al. A novel two-dimensional adaptive dimming technique of X-Y channel drivers for LED backlight system in LCD TVs[J]. Journal of Display Technology, 2009, 5(1): 20-26.
[11] Martin S, Aldo B, Jerzy K. Characterization of a high-quality monochrome AM-LCD monitor for digital radiology[J]. Proceedings of SPIE, 2002, 4681: 293-304.
[12] Kim S E, An J Y, Hong J J, et al. How to reduce light leakage and clipping in local-dimming liquid-crystal displays[J]. Journal of the Society for Information Display, 2009, 17(12): 1051-1057.
[15] Cho H, Kwon O K. A backlight dimming algorithm for low power and high image quality LCD applications[J]. IEEE Transactions on Consumer Electronics, 2009, 55(2): 839-844.
[16] 刘艳中, 郑学仁, 陈建宾. 基于图像CDF阈值的LCD-TV动态背光主亮度提取算法及其硬件实现[J]. 液晶与显示, 2010, 25(3): 449-453.
[17] Lin F C, Huang Y P, Liao L Y, et al. Dynamic backlight gamma on high dynamic range LCD TVs[J]. Journal of Display Technology, 2008, 4(2): 139-146.
[18] Nadernejad E, Burini N, Korhonen J, et al. Adaptive local backlight dimming algorithm based on local histogram and image characteristics[J]. Proceedings of SPIE, 2013, 8652: 86520V.
[19] 张涛, 巫红英, 李蒙, 等. 一种提高图像对比度和视觉质量的新型区域背光算法[J]. 工程科学学报, 2017, 39(12): 1888-1897.
Zhang T, Wu H Y, Li M, et al. A novel local dimming algorithm to improve image contrast and visual quality[J]. Journal of University of Science and Technology Beijing, 2017, 39(12): 1888-1897.
[20] Zhang T, Wang Y F, Wu H Y, et al. High-performance local-dimming algorithm based on image characteristic and logarithmic function[J]. Journal of the Society for Information Display, 2019, 27(2): 85-100.
[21] 童浩. 液晶显示LED背光源动态调光算法研究[D]. 合肥: 合肥工业大学, 2012.
TongH. Research of LCD dynamic control LED backlight algorithm[D]. Hefei: Hefei University of Technology, 2012.
张涛, 胡孟阳, 杜文丽, 王昊. 一种新型可调节的自适应区域调光方法[J]. 激光与光电子学进展, 2020, 57(12): 121017. Tao Zhang, Mengyang Hu, Wenli Du, Hao Wang. Adjustable Adaptive Local Dimming Method[J]. Laser & Optoelectronics Progress, 2020, 57(12): 121017.