1 引言

随着市场上对显示器件需求的不断增长,开发高色域、高对比度、低功耗的高品质液晶显示器件^[1-2]已成为当务之急。传统液晶显示器采用全局调光技术,节能效果较差。当图像中存在亮、暗明显的区域时,为了保证明亮区域的显示效果,不能将背光值降低太多,这限制了调光后图像的动态范围,全局调光还存在严重的光泄漏现象。为了解决上述问题、尽可能扩大图像动态范围,提出了区域调光技术^[3-5]。对于静态图像,动态范围定义为从最暗区域到最亮区域的范围。目前主流的液晶显示器(LCD)由两部分组成: 发光二极管(LED)背光模块(BLU)和液晶(LC)前屏液晶模块。LC面板本身是非自主发光器件^[6-7],设备在背光和LC面板图像的联合作用下显示图像。液晶显示器采用液晶前面板与背光模块组合显示,根据光学理论,液晶器件所能呈现的总动态范围是背光光学系统和液晶屏光学系统的动态范围的乘积^[8]。

区域调光背光提取算法有很多,包括最大值法^[9]、平均法^[10]、均方根法^[11]、累积分布函数(CDF)法^[12]、映射函数反转(IMF)法^[13]、误差修正法(亦称查表法,LUT)^[14]和基于动态阈值的最大类间方差法(Otsu法)^[15]等。最大值法保留了大部分的图像细节,得到的图像质量较高,但是会导致过度的功耗。平均法与最大值法相比,功耗低,但失真严重。查表法使用一个映射函数,其通过构建查找表来确定相应背光亮度的方法适用于较暗的图像,对于高亮度图像和高对比度的图像,该方法调光后的图像存在严重失真。对于高亮度的图像,采用CDF法和IMF法调光后的图像质量较高,但对于低亮度的图像,采用CDF法和IMF法调光后的图像会出现明显的失真。Otsu法基于大津法^[16](亦称最大类间方差法),根据分区的灰度直方图自适应选择合适的阈值,该阈值确定了背光源调光系数,从而确定了背光源调光的灰度级,最终得到背光源亮度值,显著降低了功耗,但对于高亮度图像,该方法调光后的图像仍存在严重的失真。此外,其他一些优良的区域调光算法也相应被提出,例如:文献[ 17]提出了一种基于直方图和图像特征的自适应区域调光算法;文献[ 18]提出了一种以R、G、B三基色LED作为背光源的区域调光算法;文献[ 19]提出了一种用于侧入式背光的区域背光算法来降低背光源的能耗。然而,特定算法适用于具有一定亮度等级或对比度类型的图像,此外,现有的背光提取算法并不能有效地提高图像的对比度,往往会造成图像细节的丢失,所以需要一种更为综合高效的背光提取方法。

目前,深度学习在计算机视觉领域取得了显著的效果,广泛应用于图像识别、图像分类、图像特征提取等应用中,如图像融合^[20-21]、超分辨率图像生成^[22-23]、目标检测^[24-25]等。在区域调光技术方面,文献[ 26]提出一种基于深度学习的区域调光像素补偿算法,该算法直接从输入图像中生成补偿图像,而不需要任何背光调光电平的信息,提出的补偿网络是在 u-net 网络模型的基础上构造的,通过跳跃连接保持上采样路径的高分辨率特征。此方法可以独立于背光调节而进行像素补偿,但由于没有考虑背光部分,背光的调节对整体显示效果的影响是无法衡量的。本文基于深度学习,将卷积神经网络(CNN)应用于区域调光技术,针对当前区域调光领域缺乏相应的数据集的问题,基于LED-LCD直下式图像视频显示原理样机,考虑各种类型的图像,提出一种可靠有效的基于区域背光提取的数据测量方法及系统,进而提出一种基于CNN的最佳显示质量背光提取方法,该方法根据实际图像内容确定最佳背光,以提高图像对比度,保留更多细节,从而提高显示性能。

2 基于深度学习的背光提取方法

2.1 数据集建立

对于某一任务,适用于此任务的数据集能满足任务目标的需求,包含了任务所需要的各种特征,然而当前区域调光领域缺乏合适的数据集,这阻碍了CNN在区域调光技术中的应用。针对深度学习在区域调光技术方面的应用鲜有文献发表、不存在基于深度学习的区域背光显示技术可用的数据库等问题,本文采用团队研制的一台基于LED-LCD直下式图像视频显示原理样机^[27]建立数据集。该样机的屏幕尺寸为47 inch(1 inch=2.54 cm),屏幕比例为16∶9,分辨率为3840 pixel×2160 pixel,亮度达到4000 nit(1 nit=1 cd/m²),采用高清晰度多媒体(HDMI)接口,其背光模组采用的是白光LED分区(共划分36×66个分区)背光,背光面板分为9块,每块背光板含264个背光单元(按12×22的方式均匀排布)。在已有测量设备中,一个背光灯对应一个图像块,图像分区为36×66,输入图像大小为1920 pixel×1080 pixel。收集大小为1080 pixel×1920 pixel的静态场景图像600张,其中室内场景图像150张,室外场景图像150张,人物场景图像120张,其他场景图像180张。

一种用于深度学习处理的基于区域背光提取的数据测量方法及系统如图1所示,测量步骤如下。

图 1. 基于区域背光提取的数据测量方法及系统结构图

Fig. 1. Data measurement method based on local backlight extraction and diagram of system structure

下载图片 查看所有图片

1) 将区域调光算法中的一种背光提取方法作为基准算法生成原始背光;

2) 考虑整个图像的背光,根据图像亮度和对比度类型选择对应的分界方法并计算改变原始背光的分界点,前期工作中^[28-29]使用均值加减方差法计算分界点,而经过大量实测之后,由于不同类型图像存在不同图像特征,同一分界方法不能适用于所有类型图像,如针对高亮图像使用均值加减方差法时,图中亮度较暗区域会因为亮度调整不当而失真。考虑不同亮度图像存在不同特征,本文使用不同分界方法进行处理,对于亮度较暗和亮度中等的图像,计算分界点时适合采用均值加减方差法,对于高亮图像,计算分界点时适合采用百分比分界法,算法流程图如图2所示。

图 2. 分界法流程图。(a)均值加减方差法;(b)百分比分界法

Fig. 2. Flowcharts of dividing methods. (a) Mean plus/minus variance method; (b) percentage dividing method

下载图片 查看所有图片

3) 改变背光值,由于人眼观察亮度变化存在限制,而且常用图片亮度级为256,即8 bit,所以改变背光时,在原始背光基础上,按照比特数对应的亮度级进行数值加减,同时,为了减少背光在增减数值过大时而产生的失真,应在一定约束条件下获得优化的背光值,此约束条件是将多种传统背光提取算法计算出的各分区最大值和最小值作为约束,本文使用最大值法、平均法、CDF法、峰值信噪比(PSNR,其值用R_PSNR)法、高斯法、误差修正法和Otsu法作为约束算法。

4) 通过主观评价确定更优背光,在参考文献[ 30]的方法中,邀请20名年龄介于20岁和30岁的志愿者参与其中,为了减少外界光线的干扰,在暗室中对显示图像进行主观评价,对同一环境下通过LED-LCD直下式图像视频显示原理样机显示的20名志愿者的情况进行主观评价,对于每幅图像,受试者只需选择人眼能明显察觉出来的且图像在不失真的情况下的显示质量最佳的背光矩阵,对于上述多组背光,选定多人观察显示效果中最优的背光进行投票,累计投票数,得票最多的背光为更优背光。

5) 分别测量使用原始背光的显示亮度和使用更优背光的显示亮度,连接计算机进行测试和数据提取,使用亮度计的标配软件和计算机控制仪器进行测量,通过软件查看测量图表和数据等,并保存数据,为了减小数据测量时外部光线的干扰,在暗室环境下进行测量,区域背光提取测量系统如图3所示。

图 3. 区域背光提取测量系统

Fig. 3. Measurement system of local backlight extraction

下载图片 查看所有图片

6) 用图像对比度和亮度动态范围作为客观评价指标,对原始背光和更优背光进行客观质量评价,以确定最优背光。

本文采用CX-2B成像面亮度计进行亮度测量。分别使用计算机控制的LED-LCD直下式图像视频显示原理样机和CX-2B成像面亮度计,并通过计算机控制显示原理样机实现图像和背光输入以显示图像,与此同时计算机与面亮度计相连接,通过使用标配软件对显示原理样机的显示图像进行测量,测量距离约为6.5 m,测量仪器水平放置,通过调整焦距使显示屏全部包含在测量范围内。为了减小外部光照的影响,实验过程在暗室环境下进行,其测量环境如图4所示。CX-2B成像面亮度计的测量亮度范围为0.001~2000 cd/m²,其可以实现对单点亮度、多点亮度、区域、亮度均匀性分布伪彩色图等的测量,一次取样相当于数百万个以上的微亮度计同时工作,能进行快速测试,当设置特定点测试时可得到显示图像的特定位置亮度。

图 4. 区域背光提取测量环境。(a)实验设备;(b)暗室环境

Fig. 4. Test environment of local backlight extraction. (a) Experimental setup; (b) dark environment

下载图片 查看所有图片

2.2 网络模型

基于LED-LCD直下式图像视频显示原理样机建立了适用性强且显示效果优越的数据集,数据集由室内、室外、人物、动物等各种场景图像组成,包含了不同亮度等级和不同对比度等级的图像,囊括了各种图像特征,数据集中一张图像对应一组最优背光,在此数据集基础上,为了获得一种相比于传统背光提取方法更为有效的背光提取方法,试图将深度学习引入区域调光技术中,为此提出一种基于卷积神经网络的背光提取方法。本文提出了基于深度学习的液晶显示器背光提取神经网络(BENN)算法,其区域调光系统的示意图如图5所示。该网络采用多层下采样结构,通过综合提取图像特征获得最佳背光。LED光源是一种非相干光源^[31],在确定每个分区的背光亮度后,为了保证减少背光调整后显示图像的亮度和效果,需要考虑LED背光模块中光的扩散效应,因此采用改进的模糊-扩散方法(IBMA)^[15],针对不同类型的背光块,采用不同的低通滤波模板,建立背光扩散模型,以更好地平滑背光信号边缘的背光扩散,提高像素补偿的精度。像素补偿部分采用非线性补偿方法,在线性补偿方法的基础上引入伽马校正,通过逐步减小像素补偿曲线的变化来减小像素的溢出畸变,该过程可表示为

Icp=Iin×BfullBL1/γ,ifIcp≤255Icp=255,ifIcp>255,(1)

式中:γ为学习率;B_L为背光扩散后像素所对应的背光亮度值;B_full为背光全亮时的背光亮度值,一般B_full=255;I_in为原始图像的像素亮度值;I_cp为补偿图像(也称LC面板图像)的像素亮度值。

图 5. 基于深度学习的区域调光系统框图

Fig. 5. Diagram of local dimming system based on deep learning

下载图片 查看所有图片

BENN的结构主要由若干降采样层组成,其基于多个卷积层,使得网络输出图像大小为M×N,其中M和N分别为输出图像的高度和宽度。由于网络输入是分辨率较大的图像,如分辨率为1080 pixel×1920 pixel的图像,而网络输出是通过对图像分区后得到的分辨率较小的背光图像,具体来说,输出图像的大小为36 pixel×66 pixel,所以网络设置5个降采样层,如图6所示,网络结构包括5个Res module模块(图7)以及紧随其后的4个最大池化层(Max-pooling)。输入图像每经过一次降采样,图像减小一定尺寸,经过5次采样后,图像大小接近于目标输出图像大小。神经网络中最重要的模块是卷积层,卷积层对神经网络中每一小块进行深入分析并且获得抽象度更高的特征,而池化层相当于是对上层特征图的宽度和高度进行降采样,通过池化可以减少下一层节点数量,从而减少网络模型参数的数量。调整大小层(Resize)执行调整图像大小的操作,使得经过多次采样后的图像大小为目标输出图像大小,即36 pixel×66 pixel。卷积层传输信息时,存在或多或少的信息丢失和成本过大等问题,因此在网络中引入旁路分支^[32],通过将输入信息传递给输出,保护了信息的完整性,简化了学习目标和难度,而且解决了网络加深的过程中梯度逐渐消失的问题。每个Res module由3个连接的3×3卷积和一个旁路的5×5卷积组成,而1×1卷积操作使得输出通道数都为1。对BENN进行更新,使网络预测的背光图像与对应的真实背光图像即最优背光之间的差异最小化。

图 6. 所提BENN结构

Fig. 6. Proposed BENN structure

下载图片 查看所有图片

图 7. Res module 结构

Fig. 7. Structure of Res module

下载图片 查看所有图片

2.3 损失函数

均方误差(MSE,其值为E_MSE)可以表示图像失真的程度,它在图像处理的许多相关领域被确定为损失函数,被定义为

EMSE=1M×N∑i=1M∑j=1N(Yi,j(')-Yi,j)2,(2)

式中: Yi,j(')为真值背光图像;Y_i,j为网络预测的背光图像。

结构相似度(SSIM,其值用S_SSIM表示)用于测量目标图像和参考图像的局部模式一致性,定义式为

uF(x)=∑p∈PW(p)·F(x+p)σF2(x)=∑p∈PW(p)·[F(x+p)-uF(x)]2σFY(x)=∑p∈PW(p)·[F(x+p)-uF(x)]·[Y(x+p)-uF(x)]SSSIM=(2uFuY+C1)(2σFY+C2)(uF2+uY2+C1)(σF2+σY2+C2),(3)

式中:u_F 和 σF2分别为图像F的局部均值和方差估计;σ_FY为区域协方差估计;u_Y 和 σY2分别为图像Y的局部均值和方差估计;C₁和C₂是防止分母为0的常数;p为中心迁移位置;W={W(p)|p∈P,P={(-5,5),…,(5,5)}}为权值。

完整的损失函数L_loss=E_MSE+αS_SSIM,其中α是S_SSIM和E_MSE之间的权重,根据经验设置为0.001。

3 实验与结果分析

数据集包含600个样本,其中60个用作验证集。学习率设置为0.00001。每经100轮训练,学习率乘以0.96,迭代次数设定为10000次。网络使用TensorFlow框架^[33]和戴尔PowerEdge T630图形处理单元(GPU)进行评估。在获得背光图像后,使用IBMA算法实现背光扩散,将36 pixel×66 pixel的背光图像扩展为与原图像大小(1080 pixel×1920 pixel)相同的背光图像,最后利用非线性补偿算法结合背光信息进行像素补偿。

采用三个客观评价指标来衡量模型的性能。第1个评价指标是S_SSIM,其定义式如(3)式所示,其值范围为0~1,其值越接近于1,表明图像质量越好;反之图像质量越差。第2个评价指标是R_PSNR,其定义式为

RPSNR=10×lg2552EMSE,(4)

其值越大,表明失真越小,图像质量越好;反之,其值越小,图像失真越大,质量越差。

第3个评价指标为对比度(CR,其值用C_R),CR是图像CDF曲线中90%像素点的亮度值h₉₀与10%像素点的亮度值l₁₀之比,图像对比度计算式为

CR=h90l10,(5)

对比度越大,即动态范围越大,图像显示质量越好;反之,对比度越小,动态范围越小,图像显示质量不佳。

将所提方法与前面介绍的几种传统算法(平均法、CDF法、LUT和Otsu法)进行了比较,如表1所示,可以看出,该方法在客观评价指标方面比其他算法均有所提高,其结构相似性指标相比于其他传统算法有极大的提高,这表明图像质量越好,该方法的对比度相比于其他传统算法的明显提高表明所提算法显著扩大了显示图像的动态范围。图8给出了传统算法和所提方法针对随机选取的4张场景图像的仿真结果,从图中可以看出,所提方法得到的图像对比度更加强烈,从椭圆标注区域可以看出,所提方法的图像明暗对比更加明显,显示效果更佳,而且传统算法存在细节丢失严重的问题,特别是在高亮区域会出现溢出失真。为了进一步验证所提算法的可行性,在LED-LCD直下式图像视频显示原理样机上进行实际系统显示,对传统算法和所提算法的显示结果进行拍摄,拍摄时,在同一环境下,机位保持不变,相机设置不变,考虑到摄像机和显示系统的影响,图9给出了图像部分区域的显示系统结果,由图可见显示系统结果与仿真结果一致,所提方法具有较强的对比度,而传统算法存在细节失真严重的问题。

图 8. 仿真结果。(a)(c)(e)(g)传统算法;(b)(d)(f)(h)所提算法

Fig. 8. Simulation results. (a)(c)(e)(g) Traditional algorithm; (b)(d)(f)(h) proposed algorithm

下载图片 查看所有图片

为了验证本文所提网络结构的优越性和有效性,针对基于Res module和R_1的网络结构进行了单独删除Res module、单独删除R_1和同时删除Res module、R_1的实验,以找到最适合目标任务的网络,实验结果如表2所示,BENN-5×5 Conv为单独删除Res module的网络,BENN-R_1 为单独删除R_1的网络,BENN-5×5 Conv-R_1为同时删除Res module、R_1的网络。由结果可知,BENN-5×5 Conv-R_1在各项评价指标上都低于其他网络结构,这表明无任何旁路的网络结构的性能比其他网络结构差,验证了Res module和R_1的必要性,由此验证了所提方法的优越性和有效性。

图 9. 显示系统结果。(a)(c)(e)(g)(i)(k)(m)(o)(q)(s)(u)(w)传统算法;(b)(d)(f)(h)(j)(l)(n)(p)(r)(t)(v)(x)所提算法

Fig. 9. Results of display system. (a)(c)(e)(g)(i)(k)(m)(o)(q)(s)(u)(w) Traditional algorithm; (b)(d)(f)(h)(j)(l)(n)(p)(r)(t)(v)(x) proposed algorithm

下载图片 查看所有图片

4 结论

对于不同亮度图像存在不同特征的问题,基于LED-LCD直下式图像视频显示原理样机,首先提出一种可靠且考虑全面的基于区域背光提取的数据测量方法及系统,以高效地提取图像的最优背光。对于特定算法适用于特定类型图像的问题,综合考虑多种场景图像特征,提出了一种有效实用的背光提取算法,该方法基于卷积神经网络,采用多层下采样结构,综合提取图像特征,获得最佳背光。实验结果表明,与传统的背光提取算法相比,该算法提取的背光具有更好的视觉感知质量,并且有效增大了显示图像的动态范围。采用不同网络结构所得的结果验证了该方法的必要性和有效性。

本文有待改进之处在于两个方面:一是当前的数据集不够完善,有待对数据集进行更全面的分析和研究,使其更加适合本领域的任务,因此在接下来的工作中,需要进行进一步的数据增强、样本挑选、背光方案修改、有误数据删除等工作,以对数据集进行优化;二是所提网络结构可能不能完全提取数据特征,因此网络结构有待优化,以提高背光提取算法的性能。