立体视觉中心凹JND模型及其图像压缩硬件实现

季渊; 郑志杰; 吴浩; 张引; 陈文栋; 穆廷洲

doi:doi:10.3788/AOS202141.1210001

光学学报, 2021, 41 (12): 1210001, 网络出版: 2021-06-02

立体视觉中心凹JND模型及其图像压缩硬件实现下载： 790次

Foveated JND Model Based on Stereo Vision and Its Application in Image Compression with Hardware Implementation

论文大纲

季渊 ^1,2郑志杰 ^1,*吴浩 ¹张引 ¹陈文栋 ²穆廷洲 ²

作者单位

¹ 上海大学微电子研究与开发中心, 上海 200072

² 上海大学机电工程与自动化学院, 上海 200072

图像处理视觉光学中心凹JND 人眼视觉特性数据传输微显示器 image processing vision optics foveated JND human visual characteristic data transmission microdisplay

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

传统的二维JND(Just Noticeable Difference)模型只能估计平面图像的最小可觉差,并不完全适用于虚拟立体视觉下的大视场角图像。首先根据人眼视觉特性,对亮度、对比度、中心凹和立体深度4种掩蔽特性设计相应的双目观测实验,通过实验数据建立JND数学模型并将其与当前其他JND模型进行对比,结果表明该模型在同等感知质量下可以去除更多的视觉冗余。然后将该视觉感知冗余模型应用于图像压缩,为此提出一种多重色阶压缩算法,该算法根据人眼色差阈值对图像的不同区域进行不同等级的色阶量化,量化过程结合Floyd-Steinberg误差分散算法可以去除视觉冗余数据。最后在FPGA(Field-Programmable Gate Array)硬件平台上完成算法的验证,结果表明该算法的平均比特压缩率可以达到61.65%,能够有效降低VR(Virtual Reality)图像所需的传输数据量。

Abstract

The traditional two-dimensional JND (Just Noticeable Difference) model can only estimate the minimum noticeable difference of the planar image, and is not completely suitable for the large field of view image under virtual stereo vision. First, according to the visual characteristics of the human eye, corresponding binocular observation experiments are designed for the four masking characteristics of brightness, contrast, fovea and stereo depth, and the mathematical model of JND is established through experimental data, and compared with other current JND models. The results show that this model can remove more visual redundancy under the same perceptual quality. Then the visual perception redundancy model is applied to image compression. For this purpose, a multi-level compression algorithm is proposed. The algorithm performs different levels of color level quantization on different regions of the image according to the human eye color difference threshold. The quantization process which combines the Floyd-Steinberg error dithering algorithm can remove visual redundant data. Finally, the algorithm verification is completed on the FPGA (Field-Programmable Gate Array) hardware platform. The results show that the average bit compression rate of the algorithm can reach 61.65%, which can effectively reduce the amount of transmission data required for VR (Virtual Reality) images.

1 引言

心理物理学中,最小可觉差(JND)可以表示人眼所能感受到的刺激的最小变化量,同时也能够体现人眼对图像失真的最大容忍度。目前,已有多个JND模型被提出。Chou等^[1]使用JND模型对亮度掩蔽特性和对比掩蔽特性的影响进行了研究,该模型是像素域2D-JND模型之一。Chen等^[2]提出了加入中心凹掩蔽特性的JND模型,结果表明JND值与偏心角有关。Wang等^[3]在Chen等^[2]的基础上加入了视觉注意特性。2D-JND模型对于平面图像是适用的,然而立体图像具有深度信息,所以人眼对其主观感知有所不同。Liu等^[4]提出了一种3D-JND模型,但该模型只研究了人眼舒适区的小范围深度变化,而且对比掩蔽特性中未考虑背景亮度的影响。Fan等^[5]提出了一种显著性加权立体JND模型,但其并未涉及中心凹掩蔽特性。

综上可知,提高JND模型与人眼特性的匹配程度十分重要,为此本文根据实验建立一种FD-JND(Foveation-Depth JND)模型。在相同的客观质量评价下,该模型的主观质量评价结果均高于其他JND模型,表明其更符合人眼视觉。JND体现了人眼对图像灰度变化的容忍度,其可以反映图像中的视觉冗余,因此应用于图像压缩。目前,虚拟现实(Virtual Reality,VR)设备普遍朝着高分辨率和广视角的方向发展^[6],然而当前显示技术的传输带宽无法承载过多的数据量^[7],为此季渊等^[8-9]根据人眼特性提出了一种基于多尺度金字塔的压缩方法,在分辨率上对VR图像进行了数据压缩。本文根据JND模型提出一种像素域的色阶压缩算法,使用三种单色的JND阈值加权得到色差阈值后对图像进行色阶压缩,采用误差分散算法减少压缩过程中的失真图像。针对该算法设计相应的微显示控制器,在现场可编程门阵列(Field-Programmable Gate Array,FPGA)平台上成功驱动硅基有机发光二极管(Organic Light-Emitting Diode,OLED)显示器,实现VR图像的实时压缩显示,有效减少传输的数据量,验证该算法在硬件方面实现的可行性。

2 双目观测实验

2.1 视觉掩蔽特性

JND会受到多种人眼视觉特性的影响,包括亮度掩蔽、对比掩蔽、中心凹掩蔽和深度掩蔽等特性。中心凹掩蔽特性描述人眼对中心凹区域的分辨力强和外围区域弱的情况,深度掩蔽特性描述不同深度下人眼的感知情况。在立体视觉中,人眼有舒适区和非舒适区^[10],在舒适区范围内人眼视敏度随着视距的增加而减少^[11]。

对于立体图像中的某一像素点P(i,j),深度值的计算公式为

d (i, j) = \frac{b \times f}{D (i, j)}, (1)

式中:b为相邻两台相机的基线距离;f为相机焦距;D为像素点P对应左右图像之间的视差值。

2.2 实验建立

为了研究立体视觉场景下4种掩蔽特性对JND的影响,对亮度和对比度进行两种类型的心理学实验,每种实验又对偏心角和深度进行改变。实验采用的设备为Oculus Rift CV1,该VR设备的单眼屏幕分辨率为1080 pixel×1200 pixel,水平视场角为110°,角分辨率(PPD)约为10。实验测试人员共14名,其中男性10人,女性4人,年龄均在21~25岁之间。通过弗莱堡视力测试,所有人员的视力表现均正常。为了避免心理影响,测试人员仅知晓基本的信息。

2.3 中心凹-深度-亮度掩蔽特性实验

图 1. 亮度掩蔽特性实验的测试图像

Fig. 1. Test image of luminance masking characteristic experiment

下载图片查看所有图片

实验中,采用左右图片的格式在VR中进行显示,左右图的分辨率均为1080 pixel×1200 pixel,测试的左眼图片如图1所示,右眼图类似,图片的中心点用于帮助测试者进行凝视。图片的背景亮度为l,用于测取JND的噪点亮度l+k,两者的灰度亮度值均在0~255之间,其中k为噪点幅度。本次主观实验仅对深度掩蔽特性进行探究,因此注入的测试噪声是相同的,即左右图片中的噪点幅度相等。噪点区域为10 pixel×10 pixel大小的方块,其分布于偏心角为e的圆形边界,对应的视差值为

D = D_{L} - D_{R} + 2 a, a = 60, (2)

式中:D_L为左图中噪点到凝视点的像素差值;D_R为右图中噪点到凝视点的像素差值;a为凝视点到人眼中心的像素差值。令凝视点所对应的成像处的深度值为1.0,则D=120,此时噪点相对凝视点的偏心角按照两者的像素距离与PPD之比进行计算,PPD值设为10。

图2为3D成像原理。A点和B点均为屏幕上的噪点,A点在深度为1.0和偏心角为e处的成像点为A',B点在深度为d和偏心角为e处的成像点为B',A点在深度为d₀和偏心角为0处的成像点为E。设A点和B点分别到凝视点的像素差值为D_L0和D_L1,则由(1)式和(2)式可得

d_{0} = \frac{120}{2 D_{L 0} + 120} 。 (3)

根据三角形相似原理可以得到相同偏心角下不同深度的像素差值,表达式为

D_{L 1} = (60 + D_{L 0}) / d - 60 。 (4)

图 2. 3D成像原理

Fig. 2. Principles of 3D imaging

下载图片查看所有图片

实验中设置的亮度组为11组,偏心角组为13组,深度组为5组,具体数值如表1所示。测定过程中采用的方法为心理学测定阈值的阶梯法,即多轮增减噪点灰度法,最后取均值得到JND阈值。

表 1. 亮度掩蔽特性和对比掩蔽特性实验的具体数值

Table 1. Specific values of luminance masking characteristic and contrast masking characteristic experiments

Attribute	Luminance masking	Contrast masking
Background luminance	0,10,20,60,100,140,180,200,220,230,240	100,140,180,220
Contrast luminance	0	20,40,60,80
Eccentricity /(°)	1,2,3,5,10,15,20,25,30,35,40,45,50	1,2,3,5,10,15,20,25,30,35,40,45,50
Depth	0.2,0.4,0.6,0.8,1.0	0.2,0.4,0.6,0.8,1.0
Disparity /pixel	600,300,200,150,120	600,300,200,150,120

查看所有表

图 3. 对比掩蔽特性实验的测试图像

Fig. 3. Test image of contrast masking characteristic experiment

下载图片查看所有图片

2.4 中心凹-深度-对比掩蔽特性实验

图 4. 亮度掩蔽特性的实验结果。(a) JND与亮度的关系;(b) JND与偏心角的关系;(c) JND与深度的关系;(d)在d=1.0的情况下,JND与亮度和偏心角的关系;(e) 在e=20的情况下,JND与亮度和深度的关系;(f)亮度掩蔽特性实验的4D图像

Fig. 4. Experimental results of luminance masking characteristic experiment. (a) Relationship between JND and luminance; (b) relationship between JND and eccentricity angle; (c) relationship between JND and depth; (d) relationship among JND, luminance, and eccentricity angle at d=1.0; (e) relationship among JND, luminance, and depth at e=20; (f) 4D image of luminance masking characteristic experiment

下载图片查看所有图片

对比掩蔽特性实验相比于亮度特性实验,实验中进一步增加了对比区域,测试过程中对比区域为方型,与凝视点同样处于图像的中心位置,如图3所示。对比区域的亮度为l-c,其中c为亮度对比值,即与背景亮度的差值。当c为0时,则对应亮度掩蔽特性实验,噪点位于对比区域与背景区域的边界处,测试噪点幅度基于对比区域的亮度值。实验中设置的亮度组为4组,对比组为4组,偏心角组为13组,深度组为5组,具体数值如表1所示。

3 FD-JND模型的建立及分析

3.1 亮度掩蔽特性模型

实验结果如图4所示。当深度为1.0和偏心角为20°时,JND与背景亮度之间的关系曲线如图4(a)所示。从图4(a)可以看到,在背景亮度的低区域和高区域处JND值较大,中间区域较小,这与2D图像的观测结果^[1]基本一致。当深度为1.0和背景亮度为140时,JND与偏心角之间的关系曲线如图4(b)所示。从图4(b)可以看到,JND在偏角为5°以内基本保持不变,之后开始增加,在15°~25°之间变化平缓,40°之后开始急剧增大。当背景亮度为140和偏心角为20°时,JND与深度之间的关系曲线如图4(c)所示。从图4(c)可以看到,JND在深度为0.5~1.0之间逐渐增加,这与视敏度随视距的增大而减小的情况相符^[11];在小于0.5以内,深度值越小,JND反而越大,这是由于成像过近,人眼开始进入非舒适区^[10],所以视敏度出现减小。图4(d)和图4(e)为JND与不同参数的变化关系,图4(f)为整个亮度掩蔽特性的4D图像,其加入了三项掩蔽特性的影响参数。

根据实验数据建立相应的亮度掩蔽特性模型,模型的方均根误差(Root Mean Squared Error,RMSE)值为1.0171,JND与背景亮度l、偏心角e和深度d的关系分别为

\begin{array}{l} l_{1} = a_{1} \times l^{4} + a_{2} \times l^{3} + a_{3} \times l^{2} + a_{4} \times l + a_{5}, (5) \\ e_{1} = b_{1} \times e^{4} + b_{2} \times e^{3} + b_{3} \times e^{2} + b_{4} \times e + b_{5}, (6) \\ d_{1} = c_{1} \times d^{4} + c_{2} \times d^{3} + c_{3} \times d^{2} + c_{4} \times d + c_{5}, (7) \\ J_{FD ⁃ JND, l} (l, e, d) = l_{1} \times (\frac{e_{1}}{e_{1} (0)} + μ_{1}) \times \frac{d_{1}}{d_{1} (1.0)} + μ_{2}, (8) \end{array}

式中:a₁=2.046×10^-8;a₂=-9.44×10^-6;a₃=0.001437;a₄=-0.07248;a₅=5.273;b₁=3.099×10^-6;b₂=-0.0001298;b₃=8.477×10^-6;b₄=0.1435;b₅=4.663;c₁=26.04;c₂=-93.75;c₃=124;c₄=-66.25;c₅=15;μ₁和μ₂均为校正参数,值分别为-1.637和0.224;J_FD-JND_,l为中心凹深度(Foveated Depth,FD)影响下由l得到的JND值。由于亮度与灰度值呈正相关,因此l可以使用当前邻域内像素灰度的加权均值来代替,通常取5 pixel×5 pixel大小的加权模板^[1]。

3.2 对比掩蔽特性模型

对比掩蔽特性的实验结果如图5所示。当深度为1.0、偏心角为20°和背景亮度为140时,JND与对比度之间的关系曲线如图5(a)所示。从图5(a)可以看到,对比掩蔽特性可以使JND值增大,且对比度越大JND值越大。对比掩蔽特性实验中,当深度为1.0和偏心角为20°时,JND与背景亮度和对比度之间的关系曲线如图5(b)所示。从图5(b)可以看到,当对比度大于0和背景亮度大于100时,JND随着背景亮度呈现先增加后减小再增加的变化趋势,当对比度过大时JND变化不明显。

图 5. 对比掩蔽特性的实验结果。(a) JND与对比度的关系;(b) JND与亮度和对比度的关系

Fig. 5. Experimental results of contrast masking characteristic experiment. (a) Relationship between JND and contrast; (b) relationship among JND, luminance, and contrast

下载图片查看所有图片

根据测得的实验数据来建立相应的对比掩蔽特性模型,JND与背景亮度l、对比度c、偏心角e和深度d的关系分别为

\begin{array}{l} M = \{\begin{array}{l} (u_{1} \times l^{2} + u_{2} \times l + u_{3}) \times \sqrt[]{c} + u_{4}, \\ (0 \leq e < 10) \\ (v_{1} \times l^{2} + v_{2} \times l + v_{3}) \times \sqrt[]{c} + v_{4}, \\ (10 \leq e < 30) \\ (w_{1} \times l^{2} + w_{2} \times l + w_{3}) \times c + w_{4}, \\ (30 \leq e) \end{array}, (9) \\ J_{FD ⁃ JND, c} (l, c, e, d) = J_{FD ⁃ JND, l} + M, (10) \end{array}

式中:M为相较于亮度掩蔽,由对比掩蔽所引起的JND变化值;J_FD-JND_,c为中心凹深度影响下由c得到的JND值;u₁=-2.206×10^-5;u₂=0.006143;u₃=-0.07232;u₄=-1.06;v₁=-1.731×10^-5;v₂=0.004102;v₃=0.3572;v₄=-0.65;w₁=3.983×10^-6;w₂=-0.001496;w₃=0.2457;w₄=-0.46。对比度c可以使用边沿梯度来表示,本文使用5 pixel×5 pixel区域内的Sobel算子进行计算。

最终的FD-JND模型可表示为

J_{FD ⁃ JND} (l, c, e, d) = \{\begin{array}{l} J_{FD ⁃ JND, l}, & if c = 0 \\ J_{FD ⁃ JND, c}, & if c > 0 \end{array} 。 (11)

由(11)式可知,模型的RMSE值为1.4042,表明模型的拟合程度较好。

4 JND模型的比较

为了验证所建立的FD-JND模型的准确性,将其与Liu^[4]和Wang^[3]提出的模型进行对比。测试图片均来自Waterloo IVC 3D数据集^[12],图片的分辨率为1920 pixel×1080 pixel。与文献[ 13]类似,本文对原始图片注入相同的噪声量进行污染,用来比较不同JND模型下的主观视觉质量。为了便于测试和比较,不同JND模型的深度值均设为1.0,凝视点固定在图像的中心,注入过程采用大小为5 pixel×5 pixel的滑块。污染后的图片在像素(i,j)处的灰度值为

\begin{array}{l} I^{*} (o, i, j) = I (o, i, j) + N_{rand} \times J_{JND} (o, i, j), (12) \\ J_{JND} (k) = [\begin{array}{l} J_{JND, l} & J_{JND, l} & J_{JND, l} & J_{JND, c} & J_{JND, c} \\ J_{JND, l} & J_{JND, l} & J_{JND, l} & J_{JND, c} & J_{JND, c} \\ J_{JND, c} & J_{JND, c} & J_{JND, c} & J_{JND, l} & J_{JND, l} \\ J_{JND, c} & J_{JND, c} & J_{JND, c} & J_{JND, l} & J_{JND, l} \\ _{JND, c} & J_{JND, c} & J_{JND, c} & J_{JND, l} & J_{JND, l} \end{array}], (13) \end{array}

式中:I为原始图片;o为第o个滑块;N_rand为随机数,其从0、0.382、0.574、0.700和1.000中随机选取。测试图片以110°的视场角在VR设备中进行全屏显示,测试方法选用主观测试建议书ITU-R BT.500中所建议的双刺激连续质量尺度法,评分分为5个等级,如5(两张图的差异完全不可见),4(差异可见但噪声不明显),3(可察觉少量噪声),2(可以察觉的较多噪声),1(可察觉的噪声很多)。注入的噪声量以峰值信噪比(PSNR)作为衡量标准,不同JND模型下的平均主观得分(MOS)如表2所示。

从表2可以看到,建立的模型与Liu^[4]和Wang^[3]提出的模型相比,在注入相同的噪声量下,每幅图像的平均主观得分更高,同时也反映FD-JND模型在主观得分较高的情况下,能够注入的噪声量较多,PSNR的平均值可以低至31.41 dB。

表 2. 不同模型的平均主观得分对比

Table 2. Comparison of average subjective scores of different models

Image	PSNR /dB	MOS
Image	PSNR /dB	Ref. [4]	Ref. [3]	Proposedmodel
Gate	32.01	4.20	3.50	4.80
Woman	32.33	4.30	3.50	4.90
Column	30.89	4.20	3.40	4.70
Hall	30.72	4.30	3.50	4.90
Lab	30.71	4.00	3.30	4.60
Repair	32.48	4.30	3.40	4.80
Report	30.24	4.20	3.30	4.80
Soccer	31.22	4.40	3.60	5.00
Branch	31.42	4.30	3.40	4.90
Umbrella	32.03	4.20	3.40	4.80
Average	31.41	4.24	3.43	4.82

查看所有表

不同JND模型污染后的噪声分布如图6所示,三个模型基于图6(a)注入噪声。从图6可以看到,建立的JND模型在中心区域的噪声注入较少,在远离中心区域的噪声注入较多。图7为不同JND模型污染后图片中心区域的放大图。从图7可以看到,建立的模型在中心区域的图像清晰度高于其他两个JND模型,与原图差别很小,而人眼观察区域主要集中在视敏度高的中心区域,因此视觉感知质量更高,这与主观评测结果相符。以上结果表明,相比于其他两个JND模型,FD-JND模型更符合人眼视觉。

图 6. 不同JND模型的噪声注入分布。(a)原始图像;(b)所提模型;(c)文献[ 4];(d)文献[ 3]

Fig. 6. Noise injection distributions of different JND models. (a) Original image; (b) proposed model; (c) Ref. [4]; (d) Ref. [3]

下载图片查看所有图片

图 7. 不同JND模型污染后图片的中心区域放大图。(a)原始图像;(b)所提模型;(c)文献[ 4];(d)文献[ 3]

Fig. 7. Enlarged view of central area of picture after pollution by different JND models. (a) Original image; (b) proposed model; (c) Ref. [4]; (d) Ref. [3]

下载图片查看所有图片

5 基于FD-JND模型的多重色阶压缩算法

5.1 图像色觉冗余

JND是人眼视觉特性形成掩蔽效应的临界值,其反映了人眼对图像不同区域中信号失真的容忍程度,利用该人眼生理特性对图像所包含的信息进行压缩,可以大幅度优化图像信息的表现方式,达到去除图像中的视觉信息冗余而且人眼无法察觉的目的。由于JND反映的是灰度图像的视觉冗余,因此不能直接应用于彩色图像,需要对其进行一定的变换处理。对于彩色图像,人眼对于红绿蓝(RGB)三色的敏感程度不一,若使用JNCD(Just Noticeable Color Differences)来表示人眼的色差阈值,当察觉到一个单位的色差时,则对应三个颜色分量的刺激增量不同,为此JNCD在RGB空间中会呈现椭球形状的分布。对于彩色图像中总的颜色亮度,通常按照Y=0.30R+0.59G+0.11B,Y体现了RGB三基色的综合能量强度,三个比例系数(R、G和B)对应人眼对红绿蓝三色的不同敏感程度。实验结果表明,当R∶G∶B=2∶1∶4时,模型能够较好地保证图像质量^[14],因此可以定义JNCD为三色分量中每种颜色下的加权JND值,计算公式为

J_{JNCD} = 2 J_{JND, R} / 7 + J_{JND, G} / 7 + 4 J_{JND, B} / 7 。 (14)

5.2 图像低色阶化

若将8 bit的灰度图像降低灰阶,最简单的方法是直接舍弃像素的低数据位,灰度图像的低灰阶量化公式为

g (i, j) = \overset{M}{\sum_{i}} \overset{N}{\sum_{j}} round [f (i, j) / 2^{n}] \times 2^{n}, (15)

式中:g(i,j)为低灰阶量化后的图像;f(i,j)为原始8 bit的图像;round(·)为四舍五入的取整函数;M和N分别为图像的长和宽;n为低灰阶量化等级,n=0,1,…,7。

对于彩色图像,可以在三个通道中同时进行量化以降低色阶,舍弃低位的数据越多,则图像失真的情况越多,因此可以采用误差分散算法,即Floyd-Steinberg抖动算法,其基本思想是将像素点的量化误差分散到邻近像素点,并对舍弃的数据进行补偿。2×2大小的误差传递模板可表示为

T = [\begin{array}{l} 0 & 3 / 8 \\ 3 / 8 & 1 / 4 \end{array}], (16)

式中:3/8、3/8和1/4为权重系数。

算法的处理过程:首先将当前像素的量化误差分别乘以T中的三个权重系数,然后加到右、下和右下的像素中。根据实际实验结果发现,对于彩色图像,Floyd-Steinberg抖动算法可以将色阶量化至16,此时人眼能够观察到较小的颗粒噪点,当色阶量化至8时,噪点颗粒较明显。

5.3 多重色阶压缩算法

彩色图像的多重色阶压缩过程:采用5 pixel×5 pixel大小的滑块从图像的左上角开始进行移动,分别计算出RGB三个通道下滑块中心所对应的背景亮度L_R、L_G和L_B以及偏心角e。由于低色阶量化是对整个滑块进行处理,为了加快运算速度,所有滑块均使用固定深度的亮度掩蔽JND函数。由l和e可以得到当前滑块中心在三个通道下的JND值,加权后得到最终的JNCD值。根据JNCD值使用2×2模板的Floyd-Steinberg抖动算法进行不同程度的色阶量化,在量化过程中三个通道的色阶均保持一致。根据JND值的分布以及抖动算法在低色阶量化过程中的失真情况,多次实验后按照表3进行压缩,图像质量和压缩率均能够较好平衡。

表 3. 不同JNCD取值的色阶

Table 3. Color scale of different JNCD values

JNCD value	Color scale	Bit width
(0,4]	256	8
(4,6]	128	7
(6,8]	64	6
(8,10]	32	5
(10,11]	16	4
(11,∞]	8	3

查看所有表

6 FPGA系统验证

6.1 硬件整体框架

为了验证算法在硬件方面实现的可行性,采用以FPGA为核心的硅基OLED微显示器测试平台,结构框架如图8所示。硬件系统主要包括三个部分,分别为视频输入源、微显示控制器以及OLED微显示器。视频的输入源主要由PC(Personal Computer)产生,其将视频流通过高清多媒体接口(High Definition Multimedia Interface,HDMI)传输至视频解码电路中,将其转换为标准的VSEA(Video Electronics Standards Association)视频信号后送入FPGA内部的微显示控制器中。微显示控制器包括图像压缩模块和扫描控制模块。当传入每帧图像时,将图像数据保存在两个缓存块中。第一个数据缓存块采用4个FIFO(First Input First Output Storage)和25个移位寄存器,用来获取5 pixel×5 pixel的像素值,然后通过加权模板计算出背景亮度和偏心角,由此得到当前图像块的JNCD阈值。第二个数据缓存块采用SDRAM(Synchronous Dynamic Random Access Memory)存储器,传入JNCD值后控制存储管理器以读取SDRAM的每个像素值,接着根据查找表(Look Up Table,LUT)进行色阶量化,量化完成后再进行误差分散以更新SDRAM中的相邻像素值,同时将量化后的数据保存在输出缓存SDRAM中。由于使用两个数据缓存块,因此JNCD阈值产生和色阶量化可以并行执行,同时每帧图像也可以进行流水线处理,这减少了输出延时。整帧图像完成量化压缩后,输出使能信号至扫描控制器中。扫描控制模块采用脉冲宽度调制(Pulse Width Modulation,PWM)数字驱动OLED微显示器^[15],收到使能信号后对输出的缓存数据进行接收和预处理,之后扫描LUT查找表对SDRAM进行寻址,最终完成图像数据的读取,最后以低压差分信号(Low Voltage Differential Signaling,LVDS)的方式将同步信号和数据信号传输到硅基OLED微显示器的接收端中。

图 8. 基于FPGA的硬件系统结构框架

Fig. 8. Hardware system architecture framework based on FPGA

下载图片查看所有图片

6.2 压缩结果与分析

压缩测试所用的9张测试图片均来自Middlebury Stereo 2005数据集^[12],图片的分辨率约为695 pixel×555 pixel,当深度值为1时,按照w/110(w为图片宽度)的角分辨率进行数据压缩,图9为在FPGA平台上显示图像压缩后的效果,验证了所提算法在硬件方面实现的可行性。

图 9. 硬件测试平台

Fig. 9. Hardware test platform

下载图片查看所有图片

为了对图像质量进行分析,采用PSNR、中心凹的峰值信噪比(FPSNR)^[16]和SSIM(Structural Similarity)三个客观质量评价参数进行评价。由于图像是在大视场角的VR中进行显示,因此对不同偏心角的图像计算PSNR。FPSNR将PSNR与视敏度函数f_c结合,用来评估图像的整体质量。SSIM对两幅图的亮度、对比度和结构进行相似性评估,值越接近1表示相似度越高。

图10为算法的处理结果。从图10可以看到,相比于原图,算法压缩后的图片在人眼视敏度高的中心区域可以较好地保留清晰度,在边缘区域降低清晰度。表4为图像的各项评价指标。从表4可以看到在偏心角为30°以内,处理后的彩色图像的PSNR基本在50 dB以上,能够保证近周边视觉^[17]良好的主观感受,FPSNR和SSIM的平均值分别为40.65 dB和0.87,表明压缩后的VR图像整体质量较好。

在压缩率方面,以处理后图像的总比特与原始图像的总比特之比作为压缩指标,彩色图像的平均比特压缩率可以达到61.65%,较大程度地减少了VR图像的数据量。

图 10. 图像压缩效果的对比及其局部放大图。 (a)原始图像;(b)压缩后的图像

Fig. 10. Comparison of image compression effect and local enlarged view. (a) Original images; (b) compressed images

下载图片查看所有图片

表 4. 彩色图像压缩后的各项评价指标和比特率

Table 4. Evaluation index and bit rate of color image compression

Image	PSNR /dB					FPSNR /dB	SSIM	Bitrate /%
Image	e is 0°--5°	e is 5°--10°	e is 10°--15°	e is 15°--30°	e>30°	FPSNR /dB	SSIM	Bitrate /%
Art	70.5936	58.9329	57.1360	52.1277	33.2020	40.4823	0.8675	61.59
Book	55.2470	51.6498	52.2067	49.4993	32.8974	39.8006	0.8686	57.15
Computer	65.8224	54.3767	53.7429	52.6272	33.1890	40.4265	0.8783	60.84
Doll	66.6142	54.6717	55.0177	51.9896	33.3387	40.6038	0.8799	61.53
Drumstick	62.9970	57.3913	56.8413	53.1031	33.7317	41.0152	0.8980	62.02
Dwarves	77.8636	62.7846	62.1044	53.2000	33.5468	40.9747	0.8669	63.92
Laundry	65.5591	53.5276	54.2809	52.7823	33.7454	41.0754	0.8861	62.26
Moebius	73.0924	66.3706	60.1905	53.2447	33.3951	40.6560	0.8637	61.78
Reindeer	64.3097	56.8130	58.1696	52.8886	33.3697	40.8316	0.8606	63.74
Average	66.8999	57.3909	56.6322	52.3847	33.3795	40.6518	0.8744	61.65

查看所有表

7 结论

根据人眼视觉特性,对立体图像下的JND进行研究并设计4种掩蔽特性实验,用来分析不同掩蔽特性对JND的影响,建立FD-JND模型并与另外两种中心凹JND模型进行对比,结果表明该模型具有更好的准确性。将感知冗余模型应用于图像压缩,用来去除图像中的冗余数据,为此提出一种FD-JND结合误差分散的多重色阶压缩算法,并在FPGA平台上完成该算法的设计与验证。实验结果表明,在保证图像质量较高的同时,该算法能够较大程度地降低VR图像的数据量,为超高清近眼显示设备面临的传输数据量过大问题提供一种良好的解决方案。

参考文献

[1] Chou C H, Li Y C. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1995, 5(6): 467-476.

[2] Chen Z Z, Guillemot C. Perceptually-friendly H.264/AVC video coding based on foveated just-noticeable-distortion model[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(6): 806-819.

[3] Wang HK, YuL, Wang SW, et al.A novel foveated-JND profile based on an adaptive foveated weighting model[C]∥2018 IEEE Visual Communications and Image Processing (VCIP), December 9-12, 2018, Taichung, Taiwan, China.New York: IEEE Press, 2018: 18620452.

[4] Liu D, Wang Y B, Chen Z Z. Joint foveation-depth just-noticeable-difference model for virtual reality environment[J]. Journal of Visual Communication and Image Representation, 2018, 56: 73-82.

[5] FanY, Larabi MC, Cheikh FA, et al.Just noticeable difference model for asymmetrically distorted stereoscopic images[C]∥ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 12-17, 2019, Brighton, UK.New York: IEEE Press, 2019: 2277- 2281.

[6] 石晓卫, 苑慧, 吕茗萱, 等. 虚拟现实技术在医学领域的研究现状与进展[J]. 激光与光电子学进展, 2020, 57(1): 010006.

Shi X W, Yuan H, Lü M X, et al. Current status and progress of virtual reality technology in medical field[J]. Laser & Optoelectronics Progress, 2020, 57(1): 010006.

[7] 范丽亚, 马介渊, 张克发, 等. 虚拟现实硬件产业的发展[J]. 科技导报, 2019, 37(5): 81-88.

Fan L Y, Ma J Y, Zhang K F, et al. The development status and prospect of virtual reality hardware industry[J]. Science & Technology Review, 2019, 37(5): 81-88.

[8] 季渊, 余云森, 高钦, 等. 基于人眼视觉特性的硅基OLED微显示器系统[J]. 光子学报, 2019, 48(4): 0411001.

Ji Y, Yu Y S, Gao Q, et al. System of OLED-on-silicon micro display based on visual perception of human eye[J]. Acta Photonica Sinica, 2019, 48(4): 0411001.

[9] 季渊, 高钦, 余云森, 等. 基于多尺度金字塔的硅基OLED微显示控制器[J]. 光学学报, 2019, 39(12): 1223001.

Ji Y, Gao Q, Yu Y S, et al. OLED-on-silicon microdisplay controller based on multi-scale pyramid[J]. Acta Optica Sinica, 2019, 39(12): 1223001.

[10] Tam W J, Speranza F, Yano S, et al. Stereoscopic 3D-TV: visual comfort[J]. IEEE Transactions on Broadcasting, 2011, 57(2): 335-346.

[11] Alfonso J F, Fernández-Vega L, Señaris A, et al. Prospective study of the Acri.LISA bifocal intraocular lens[J]. Journal of Cataract & Refractive Surgery, 2007, 33(11): 1930-1935.

[12] Wang J L, da Silva M P, Le Callet P, et al. Computational model of stereoscopic 3D visual saliency[J]. IEEE Transactions on Image Processing, 2013, 22(6): 2151-2165.

[13] Wu J J, Li L D, Dong W S, et al. Enhanced just noticeable difference model for images with pattern complexity[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2682-2693.

[14] 王向阳, 杨红颖, 陈利科. 基于人眼视觉系统的自适应量化数字水印算法研究[J]. 小型微型计算机系统, 2005, 26(9): 1525-1529.

Wang X Y, Yang H Y, Chen L K. New color image watermarking based on adaptive quantization[J]. Mini-Micro Systems, 2005, 26(9): 1525-1529.

[15] 穆廷洲, 季渊, 陈文栋, 等. 基于双帧数模融合扫描的硅基有机发光二极管微显示器[J]. 激光与光电子学进展, 2019, 56(9): 092302.

Mu T Z, Ji Y, Chen W D, et al. Organic-light-emitting-diode-on-silicon microdisplay based on double-frame digital-analog-hybrid scanning strategy[J]. Laser & Optoelectronics Progress, 2019, 56(9): 092302.

[16] Lee S, Pattichis M S, Bovik A C. Foveated video quality assessment[J]. IEEE Transactions on Multimedia, 2002, 4(1): 129-132.

[17] Bringmann A, Syrbe S, Görner K, et al. The primate fovea: structure, function and development[J]. Progress in Retinal and Eye Research, 2018, 66: 49-84.

5 基于FD-JND模型的多重色阶压缩算法

季渊, 郑志杰, 吴浩, 张引, 陈文栋, 穆廷洲. 立体视觉中心凹JND模型及其图像压缩硬件实现[J]. 光学学报, 2021, 41(12): 1210001. Yuan Ji, Zhijie Zheng, hao Wu, Yin Zhang, Wendong Chen, Tingzhou Mu. Foveated JND Model Based on Stereo Vision and Its Application in Image Compression with Hardware Implementation[J]. Acta Optica Sinica, 2021, 41(12): 1210001.

立体视觉中心凹JND模型及其图像压缩硬件实现 下载： 790次

1 引言

2 双目观测实验

2.1 视觉掩蔽特性

2.2 实验建立

2.3 中心凹-深度-亮度掩蔽特性实验

图 1. 亮度掩蔽特性实验的测试图像

Fig. 1. Test image of luminance masking characteristic experiment

图 2. 3D成像原理

Fig. 2. Principles of 3D imaging

表 1. 亮度掩蔽特性和对比掩蔽特性实验的具体数值

Table 1. Specific values of luminance masking characteristic and contrast masking characteristic experiments

图 3. 对比掩蔽特性实验的测试图像

Fig. 3. Test image of contrast masking characteristic experiment

2.4 中心凹-深度-对比掩蔽特性实验

图 4. 亮度掩蔽特性的实验结果。(a) JND与亮度的关系;(b) JND与偏心角的关系;(c) JND与深度的关系;(d)在d=1.0的情况下,JND与亮度和偏心角的关系;(e) 在e=20的情况下,JND与亮度和深度的关系;(f)亮度掩蔽特性实验的4D图像

3 FD-JND模型的建立及分析

3.1 亮度掩蔽特性模型

3.2 对比掩蔽特性模型

图 5. 对比掩蔽特性的实验结果。(a) JND与对比度的关系;(b) JND与亮度和对比度的关系

Fig. 5. Experimental results of contrast masking characteristic experiment. (a) Relationship between JND and contrast; (b) relationship among JND, luminance, and contrast

4 JND模型的比较

表 2. 不同模型的平均主观得分对比

Table 2. Comparison of average subjective scores of different models

图 6. 不同JND模型的噪声注入分布。(a)原始图像;(b)所提模型;(c)文献[ 4];(d)文献[ 3]

Fig. 6. Noise injection distributions of different JND models. (a) Original image; (b) proposed model; (c) Ref. [4]; (d) Ref. [3]

图 7. 不同JND模型污染后图片的中心区域放大图。(a)原始图像;(b)所提模型;(c)文献[ 4];(d)文献[ 3]

Fig. 7. Enlarged view of central area of picture after pollution by different JND models. (a) Original image; (b) proposed model; (c) Ref. [4]; (d) Ref. [3]

5 基于FD-JND模型的多重色阶压缩算法

5.1 图像色觉冗余

5.2 图像低色阶化

5.3 多重色阶压缩算法

表 3. 不同JNCD取值的色阶

Table 3. Color scale of different JNCD values

6 FPGA系统验证

6.1 硬件整体框架

图 8. 基于FPGA的硬件系统结构框架

Fig. 8. Hardware system architecture framework based on FPGA

6.2 压缩结果与分析

图 9. 硬件测试平台

Fig. 9. Hardware test platform

图 10. 图像压缩效果的对比及其局部放大图。 (a)原始图像;(b)压缩后的图像

Fig. 10. Comparison of image compression effect and local enlarged view. (a) Original images; (b) compressed images

表 4. 彩色图像压缩后的各项评价指标和比特率

Table 4. Evaluation index and bit rate of color image compression

7 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

立体视觉中心凹JND模型及其图像压缩硬件实现下载： 790次