1 引言
图像作为视觉信息的主要载体,是人类从客观世界获取信息的重要来源。日常生活中的手机相机、数码相机,及摄像监控设备、空间光学遥感设备等成像系统,都是获取图像信息的重要工具。视觉成像系统已广泛应用于工业、医学、**等领域,大多数成像系统对不同距离的物体成像时,需要通过透镜的机械移动来实现对焦。在许多应用中,为了减少透镜的机械移动,研究人员提出了各种电控调焦的光学透镜,如液体透镜[1-3]及液晶透镜[4-7]。电控调焦的光学透镜的成像原理与动物及人类的视觉成像机制相似。通过改变曲率或折射率分布来改变焦距从而实现对焦。液晶透镜视觉成像系统已实现对焦[8-9]、变焦[10-11]、深度测量[12-13]等功能,有望应用于工厂自动化、机器人视觉、自动驾驶、安防等领域。液晶透镜相比于玻璃或者塑料透镜,具有轻薄、寿命长和功耗低等优势。但是,在液晶透镜成像过程中,寻常光(o光)不被调制,引起图像对比度的降低。液晶透镜成像系统中通常使用偏振片,只让非寻常光(e光)进入系统。然而,偏振片会大幅度降低光通量,降低图像质量。
已有的无偏振片液晶透镜成像技术主要有以下几种。一种是采用蓝相液晶[14-16]代替向列型液晶制备液晶透镜。然而,蓝相液晶有双折射效应小、温度范围窄、驱动电压高等缺点,尚未达到实用水平。另一种是使用多层液晶代替单层液晶,o光和e光分别由不同的液晶层调制[17-19]。但是多层液晶结构的透镜有制作工艺复杂、成本高、厚度增加的缺点。最近,本课题组提出一种无偏振片成像技术(Polarizer-free imaging,PFI),不使用偏振片仍然能够有效去除未被调制的o光分量。PFI技术使用对焦图像和非对焦图像进行图像处理,提高图像的对比度[20-21]。然而图像处理会增加图像噪声。PFI处理后通常还需要进行去噪[22]。图像的锐度主要体现在边缘的对比度,因此本文提出优化算法,只针对图像边缘采用PFI。实验证明,优化后的算法能提高图像边缘的对比度,并抑制图像噪声的增加。
2 优化的无偏振片成像原理及算法
液晶透镜视觉成像系统结构如图1所示。液晶透镜放置在由玻璃透镜和图像传感器组成的相机模组之前。液晶材料中,有效折射率为
,其中no和ne分别为寻常光的折射率和非寻常光折射率,θ为液晶分子倾角。作用于液晶层的电场改变时,倾角θ发生旋转,非寻常光的折射率随之改变,e光受到调制而o光未被调制。如果液晶透镜成像系统中无偏振片,被调制的e光和未被调制的o光都会通过模组中的透镜入射到图像传感器上。改变电压,使被调制的e光对焦在图像传感器上,未被调制的o光在像面上会呈现离焦模糊斑,定义此时获取的图像为对焦图像If。为了尽可能减少由o光造成的图像低频分量,增强图像的对比度,引入另外一幅非对焦图像Ir作为参考图,Ir中e光并未完全对焦。If和Ir都可以视为由o光和e光图像叠加在一起的图像[20-21],即
式中:
表示If中e光分量;
表示If中o光分量;
表示Ir中e光分量;
表示Ir中o光分量。因为o光在If和Ir中都不被液晶透镜调制,所以
=
。将If和Ir进行图像相减可降低o光分量,获得对比度增强图像Is,
式中,α为可变参数,满足0<α<1。分母1-α是为了保持Is的亮度与If和Ir亮度一致。将(1)式和(2)式代入(3)式得到
假设图像I'=
+
,I'中光分量高于If=+
中e光分量
,因此I'的对比度高于If。当α大于某一特定值时,图像
会比I'更加模糊。那么I'-
相当于对I'进行高通滤波,因此图像Is的对比度高于I'。α越大,非对焦图像Ir的对比度越低,高通滤波效果越强,Is的对比度越高。
图 1. 液晶透镜视觉成像系统实验装置
Fig. 1. Experimental setup of the liquid crystal lens visual imaging system
下载图片 查看所有图片
PFI算法在提高对比度的同时,在平滑区域引入了不必要的噪声。图像的对比度主要体现在图像边缘部分。灰度图像的边缘一般是图像的灰度发生剧烈变化之处[23]。机器视觉的大多数应用都涉及图像边缘检测、图像滤波以降低噪声等。优化后的算法首先对If进行标准差滤波提取图像边缘。然后根据(3)式在边缘位置无偏振片成像得到图像I's。
3 噪声分析及三步去噪算法
3.1 无偏振片成像的噪声分析
无偏振片成像算法产生一个高对比度的图像Is。但是随着α的增大,噪声也越大。假设If,Ir,Is的噪声分别为Nf,Nr,Ns且噪声相互独立,根据(3)式Ns标准差为[22]
假设D(Nf)=D(Nr),即If的噪声标准差与Ir的噪声标准差相等,则D(Ns)和D(Nf)的关系为
由(6)式分析可知,
随着α的增加而增加。实验发现,当α 超过0.6,噪声水平显著提高。因此需要有效的去噪方法来去除无偏振片成像带来的噪声。
3.2 三步去噪算法
3.2.1 提取显著噪声及图像边缘
根据(3)式,噪声和图像边缘的位置与Ir及If密切相关。Ir及If在平滑区域灰度值基本一致,在边缘有较大的差距。设置阈值tm并获取二值图像Im以此来确定随机噪声和边缘的位置[22]。Im如图2(a)所示,可表示为
为了区分显著噪声及图像边缘,使用 (8) 式检测离散的噪声位置,
其中t1为阈值,p,q为对应像素,Ns1(p)表示以p点为中心、s1大小的邻域。第一次二值图像边缘位置表示为
如图2(b)所示,仍有一些显著噪声未被检测到。使用第二次噪声检测,
如 (10)~(13) 式所示。对图像
进行先膨胀后腐蚀的闭操作,此操作保留孤立的噪声点,同时平滑边缘。所选膨胀及腐蚀运算的结构元均为矩形结构元。 (11) 式为第二次检测图像
中的显著噪声,设置阈值t1<t2,邻域大小s1<s2。最终的显著噪声位置由 (12) 式给出。图像In及Ie如图2(c)和(d)所示。对比图2(b)和(d)可知,保留的少许噪声点已经成功从图像
中移除,最终去噪后的边缘图像Ie如图2(d)所示。
图 2. 显著噪声及图像边缘。 (a) Im;(b) Ie1;(c) In;(d) Ie
Fig. 2. Illustration of salient noises and image edges. (a) Im; (b) Ie1; (c) In; (d) Ie
下载图片 查看所有图片
3.2.2 平滑区域及图像边缘去噪
通过 (12) 式确定噪声位置,移除噪声并填入邻近非噪声的像素值,
式中:s表示以像素点q为中心像素的邻域窗口;wq表示权重系数,一般选用Gauss权值[22]。
图像Ie确定Is中边缘的位置,对图像Is中平滑区域去噪, 为了防止对边缘滤波,先对边缘图像Ie膨胀处理,
式中的s表示相同的邻域窗口。
最后,对图像Is边缘去噪,并进行滤波:
式中:
<td是为了确保邻域像素与目标像素尽可能接近;td为阈值。去噪结果如图3所示。
图 3. PFI去噪前后结果。 (a) PFI去噪前;(b) PFI去噪后
Fig. 3. Results of PFI denoising. (a) Before PFI denoising; (b) after PFI denoising
下载图片 查看所有图片
4 实验
4.1 实验图像获取
本实验采用的液晶透镜是单层向列型圆孔电极结构[24],如图4所示。液晶层被夹在两块ITO玻璃基板之间。ITO电极层1的图形是圆孔状,ITO电极层1与ZnO高阻抗膜之间有一层SiO2绝缘层,其目的是为了防止ITO电极1与ZnO高阻抗膜相互接触。在上电极1(有圆孔图形)与下电极2之间加电压U1和U2时,将在液晶层形成非均匀且轴向对称的电场。当液晶的有效折射率呈现透镜状分布时,液晶器件就相当于只对e光调制的透镜。调节电压U1和U2,液晶透镜可工作于正透镜和负透镜状态。当U1>U2时,液晶透镜为正透镜,固定U1通过调节U2改变正焦距。当U1<U2时,液晶透镜为负透镜,固定U2通过调节U1改变负焦距。由实验测得液晶透镜特性,所选频率f=800 Hz,固定电压U1=3.5 Vrms不变,U2从1.2 Vrms到3.1 Vrms变化时,液晶透镜光学像差保持在0.07之内,光焦度P有相对较大的变化范围。图像对比度由评价光学系统参数的调制传递函数(Modulation transfer function, fMT)来定义。斜边区域fMT50(fMT50表示fMT值的一半)变化如图5所示。
图 4. 液晶透镜结构示意图
Fig. 4. Structure of liquid crystal lens
下载图片 查看所有图片
图 5. U2改变时fMT50变化
Fig. 5. fMT50 changing with U2
下载图片 查看所有图片
fMT50越大,图像对比度越高。电压U1=3.5 Vrms,U2=1.4 Vrms时,fMT50最大,图像对比度最高。此时认为U1=3.5 Vrms,U2=1.4 Vrms时为清晰对焦图If,U1=3.5 Vrms,U2=3.0 Vrms时为参考图Ir。实验装置如图1所示,将如图6(a)所示的12233标准板放置在距离液晶透镜视觉成像系统35 cm处,获取的图像分辨率为2400 pixel ×1800 pixel。
图 6. 获取的图像及PFI结果。 (a) 12233标准板;(b)斜边区域:Ir,If,I's(α=0.6);(c)楔形区域:Ir,If,I's(α=0.6)
Fig. 6. Captured images and illustration of PFI. (a) ISO12233 chart; (b) slanted bar images of Ir,If, I's(α=0.6); (c) wedge pattern images of Ir,If,I's(α=0.6)
下载图片 查看所有图片
4.2 实验结果分析
图6(b)和(c)为实验获得的Ir,If及针对边缘PFI后I's(α=0.6)的结果。通过计算如图6(b)所示区域的fMT50,测得α不同时对焦图像If及针对边缘PFI后图像I's的fMT50曲线,测量结果如图7所示。
从图7可知,对图像边缘做PFI得到I's后,测得I's的fMT50相比于对焦图像If及非对焦图像Ir有显著增加。当α=0.6时,I's的对比度相比于If由0.05提高到0.16。图8表示随着α改变,Ir、If、I's的噪声标准差及Is、I's去噪后噪声标准差曲线。噪声标准差测量依据参考文献[
25]和[26]。图8表明,I's的噪声标准差随着α的增大而增大。I's相比于Is噪声的标准差由3.93下降到2.05,图像噪声下降了约50%。PFI处理结果如图9所示。去噪后的I's相比去噪前的I's噪声标准差由2.05下降到0.36,图像噪声下降了约82%。
图 7. α不同时斜边区域Ir,If及I's的fMT50曲线
Fig. 7. fMT50 changing with different α for Ir,If,I's
下载图片 查看所有图片
图 8. 不同α时图像噪声标准差
Fig. 8. Standard deviation of image noise with different α
下载图片 查看所有图片
图 9. PFI结果。 (a) PFI优化前图像Is(α=0.6);(b) PFI优化后图像I's(α=0.6)
Fig. 9. Illustration of PFI. (a) Is(α=0.6) without PFI; (b) I's(α=0.6) with PFI
下载图片 查看所有图片
5 结论
提出一种优化的无偏振片成像算法。在图像边缘部分利用非对焦图像和对焦图像进行图像处理,去除由非调制的寻常光带来的低频图像分量。实验证明,图像对比度随着参数α的增大而提高。优化后获得的I's相比于优化前获得的Is,图像噪声下降了约50%。边缘对比度相比于对焦图像If大幅提高。因此,优化后的算法提高了图像对比度,同时成功地抑制了噪声。只对I's的边缘进行去噪处理后,噪声下降了约82%,提高了图像去噪效率。在静态场景下,一般选择α=0.6。如何在不同偏振态的运动场景下调节α,将进行进一步的研究。
参考文献
[1] Berge B, Peseux J. Variable focal lens controlled by an external voltage: an application of electrowetting[J]. The European Physical Journal E, 2000, 3(2): 159-163.
Berge B, Peseux J. Variable focal lens controlled by an external voltage: an application of electrowetting[J]. The European Physical Journal E, 2000, 3(2): 159-163.
[2] Hendriks B H W, Kuiper S, et al. . Variable liquid lenses for electronic products[J]. Proceedings of SPIE, 2006, 6034: 603402.
Hendriks B H W, Kuiper S, et al. . Variable liquid lenses for electronic products[J]. Proceedings of SPIE, 2006, 6034: 603402.
[3] 张鹰, 张新, 史广维. 液体透镜在变焦系统中的应用[J]. 中国光学, 2013, 6(1): 46-56.
张鹰, 张新, 史广维. 液体透镜在变焦系统中的应用[J]. 中国光学, 2013, 6(1): 46-56.
Zhang Y, Zhang X, Shi G W. Applications of liquid lenses in zoom systems[J]. Chinese Optics, 2013, 6(1): 46-56.
Zhang Y, Zhang X, Shi G W. Applications of liquid lenses in zoom systems[J]. Chinese Optics, 2013, 6(1): 46-56.
[4] Sato S. Liquid-crystal lens-cells with variable focal length[J]. Japanese Journal of Applied Physics, 1979, 18(9): 1679-1684.
Sato S. Liquid-crystal lens-cells with variable focal length[J]. Japanese Journal of Applied Physics, 1979, 18(9): 1679-1684.
[5] Ye M, Wang B, Sato S, et al. Liquid-crystal lens with a focal length that is variable in a wide range[J]. Applied Optics, 2004, 43(35): 6407-6412.
Ye M, Wang B, Sato S, et al. Liquid-crystal lens with a focal length that is variable in a wide range[J]. Applied Optics, 2004, 43(35): 6407-6412.
[6] Lin Y H, Ren H. Fan-Chiang K H, et al. Tunable-focus cylindrical liquid crystal lenses[J]. Japanese Journal of Applied Physics, 2005, 44(1A): 243-244.
Lin Y H, Ren H. Fan-Chiang K H, et al. Tunable-focus cylindrical liquid crystal lenses[J]. Japanese Journal of Applied Physics, 2005, 44(1A): 243-244.
[7] 杨兰, 王敏帅, 徐恭勤, 等. 低电压驱动液晶变焦透镜的设计与优化[J]. 光学学报, 2017, 37(9): 0922003.
杨兰, 王敏帅, 徐恭勤, 等. 低电压驱动液晶变焦透镜的设计与优化[J]. 光学学报, 2017, 37(9): 0922003.
Yang L, Wang M S, Xu G Q, et al. Design and optimization of low voltage driving variable focal length liquid crystal lens[J]. Acta Optica Sinica, 2017, 37(9): 0922003.
Yang L, Wang M S, Xu G Q, et al. Design and optimization of low voltage driving variable focal length liquid crystal lens[J]. Acta Optica Sinica, 2017, 37(9): 0922003.
[8] Ye M, Wang B, Uchida M, et al. Focus tuning by liquid crystal lens in imaging system[J]. Applied Optics, 2012, 51(31): 7630-7635.
Ye M, Wang B, Uchida M, et al. Focus tuning by liquid crystal lens in imaging system[J]. Applied Optics, 2012, 51(31): 7630-7635.
[9] Ye M, Wang B, Takahashi T, et al. Properties of variable-focus liquid crystal lens and its application in focusing system[J]. Optical Review, 2007, 14(4): 173-175.
Ye M, Wang B, Takahashi T, et al. Properties of variable-focus liquid crystal lens and its application in focusing system[J]. Optical Review, 2007, 14(4): 173-175.
[10] Ye M, Noguchi M, Wang B, et al. Zoom lens system without moving elements realised using liquid crystal lenses[J]. Electronics Letters, 2009, 45(12): 646-648.
Ye M, Noguchi M, Wang B, et al. Zoom lens system without moving elements realised using liquid crystal lenses[J]. Electronics Letters, 2009, 45(12): 646-648.
[11] Lin Y H, Chen M S, Lin H C. An electrically tunable optical zoom system using two composite liquid crystal lenses with a large zoom ratio[J]. Optics Express, 2011, 19(5): 14-21.
Lin Y H, Chen M S, Lin H C. An electrically tunable optical zoom system using two composite liquid crystal lenses with a large zoom ratio[J]. Optics Express, 2011, 19(5): 14-21.
[12] Li H, Pan F, Wu Y T, et al. Depth map sensor based on optical doped lens with multi-walled carbon nanotubes of liquid crystal[J]. Applied Optics, 2016, 55(1): 140-147.
Li H, Pan F, Wu Y T, et al. Depth map sensor based on optical doped lens with multi-walled carbon nanotubes of liquid crystal[J]. Applied Optics, 2016, 55(1): 140-147.
[13] Li QC,
Yu SD,
Chen XX,
et al. Depth measurement via DFD using liquid crystal lens imaging system[C]∥Proceedings of the 78th JSAP Autumn Meeting,
Fukuoka,
Japan,
2017:
7a-PA3-5.
Li QC,
Yu SD,
Chen XX,
et al. Depth measurement via DFD using liquid crystal lens imaging system[C]∥Proceedings of the 78th JSAP Autumn Meeting,
Fukuoka,
Japan,
2017:
7a-PA3-5.
[14] Lin Y H, Chen H S, Lin H C, et al. Polarizer-free and fast response microlens arrays using polymer-stabilized blue phase liquid crystals[J]. Applied Physics Letters, 2010, 96(11): 113505.
Lin Y H, Chen H S, Lin H C, et al. Polarizer-free and fast response microlens arrays using polymer-stabilized blue phase liquid crystals[J]. Applied Physics Letters, 2010, 96(11): 113505.
[15] Li Y, Wu S T. Polarization independent adaptive microlens with a blue-phase liquid crystal[J]. Optics Express, 2011, 19(9): 8045-8050.
Li Y, Wu S T. Polarization independent adaptive microlens with a blue-phase liquid crystal[J]. Optics Express, 2011, 19(9): 8045-8050.
[16] Lin C H, Wang Y Y, Hsieh C W. Polarization-independent and high-diffraction-efficiency Fresnel lenses based on blue phase liquid crystals[J]. Optics Letters, 2011, 36(4): 502-504.
Lin C H, Wang Y Y, Hsieh C W. Polarization-independent and high-diffraction-efficiency Fresnel lenses based on blue phase liquid crystals[J]. Optics Letters, 2011, 36(4): 502-504.
[17] Li G Q, Mathine D L, Valley P, et al. Switchable electro-optic diffractive lens with high efficiency for ophthalmic applications[J]. Proceedings of the National Academy of Sciences, 2006, 103(16): 6100-6104.
Li G Q, Mathine D L, Valley P, et al. Switchable electro-optic diffractive lens with high efficiency for ophthalmic applications[J]. Proceedings of the National Academy of Sciences, 2006, 103(16): 6100-6104.
[18] Ye M, Sato S. Liquid crystal lens with insulator layers for focusing light waves of arbitrary polarizations[J]. Japanese Journal of Applied Physics, 2003, 42(10): 6439-6440.
Ye M, Sato S. Liquid crystal lens with insulator layers for focusing light waves of arbitrary polarizations[J]. Japanese Journal of Applied Physics, 2003, 42(10): 6439-6440.
[19] Ren H W, Lin Y H, Wu S T. Polarization-independent and fast-response phase modulators using double-layered liquid crystal gels[J]. Applied Physics Letters, 2006, 88(6): 061123.
Ren H W, Lin Y H, Wu S T. Polarization-independent and fast-response phase modulators using double-layered liquid crystal gels[J]. Applied Physics Letters, 2006, 88(6): 061123.
[20] Bao R, Cui C H, Yu S D, et al. Polarizer-free imaging of liquid crystal lens[J]. Optics Express, 2014, 22(16): 19824-19830.
Bao R, Cui C H, Yu S D, et al. Polarizer-free imaging of liquid crystal lens[J]. Optics Express, 2014, 22(16): 19824-19830.
[21] Cui C H, Bao R, Yu S D, et al. Polarizer-free imaging using reference image for liquid crystal lens[J]. Optics Communications, 2015, 342: 214-217.
Cui C H, Bao R, Yu S D, et al. Polarizer-free imaging using reference image for liquid crystal lens[J]. Optics Communications, 2015, 342: 214-217.
[22] Cui C H, Bao R, Yu S D, et al. Denoising for polarizer-free imaging of liquid crystal lens[J]. Society for Information Display Symposium Digest of Technical Papers, 2015, 46(1): 262-265.
Cui C H, Bao R, Yu S D, et al. Denoising for polarizer-free imaging of liquid crystal lens[J]. Society for Information Display Symposium Digest of Technical Papers, 2015, 46(1): 262-265.
[23] 宋睿, 张合新, 吴玉彬, 等. 激光主动成像图像边缘检测算法研究[J]. 激光与光电子学进展, 2017, 54(8): 081007.
宋睿, 张合新, 吴玉彬, 等. 激光主动成像图像边缘检测算法研究[J]. 激光与光电子学进展, 2017, 54(8): 081007.
Song R, Zhang H X, Wu Y B, et al. Image edge detection algorithm for laser active imaging[J]. Laser & Optoelectronics Progress, 2017, 54(8): 081007.
Song R, Zhang H X, Wu Y B, et al. Image edge detection algorithm for laser active imaging[J]. Laser & Optoelectronics Progress, 2017, 54(8): 081007.
[24] Ye M, Wang B, Uchida M, et al. Low-voltage-driving liquid crystal lens[J]. Japanese Journal of Applied Physics, 2010, 49(10): 100204.
Ye M, Wang B, Uchida M, et al. Low-voltage-driving liquid crystal lens[J]. Japanese Journal of Applied Physics, 2010, 49(10): 100204.
[25] Liu XH,
TanakaM,
OkutomiM.
Noise level estimation using weak textured patches of a single noisy image[C]∥Proceedings of IEEE International Conference on Image Processing, Orlando, FL, USA. New York: IEEE,
2013,
8556:
665-
668.
Liu XH,
TanakaM,
OkutomiM.
Noise level estimation using weak textured patches of a single noisy image[C]∥Proceedings of IEEE International Conference on Image Processing, Orlando, FL, USA. New York: IEEE,
2013,
8556:
665-
668.
[26] RankK,
LendlM,
UnbehauenR.
Estimation of image noise variance[C]∥Proceedings of IEE Conference on Vision, Image and Signal Processing, London: IET,
2002,
146(
2):
80-
84.
RankK,
LendlM,
UnbehauenR.
Estimation of image noise variance[C]∥Proceedings of IEE Conference on Vision, Image and Signal Processing, London: IET,
2002,
146(
2):
80-
84.
白一晨, 陈晓西, 曾俊, 叶茂. 液晶透镜无偏振片成像的优化算法[J]. 光学学报, 2018, 38(8): 0815015. Yichen Bai, Xiaoxi Chen, Jun Zeng, Mao Ye. An Optimization Algorithm for Polarizer-Free Imaging of Liquid Crystal Lens[J]. Acta Optica Sinica, 2018, 38(8): 0815015.