激光与光电子学进展, 2020, 57 (10): 101105, 网络出版: 2020-05-08   

基于区域分割的压缩计算鬼成像方法 下载: 999次

Compressive Computational Ghost Imaging Method Based on Region Segmentation
作者单位
1 湖北工业大学机械工程学院, 湖北 武汉 430068
2 现代制造质量工程湖北省重点实验室, 湖北 武汉 430068
摘要
为了解决重构图像中局部微小区域的成像质量问题,提出一种基于区域分割的压缩计算鬼成像方法。先获取复杂物体表面粗略轮廓的感兴趣区域(ROI),同时运用阈值分割方法进行边缘检测以提取图像中不感兴趣区域(N-ROI),并根据识别区域生成相应大小的随机散斑图;再结合压缩感知技术和二阶计算关联算法分别恢复分割的子图像,最后通过图像拼接技术对图像进行复原。实验结果表明,当采样3000次时,所提方法的峰值信噪比较传统计算鬼成像方法有超过9 dB的提升,且比采样500次时增加了约49.57%。该方法可解决其他传统方法中图像局部微小区域成像质量较差的问题,不仅能够大大减少采样数和目标区域空间强度运算量,同时显著提高了图像微小局部区域的成像质量,为关联成像方式提供了一种新的方案。
Abstract
In this study, we propose a compressive computational ghost imaging method based on region segmentation to solve imaging quality problems in local micro-regions of reconstructed images. First, a rough-contour region of interest (ROI) on the surface of a complex object is obtained and a threshold segmentation method is used to perform an edge detection to extract the no-region of interest (N-ROI) in an image and generate random speckle patterns of the corresponding size based on the recognition area. Then, compressed subimages are restored by combining a compressed sensing technology and the second-order computational ghost imaging algorithm. Finally, an image stitching technique is adopted to restore the image. Experimental results show that when the number of samples is 3000, the peak signal-to-noise ratio of the proposed method is improved by more than 9 dB compared with that by traditional computational ghost imaging methods, and it is increased by approximately 49.57% compared with that when the number of samples is 500. The proposed method can solve local micro-region imaging quality problems in reconstructed images, which can not only greatly reduce the number of samples and the spatial intensity calculation of the target region but can also significantly improve the imaging quality of the local micro-region of an image, providing a new solution for correlation imaging.

1 引言

鬼成像(GI)又称关联成像,是近几年来被广泛研究的一种成像技术。传统光学成像是基于光的分布测量,鬼成像则是基于光波能量的关联测量。2008年,Shapiro[1]在理论上提出了计算鬼成像(CGI),取代了分束器分出的参考光路,根据空间光调制器(SLM)特性,将其应用到关联成像中,从而可计算参考光路所需要的信息。次年,Bromberg等[2]搭建了实验平台,完成了单路CGI实验,重建物体清晰的像。计算式关联成像主要使用SLM、数字投影仪(DLP)或数字微镜器件(DMD)对光源进行调制,投射不同的随机散斑图到被测物体表面,利用桶探测器记录相应的光场信息,通过关联计算能够恢复待测物体表面的空间信息。2009年,Katz等[3]首次将压缩感知技术应用到关联成像中。相比传统鬼成像而言,单臂式CGI为关联成像平台的搭建带来了便捷,推动了实际研究应用,具有更高的实用价值。

提高关联成像质量的方法有:1) Ferri等[4]改进了关联成像的计算处理方式,提出了差分关联成像,即利用物体的差分信息,通过使用差分值代替原始探测器值,以此提高图像信噪比;2) Sun等[5]将测量得到的参考光路的总光强信息对信号光路的桶探测值进行归一化处理,提出了归一化关联成像,有效地抑制了系统噪声,信噪比的提升程度与差分关联成像相当;3) Wang等[6]使用迭代计算高阶误差项的方法,提出了迭代关联成像,显著提高了成像质量,但图像分辨率一旦增加,成像时间成指数增长;4) Zhang等[7]计算随机散斑场伪逆公式,提出了伪逆关联成像,获得了高于传统和差分关联成像质量的重构图像;5) Cao等[8]根据热光场高阶关联的性质,随关联阶数的增加,得到可见度与分辨率均提高的双缝干涉图样;6) 周成等[9]提出了一种基于混合散斑图的压缩CGI方法,显著提高了恢复图像的信噪比和可见度,有效地降低了均方误差,但对图像局部微小信息的成像仍有较大影响;7) Chan等[10]在理论上解释了随机散斑与成像质量的关系,并提出了提高成像质量的方法;8) 赵明等[11]提出了应用于水下成像的推扫式CGI,能够有效地降低后向散射的影响。综上所述,目前计算关联成像方法主要是提升整幅图像的信噪比,但在较少采样量的条件下,对于局部微小细节的成像效果仍不理想。

鉴于此,本文提出一种基于区域分割的压缩CGI(RSCCGI)方法。先获取复杂物体表面粗略轮廓的感兴趣区域(ROI),同时运用阈值分割方法进行边缘检测提取图像中不感兴趣区域(N-ROI),从而将原图分割为ROI和N-ROI的两幅子图像。分别根据ROI与N-ROI生成对应大小的散斑图,并结合压缩感知技术和二阶计算关联算法分别对子图像进行恢复,基于图像位置信息的拼接方法,重现高分辨率的图像细节信息。最后理论分析和仿真验证了所提方法的可行性,通过分离ROI的光场信息,使N-ROI的总光强值波动较小,从而提高了微小局部细节的成像质量。

2 基本原理

2.1 传统方法简介

传统计算鬼成像(TCGI)即经典二阶关联算法[12]。DMD的每个微镜片有“打开”和“关闭”两种状态,微镜片处于“打开”状态时,会将光反射到目标光路中。由MATLAB中randn函数预先生成N个服从正态分布的随机二值矩阵,并将其转化为N帧二值随机散斑图,将N帧二值随机散斑图按照设定周期顺序加载到DMD上。当二值随机散斑图的某点取值为1时,对应的微镜片处于“打开”状态;当二值随机散斑图的某点取值为0时,对应的微镜片处于“关闭”状态,这相当于对光源进行了N次空间强度分布调制,每次调制后的光强分布可由对应的二值随机矩阵I(x,y)表示。所求目标的像GTCGI(x,y)为

GTCGI(x,y)=1Ni=1N(Si-<Si>)Ii(x,y)=<SiIi(x,y)>-<Si><Ii(x,y)>,(1)Si=Ii(x,y)T(x,y)dxdy,(2)

式中:<·>为对N次测量结果的系综平均;Ii(x,y)(1≤iN)为第i次DMD投影的随机二值散斑图的光场分布;T(x,y)为物体的透射率函数;Si为第i次桶探测器测量单个随机二值散斑图照射物体后的总强度值,即桶探测值;N为采样次数。经N次采样后,理想情况下可由(1)式和(2)式的TCGI算法重建物体图像。不同散斑颗粒尺寸的随机散斑图影响图像质量,若想获得更高的分辨率,可把随机散斑颗粒尺寸变小(如1 pixel×1 pixel),小于图像细节,使用分辨率高的投影仪,图像恢复效果越高。

在混合散斑图的压缩计算关联成像(HSCCGI)[9]中,由K个不同区域构成复杂物体,利用K个尺寸的散斑按照一定比例经N次采样后,组合成新的混合散斑图,得到HSCCGI方法的二阶关联函数为

GHSCCGI(x,y)=1Ni=1Nk=1KIki(x,y)Ski-1N2i=1Nk=1KIki(x,y)i=1Nk=1KSki=1Ni=1NI'ik ·(x,y)S'ik -1N2i=1NI'ik (x,y)i=1NS'ik ,(3)

式中:GHSCCGI(x,y)为采用HSCCGI算法恢复的图像; Iki(x,y)为第i次测量时k个不同区域散斑图的空间强度分布值; Ski为第i次测量时k个不同区域散斑图照射物体后的总强度值;I'(i)k (x,y)为第i次测量时ROI混合散斑图的空间强度分布值;S'(i)k 为第i次测量时ROI混合散斑图照射物体后的总强度值。

在压缩感知鬼成像[3,13]方法中,将像素数为m×n的二值随机散斑图组合为一个1×(m×n)的行向量,经N次照射得到N个行向量,排列成N×(m×n)的矩阵称为探测矩阵Φ。将N次测量的桶探测值的区域总光强的探测结果组合为一个测量向量y=[S1S2S3SN]T,当Φ满足一定约束时,计算鬼成像公式可转化为求解最小L1范数下的最优化问题,即

g~=argmingL1,s.t.Φg=y,(4)

式中: g~为图像g的近似解。设g的离散余弦(DCT)[14-15]稀疏变换矩阵为Ψ,稀疏系数α=Ψg,则鬼成像计算公式转换为

α~=argminαL1,s.t.(ΦψT)α-y2<ε,(5)GCS=ψTα~,(6)

式中:ΨT为稀疏变换矩阵Ψ的转置矩阵;GCS为压缩感知(CS)恢复的图像;ε为重构误差,可求得α的近似解 α~[1617]。通过(6)式进行逆变换,则可得到目标的近似重构图像GCS

2.2 算法设计及理论分析

由于微小区域总光强值的波动情况影响待测物体表面的局部细节成像质量,提出的RSCCGI方法先将大目标区域与微小区域进行区域分割,使微小区域的总光强值波动较小,这在相同采样次数下的微小区域将获得较好的成像质量。基于RSCCGI的原理如图1所示。

图 1. RSCCGI的原理图

Fig. 1. Schematic of RSCCGI

下载图片 查看所有图片

在RSCCGI方法中,利用DLP调制光场[17],将连续多幅服从正态分布的随机二值散斑图作用到被测物体表面,其光强分布为I(x,y),总光强为Ri,此时反射或投射光信号通过桶探测器采集总光强的值为Si,此处可用CMOS相机代替桶探测器收集投射物体光强,其单幅图像的光场强度进行面积分,所得结果作为单像素桶探测器的总光强响应值[18]

基于RSCCGI的流程如图2所示。假设物体由K个不同区域构成复杂表面,利用m×m尺寸的散斑对整个采集区域进行N次CCGI方法计算,可初步定位大尺寸M个区域轮廓图像,求得该轮廓的最小外接矩形,并根据该矩形的四个顶点坐标生成相应大小的散斑;再通过区域分割算法获取合适N-ROI目标区域范围,即运用对比度增强和阈值分割算法进行边缘检测。区域分割算法可将原图像信息分为两部分,一部分只包含轮廓边界ROI;另一部分轮廓ROI全部置零,理论应剩余K-M个区域,即图像为N-ROI,并利用RSCCGI方法对分割子图像分别进行二阶关联计算。

图 2. 所提算法流程图

Fig. 2. Flow chart of proposed method

下载图片 查看所有图片

根据HSCCGI方法可进一步将所提算法的关联函数推导为

GROI(x,y)=1Ni=1Nk=1MI'ik (x,y)S'ik -1N2i=1Nk=1MI'ik (x,y)i=1Nk=1MS'ik ,(7)GNROI(x,y)=1Ni=1Nk=1K-MIik (x,y)Sik -1N2i=1Nk=1K-MIik (x,y)i=1Nk=1K-MSik ,(8)Sik =Ski-S'ik ,(9)Ski=Iki(x,y)T(x,y)dxdy,(10)

式中:GROI(x,y)为ROI重构图像;GN-ROI(x,y)为N-ROI重构图像;I″(i)k (x,y)为N-ROI混合散斑图的空间强度分布值;S″(i)k 为第i次测量时N-ROI混合散斑图照射物体后的总强度值,可通过更换透镜来用桶探测器探测 SkiS'(i)k

最后将分割后的子图像灰度值均调整到0~255范围后,基于ROI与N-ROI的位置信息将图像拼接为一幅完整图像。

3 数值仿真结果分析

仿真模拟中,待测对象是由“湖北工业大学校徽”和小尺寸数字“1952”两个(K=2)不同区域共同组成的多分辨率二值型物体,预置在DMD中的二值随机散斑图由MATLAB软件仿真生成,分辨率为100 pixel×100 pixel(m=100),结果如图3所示。全采样率

图 3. 仿真模拟结果。(a)被测对象;(b) DMD中预置的二值随机散斑图

Fig. 3. Simulation results. (a) Measured object; (b) binary random speckle pattern preset in DMD

下载图片 查看所有图片

定义为10000(100×100)次检测,通常采样率β=0.05代表500次检测。识别过程:先投影最小分辨率为4 pixel×4 pixel的散斑进行关联计算,运用CCGI算法对整个采集区域进行N=500,1000次关联计算,运用阈值分割算法对重构图像进行边缘检测,初步定位大尺寸区域ROI最外轮廓图像,并求取该轮廓的最小外接矩形,仿真结果如图4所示。

图 4. 不同采样率的ROI识别结果。(a) β=0.05;(b) β=0.10

Fig. 4. ROI recognition results with different sampling rates. (a) β=0.05; (b) β=0.10

下载图片 查看所有图片

运用区域分割方法的分割结果如图5所示,对检测到的ROI和N-ROI分别采用颗粒尺寸为2 pixel×2 pixel的散斑进行关联计算,若ROI满足图像评价,便只需对N-ROI进行重构,此时只需用桶探测器探测整幅图像的光强值 Ski减去每次探测ROI的光强值S'(i)k 得到N-ROI的光强值S″(i)k ,通过计算关联成像便可重建N-ROI;若进一步提高N-ROI图像的质量,采用颗粒尺寸为1 pixel×1 pixel的散斑,同理适用于ROI。该方法能够使得非轮廓微小区域的总光强值更为准确,波动较小,受ROI影响较小,从而能够使N-ROI图像质量更好。最终基于ROI与N-ROI的位置信息拼接图像[19],得到一幅质量较高的局部微小区域图像。

为了验证基于RSCCGI的方法,设计仿真模拟,并将其与TCGI[12]、压缩感知差分鬼成像(CSDGI)[20]和基于(HSCCGI)[9]进行对比,仿真结果如图6所示。

图 5. 图像分割结果

Fig. 5. Results of image segmentation

下载图片 查看所有图片

图 6. 不同方法在不同采样率下的数值仿真结果对比。(a) β=0.05;(b) β=0.10;(c) β=0.20;(d) β=0.30

Fig. 6. Comparison chart of numerical simulation results of different methods at different sampling rates. (a) β=0.05; (b) β=0.10; (c) β=0.20; (d) β=0.30

下载图片 查看所有图片

图6可以看到,在相同采样次数的情况下,所提方法对图像细节部分清晰可见,图像质量明显高于TCGI,CSDGI和HSCCGI方法。当采样大于2000次(β>0.20)时,即可获得优于TCGI,CSDGI和HSCCGI方法采样3000次(β=0.30)的成像质量。

为了进一步客观评价所提方法的优越性,利用峰值信噪比[21](PSNR)和结构相似性[22](SSIM)来衡量对比TCGI、CSDGI、HSCCGI和RSCCGI四种成像方法的图像质量,对比结果如图6所示。通常,PSNR和SSIM值越大,图像重构效果越好。同时绘制了随着采样次数变化,四种方法的PSNR和SSIM关系曲线,如图7所示。

图 7. 不同指标与采样数的关系曲线。(a) PSNR;(b) SSIM

Fig. 7. Curves of different indicators and sampling times. (a) PSNR; (b) SSIM

下载图片 查看所有图片

图7可以看到,与TCGI、CSDGI和HSCCGI方法相比,RSCCGI方法的PSNR曲线明显上升。在采样3000次(β=0.30)时,RSCCGI方法的PSNR值上升到12.3275 dB,与采样500次(β=0.05)相比增加了约49.57%;与TCGI方法相比,RSCCGI方法的PSNR值有超过9 dB的提升。随着采样数的增加,图像SSIM曲线逐渐上升,CSDGI和HSCCGI方法的曲线较为平坦,RSCCGI方法在采样次数低于1000(β<0.10)时的成像效果略差,但当采样数高于1000(β>0.10)时,图像质量明显优于其他算法。

数值仿真结果表明,提出的RSCCGI方法解决了其他方法中图像局部微小区域的成像质量差的问题,在减少采样次数和空间强度运算量的同时,显著提高了整幅图像局部微小区域的成像质量。

4 结论

提出一种基于RSCCGI方法,即利用阈值分割算法进行边缘检测,根据识别区域定位被测物体的粗略轮廓图像,生成相同大小的散斑图;再针对具体轮廓图像采用不同采样数和不同分辨率散斑进行照射,从而减少采样时间和提高较低采样率条件下的成像质量;最后通过仿真结果验证了所提方法的有效性。与TCGI、CSDGI和HSCCGI方法相比,所提方法能够使得非轮廓微小区域的总光强值更为准确,波动较小,受ROI影响较小,从而显著提高物体细节的成像质量。更重要的是,所提方法能够在低采样率的情况下,只针对图像N-ROI选取不同散斑颗粒尺寸进行关联计算,有效地解决了其他成像方案实验装置复杂、效果较差的问题。

参考文献

[1] Shapiro J H. Computational ghost imaging[J]. Physical Review A, 2008, 78(6): 061802.

[2] Bromberg Y, Katz O, Silberberg Y. Ghost imaging with a single detector[J]. Physical Review A, 2009, 79(5): 053840.

[3] Katz O, Bromberg Y, Silberberg Y. Compressive ghost imaging[J]. Applied Physics Letters, 2009, 95(13): 131110.

[4] Ferri F, Magatti D, Lugiato L A, et al. Differential ghost imaging[J]. Physical Review Letters, 2010, 104(25): 253603.

[5] Sun B Q, Welsh S S, Edgar M P, et al. Normalized ghost imaging[J]. Optics Express, 2012, 20(15): 16892-16901.

[6] Wang W, Wang Y P, Li J H, et al. Iterative ghost imaging[J]. Optics Letters, 2014, 39(17): 5150-5153.

[7] Zhang C, Guo S X, Cao J S, et al. Object reconstitution using pseudo-inverse for ghost imaging[J]. Optics Express, 2014, 22(24): 30063-30073.

[8] Cao D Z, Xiong J, Zhang S H, et al. Enhancing visibility and resolution in Nth-order intensity correlation of thermal light[J]. Applied Physics Letters, 2008, 92(20): 201102.

[9] 周成, 黄贺艳, 刘兵, 等. 基于混合散斑图的压缩计算鬼成像方法研究[J]. 光学学报, 2016, 36(9): 0911001.

    Zhou C, Huang H Y, Liu B, et al. Hybrid speckle-pattern compressive computational ghost imaging[J]. Acta Optica Sinica, 2016, 36(9): 0911001.

[10] Chan K W C, O'Sullivan M N, Boyd R W. High-order thermal ghost imaging[J]. Optics Letters, 2009, 34(21): 3343-3345.

[11] 赵明, 王钰, 田芷铭, 等. 水下推扫式计算鬼成像的方法[J]. 激光与光电子学进展, 2019, 56(16): 161101.

    Zhao M, Wang Y, Tian Z M, et al. Method of push-broom underwater ghost imaging computation[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161101.

[12] Gatti A, Brambilla E, Bache M, et al. Ghost imaging with thermal light: comparing entanglement and classical correlation[J]. Physical Review Letters, 2004, 93(9): 093602.

[13] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory, 2007, 53(12): 4655-4666.

[14] Ahmed N, Natarajan T. C-[J]. Rao K R. Discrete cosine transform. IEEE Transactions on Computers, 1974, 23(1): 90-93.

[15] Aβmann M, Bayer M. Compressive adaptive computational ghost imaging[J]. Scientific Reports, 2013, 3: 1545.

[16] Katkovnik V, Astola J. Compressive sensing computational ghost imaging[J]. Journal of the Optical Society of America A, 2012, 29(8): 1556-1567.

[17] 陆明海, 沈夏, 韩申生. 基于数字微镜器件的压缩感知关联成像研究[J]. 光学学报, 2011, 31(7): 0711002.

    Lu M H, Shen X, Han S S. Ghost imaging via compressive sampling based on digital micromirror device[J]. Acta Optica Sinica, 2011, 31(7): 0711002.

[18] 刘保磊, 杨照华, 曲少凡, 等. 不同路径下散射介质对计算关联成像的影响[J]. 光学学报, 2016, 36(10): 1026017.

    Liu B L, Yang Z H, Qu S F, et al. Influence of turbid media at different locations in computational ghost imaging[J]. Acta Optica Sinica, 2016, 36(10): 1026017.

[19] Zhang Y, Lai Y K, Zhang F L. Stereoscopic image stitching with rectangular boundaries[J]. The Visual Computer, 2019, 35(6/7/8): 823-835.

[20] 仲亚军, 刘娇, 梁文强, 等. 针对多散斑图的差分压缩鬼成像方案研究[J]. 物理学报, 2015, 64(1): 014202.

    Zhong Y J, Liu J, Liang W Q, et al. Multiple speckle patterns differential compressive ghost imaging[J]. Acta Physica Sinica, 2015, 64(1): 014202.

[21] 郭树旭, 张驰, 曹军胜, 等. 基于压缩感知归一化关联成像实现目标重构[J]. 光学精密工程, 2015, 23(1): 288-294.

    Guo S X, Zhang C, Cao J S, et al. Object reconstruction by compressive sensing based normalized ghost imaging[J]. Optics and Precision Engineering, 2015, 23(1): 288-294.

[22] 刘军, 邵振峰. 基于特征结构相似度的遥感影像融合质量评价指标[J]. 光子学报, 2011, 40(1): 126-131.

    Liu J, Shao Z F. Feature-based remote sensing image fusion quality metrics using structure similarity[J]. Acta Photonica Sinica, 2011, 40(1): 126-131.

冯维, 赵晓冬, 汤少靖, 赵大兴. 基于区域分割的压缩计算鬼成像方法[J]. 激光与光电子学进展, 2020, 57(10): 101105. Wei Feng, Xiaodong Zhao, Shaojing Tang, Daxing Zhao. Compressive Computational Ghost Imaging Method Based on Region Segmentation[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101105.

本文已被 5 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!