0 引　言

单像素成像（SPI）是一种新兴的成像技术^[1]，具有成本低、抗干扰性强、成像光谱宽、对弱光信号敏感等优点。单像素成像技术经过近十几年的快速发展，目前已经实现了太赫兹波段^[2]、红外波段^[3]、X射线波段^[4]成像，还可以用原子^[5]、中子^[6]、电子^[7]进行成像。单像素成像技术不仅可以二维成像还可以对物体进行三维重建^[8]。基于上述的突出优点，单像素成像技术在很多方面都具有巨大的应用潜力，如工业高温物体成像^[9]、光学加密^[10]、浑水成像^[11]、超快成像^[12]、复振幅成像^[13]、显微成像^[14]等。单像素成像技术作为最新的探测技术之一，在整个电磁光谱波长上都可以开发出高性价比的成像系统。单像素成像技术有两种成像方式：一种是结构化照明，将调制好的结构光投射到目标场景，测量反射的光强信息。根据单像素探测器记录的光强信息和调制的照明图案，可以重建出目标场景的图像；另一种是结构化检测，也叫单像素相机，这种成像方式是把目标场景共轭成像到空间光调制器的表面，使用空间光调制器加载不同掩膜对图像进行强度调制，最后使用单像素探测器探测调制后的光强，通过单像素探测器记录的光强信息和调制掩膜图案，重建目标场景的图像。

近年来，全彩单像素成像方法的研究工作相继被报道。目前全彩单像素成像的技术路线大致分为两种方向：一种是使用RGB三色光源进行时序照明，通过单个探测器分时采集不同色光经过调制后的光强，最后通过RGB三色图像重建融合形成全彩图像^[15-17]；另一种是使用白光光源进行照明，通过分光棱镜和3个单像素探测器同时采集目标场景的颜色和空间信息，通过色彩融合重建出全彩图像^[18]。

内窥成像在工业和医学领域均具有广泛的应用前景，将单像素成像技术应用于生物医学成像方面直到近几年才受到研究人员关注，而与医用内窥成像相结合，通过设计单像素相机，可以弥补宽场CMOS相机在弱光探测和宽光谱响应方面的缺陷，这在国内尚没有相关报道。

文中将全彩单像素成像技术与内镜成像技术相结合，以自研四波段光源箱作为照明光源，采用Hadamard掩膜作为数字微镜器件（DMD）的调制图案，设计了两种腹腔镜全彩单像素内窥成像系统。从峰值信噪比、结构相似度和成像速度等方面，量化比较了两种腹腔镜全彩单像素内窥成像系统，系统分析了两种成像方案之间的差异和优缺点，根据所提出的方案设计搭建了模块化全彩单像素相机，可以搭配各种腹腔镜进行内窥成像。

1 成像原理及系统设计

1.1 单像素成像原理

单像素成像技术采用单像素探测器作为光探测元件，由于单像素探测器并没有空间分辨能力，因此单像素成像技术需要借助于空间光调制器来调制目标对象的空间信息，通过空间光调制器加载一系列掩膜图案对目标场景的像进行调制，使用单像素探测器测得调制后的光强，利用目标场景和调制图案之间的相关强度来重建目标图像。

文中采用Hadamard单像素成像技术（HSI）进行腹腔镜全彩单像素内窥成像系统研究。HSI技术是基扫描单像素成像技术的代表之一，使用Hadamard矩阵作为调制掩膜图案。Hadamard矩阵是由+1和−1两种元素构成的完备正交矩阵，非常适合DMD这种只能0和1调制的空间光调制器。Hadamard矩阵可以由低阶Hadamard矩阵生成，表示为：

$ {H_{{2^m}}} = {H_{{2^{m - 1}}}}\left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&{ - 1} \end{array}} \right] $ (1)

HSI基于Hadamard变换，通过获得目标图像的Hadamard频谱并对其进行逆Hadamard变换重建目标图像。过程可以用公式表示为：

$ \hat I = HIH $ (2)

$ I = \frac{1}{{{M^2}}}H\hat IH $ (3)

式中：I为行列数都是M的目标图像矩阵； $\hat I$为行列数都是M的目标图像频谱矩阵；H为M阶的Hadamard矩阵。进一步展开公式(2)得到：

$ \hat I(u,v) = \sum\limits_{x = 0}^{M - 1} {\sum\limits_{y = 0}^{M - 1} {H(u,x)I(u,v)H(y,v)} } $ (4)

式中：u, v =0, 1 $, \cdots $, M−1，I(u, v)为目标图像矩阵元； $\hat I(u,v)$为目标图像频谱矩阵元；H(u, x)和H(y, v)都是Hadamard矩阵的矩阵元。为简化公式，引入Hadamard基底矩阵的矩阵元：

$ {Y_{uv}} = H(u,x)H(y,v) $ (5)

同时，由于Hadamard矩阵的完备正交性，公式(4)可以转化成：

$ \hat I(u,v) = \sum\limits_{x = 0}^{M - 1} {\sum\limits_{y = 0}^{M - 1} {I(x,y){Y_{uv}}(x,y) = {{\left\langle {I,{Y_{uv}}} \right\rangle }_F}} } $ (6)

式中： $ {\left\langle { \cdot , \cdot } \right\rangle _F} $表示Frobenius内积。因此只需要计算目标物体矩阵的矩阵元和Hadamard基底矩阵的矩阵元的内积，就能得到目标图像的Hadamard频谱，最后只需要对得到的频谱矩阵进行逆变换就可以重建出目标图像。

HSI成像流程图如图1所示。首先把生成好的Hadamard矩阵掩膜预加载到DMD板载内存里，设置DMD参数并控制DMD和单像素探测器同步，利用N个Hadamard矩阵掩膜和探测到对应的N个光强数值进行计算，重建出目标场景图像。

图 1. Hadamard单像素成像流程图

Fig. 1. Flow chart of Hadamard single-pixel imaging

下载图片 查看所有图片

1.2 图像评价指标

文中使用峰值信噪比（PSNR）和结构相似度（SSIM）作为评价图像重建质量的指标。峰值信噪比的定义为：

$ \text{PSNR}=10{\mathrm{lg}} \left( \frac{{({2}^{n}-1)}^{2}}{MS E} \right)\text{} $ (7)

式中：n为图像灰度级；MSE表示两幅图像之间的均方误差，公式表达为：

$ MS E = \frac{1}{{lw}}\sum\limits_{i = 1}^l {\sum\limits_{j = 1}^w {{{\left[ {{S_1}(i,j) - {S_2}(i,j)} \right]}^2}} } $ (8)

式中：l和w表示输入图像S₁和S₂的长度和宽度。

结构相似度^[19]的定义为：

$ {\text{SSIM }} (p,q) =\frac{{(2{\mu _p}{\mu _q} + {c_1})(2{\sigma _{pq}} + {c_2})}}{{(\mu _p^2 + \mu _q^2 + {c_1})(\sigma _p^2 + \sigma _q^2 + {c_2})}} $ (9)

式中：μ_p和μ_q、σ_p²和σ_q²、σ_pq分别表示输入图像p和q的均值、方差和协方差；c₁和c₂是用来维持稳定的常数。

1.3 全彩单像素内窥成像系统设计

采用RGB三色光源方案（SPI-RGB）的腹腔镜全彩单像素内窥成像系统，使用RGB三波段LED依次照明，将图像的RGB颜色信息分配给照明端，并利用DMD调制图像空间信息。图2（a）给出了该方案腹腔镜全彩单像素内窥成像系统原理图，该方案成像系统包含自研LED光源箱、腹腔镜、单像素相机、计算机和目标物体。自研LED光源箱可以可控发射蓝光、绿光、红光、白光4个波段的光，其归一化光谱图如图3（b）所示。利用光纤将红绿蓝三种不同波段的光耦合到腹腔镜（Omec, 690-331030H）照明端，对目标物体进行均匀光照射。目标物体经过内窥镜和中继光学系统成像到DMD中心微镜区域。DMD系统包含一个0.95 in （1 in=2.54 cm）DLP芯片（Texas Instruments, DLP9500），芯片由1 920×1080个微镜组成，微镜对角线尺寸为10.8 μm，微镜旋转倾斜角为±12°，DMD工作波段为400~700 nm，二进制图像的最大帧速率为23148 Hz，需要注意的是必须通过预加载调制图案到板载内存里才能达到DMD最大调制速率。实验过程中，选择DMD中心1 024×1 024微镜区域用于显示Hadamard掩膜。在数据采集方面，使用一个单像素探测器（Thorlabs, PDA100A2）来测量光强信息，数据采集卡（坤驰，QT1140VG-2CH）对单像素探测器的模拟信号进行采集，并将其转换为数字信号。由计算机接收数字信号，获得目标物体RGB三通道图像，最终利用目标物体RGB图像重建融合形成物体全彩图像。为了实现系统模块化设计，将DMD芯片、光学系统、探测器进行了模块化设计，整体尺寸约为：210 mm×130 mm×100 mm，通过F卡口采用尼康定焦镜头（AF-S 50 mm f/1.4 G）作为聚焦透镜，图2（b）为模块化的单像素相机，可以适配各种腹腔镜。

图 2. (a) RGB三色光源方案的腹腔镜全彩单像素内窥成像系统示意图；(b) 虚线框中模块化单像素相机示意图

Fig. 2. (a) Schematic diagram of the laparoscopic full-color single-pixel endoscopic imaging system with RGB trichromatic light source scheme; (b) Schematic diagram of the modularized single-pixel camera in dashed box

下载图片 查看所有图片

图 3. 紧凑型4波段LED光源。(a) 4波段LED阵列模块；(b) LED光源箱的归一化4波段光谱图

Fig. 3. Compact 4-wavelength LEDs light source. (a) The 4-wavelength LEDs array module; (b) Normalized 4-wavelength spectrum of the LED light box

下载图片 查看所有图片

自研的紧凑式多波段LED光源如图3（a）所示，4个不同波长的垂直结构LED芯片（中心波长：470、520、630 nm及高显白光）封装在散热铜基板上，每个芯片的上表面是阴极，并用金线连接到电源的阴极，芯片的背面是阳极封装在铜基板上。每个芯片的尺寸是1 mm×1 mm，每个LED芯片都有自己独立的电源驱动，4个波长可以独立单波段输出或可控多波段复合光输出。从不同芯片发出的光通过光学耦合系统耦合进1 m长的光纤内，通过光纤将光能量耦合进入腹腔镜中，从而实现腹腔镜下的光激发。

白光光源方案（SPI-W）实现腹腔镜全彩单像素内窥成像与RGB三色光源方案不同之处在于，目标图像的颜色信息和空间信息全都由单像素检测端采集。如图4（a）所示，在单像素成像系统检测端增加1个三色分光棱镜（X-cube），分光棱镜各个面的透过率光谱如图5所示，将白光分成RGB三束光，并使用3个单像素探测器（Thorlabs, PDA100A2）分别对RGB三色光光强进行同时检测，通过单像素探测器测得的RGB三色光强和对应的掩膜图像重建出目标图像RGB三通道的图像，利用目标物体RGB三通道的图像重建合成出目标场景全彩图像。和RGB三光源方案一样，为了使整套成像系统更加紧凑，笔者将探测部分进行模块化设计，图4（b）所示为模块化的全彩单像素相机，整体尺寸约为：240 mm×145 mm×130 mm，保留F卡口作为相机接口，也可以适配各种腹腔镜。

图 4. (a) 白光方案的腹腔镜全彩单像素内窥成像系统示意图；(b) 虚线框中模块化单像素相机示意图

Fig. 4. (a) Schematic diagram of laparoscopic full-color single-pixel endoscopic imaging system with white light solution; (b) Schematic diagram of the modularized single-pixel camera in dashed box

下载图片 查看所有图片

图 5. 分光棱镜的透过率光谱

Fig. 5. Transmittance spectra of spectroscopic prisms

下载图片 查看所有图片

2 实验结果与分析

2.1 成像验证实验结果与分析

为了验证所搭建两套腹腔镜全彩单像素内窥成像系统的性能，以多色彩条作为待测目标物，以CMOS相机（Mshot, MS23）作为探测器的宽场腹腔镜拍摄图像作为目标物体参考图像，如图6（a）所示。所使用CMOS相机图像传感器尺寸为1/1.2 in，像元尺寸为5.86 μm×5.86 μm分辨率为1920×1200，帧率为40帧/s。由于单像素成像技术重建图像的分辨率与所使用调制掩膜大小和数量有关，考虑到该实验所使用DMD板载内存为8 GB，所以实验重建图像分辨率为64 pixel×64 pixel。实验采用差分测量方案，全采样所需掩膜为：64×64×2=8192张。图6（b）和（c）分别为白光方案和RGB三色光源方案的腹腔镜全彩单像素内窥成像系统所拍摄重建的全彩图像。图6（d）~（f）分别为白光方案的腹腔镜全彩单像素内窥成像系统所拍摄全彩彩条图像RGB的3个通道的单色图像，重建融合形成图6（b）彩色图像；图6（g）~（i）分别为RGB三色光源方案所拍摄全彩彩条图像RGB的3个通道的单色图像，重建融合形成图6（c）。由结果可见，两种腹腔镜全彩单像素内窥成像方案均能对待测目标物体进行成像并获取全彩图像。为了对两种方案进行定量比较，引入峰值信噪比（PSNR）和结构相似度（SSIM）作为图像定量评价指标。PSNR和SSIM计算方法如2.2节所述，计算结果如表1所示。由此可以看出，白光方案和RGB三色光方案的图像PSNR均在18.5 dB左右，仅相差0.0729 dB，白光方案的结构相似度要比RGB三色光方案高0.0429，推测为每个成像通道更宽的波段带来的颜色还原性更好。

图 6. 彩条的腹腔镜全彩单像素内窥成像系统成像结果。(a) CMOS相机拍摄的原图；(b) 白光方案全彩图像重建结果；(c) RGB三色光方案全彩图像重建结果；(d) 白光方案全彩图像的R通道图像；(e) 白光方案全彩图像的G通道图像；(f) 白光方案全彩图像的B通道图像；(g) RGB三色光方案全彩图像的R通道图像；(h) RGB三色光方案全彩图像的G通道图像；(i) RGB三色光方案全彩图像的B通道图像

Fig. 6. Imaging results of laparoscopic full-color single-pixel endoscopic imaging system with color bar. (a) Original image captured by CMOS; (b) Reconstruction result of full-color image of the white light scheme; (c) Reconstruction result of full-color image of the RGB trichromatic scheme; (d) Reconstruction result of the R channel of full-color image of the white light scheme; (e) Reconstruction result of the G channel of full-color image of the white light scheme; (f) Reconstruction result of the B channel of full-color image of the white light scheme; (g) Reconstruction result of the R channel of full-color image of the RGB trichromatic scheme; (h) Reconstruction result of the G channel of full-color image of the RGB trichromatic scheme; (i) Reconstruction result of the B channel of full-color image of the RGB trichromatic scheme

下载图片 查看所有图片

为了进一步量化对比两套系统的优缺点，将DMD的调制速率设置为10 kHz，实验验证两种方案的成像速度，其中每帧图像成像时间包含采集时间和重建时间两个部分，结果如表2所示。由此可以看出，白光方案的采集时间比较短，是RGB三色光源方案采集时间的1/3，重建算法相同两种方案耗时相当，总体来说，白光光源方案由于采用3个探测器同时采集RGB三色信息，成像速度比RGB三色光源方案快2.678 s，在成像速度方面更有优势。

2.2 肠道模型成像结果与分析

经过上述验证实验结果分析，白光光源方案成像速度快，图像质量好，更适合腹腔镜内窥领域。为了进一步探索所搭建的白光光源方案腹腔镜全彩单像素内窥成像系统的实用性，选择将人体肠道模型作为成像目标，成像结果如图7所示。图7（a）为宽场腹腔镜拍摄的目标物体参考图像。图7（b）为白光方案的腹腔镜全彩单像素成像系统所拍摄重建的全彩图像。图7（c）~（e）分别为白光方案的腹腔镜全彩单像素成像系统所拍摄图像RGB的3个通道的重建图像。图7采用模块化的单像素相机，验证了白光光源方案的腹腔镜全彩单像素成像系统对复杂目标物体准确重建全彩图像的能力。

图 7. 肠道模型的腹腔镜全彩单像素内窥成像系统成像结果。 (a) 原图；(b) 白光方案全彩图像重建结果；(c) 白光方案全彩图像的R通道重建结果；(d) 白光方案全彩图像的G通道重建结果；(e) 白光方案全彩图像的B通道重建结果

Fig. 7. Imaging results of a laparoscopic full-color single-pixel endoscopic imaging system for intestinal models. (a) Original image; (b) Reconstruction result of the full-color image of the white light scheme; (c) Reconstruction result of the R channel of the full-color image of the white light scheme; (d) Reconstruction result of the G channel of the full-color image of the white light scheme; (e) Reconstruction result of the B channel of the full-color image of the white light scheme

下载图片 查看所有图片

3 结　论

文中针对单像素成像技术在内窥成像方面的应用前景，首次将单像素成像技术和医用腹腔镜相结合，提出并设计了两种全彩单像素内窥成像系统，通过彩条成像及肠道模型成像实验对两种方案进行了量化对比，初步形成可行的全彩单像素内窥成像系统技术方案。对所搭建的全彩单像素内窥成像系统进行模块化和小型化设计，形成单像素相机，使其可以适配各种类型医用腹腔镜进行内窥成像，为推动单像素成像在内窥成像领域的应用提供了理论指导。下一步将对覆盖可见与红外整个波段的全波段单像素内窥成像技术进行深入研究，设计全波段单像素相机，拓展单像素成像技术在内窥领域的应用范围。