激光与光电子学进展, 2024, 61 (6): 0618023, 网络出版: 2024-03-22  

快照式显微光谱成像系统及水藻分类识别研究

Research on Snapshot Microspectral Imaging System and Algae Classification Recognition
作者单位
1 长春理工大学物理学院,吉林 长春 130022
2 长春理工大学吉林省光谱探测科学与技术重点实验室,吉林 长春 130022
3 吉林求是光谱数据科技有限公司,吉林 长春 130000
摘要
目前的显微光谱成像系统的探测模块主要以推扫型光谱成像仪为主,无法进行动态微观样本的观测。基于超材料宽谱调制型光谱成像技术体制,使用该原理研制的快照式光谱相机作为探测模块,其与显微镜模块形成新型的快照式显微光谱成像系统。该系统可实时获取样本的光谱曲线与光谱图像信息。同时利用该系统获取不同藻类的吸收光谱曲线,进一步使用基于支持向量机的图像分割识别算法,对水中的动态藻类样本进行识别。共测试样本80个,预测结果准确率为100%,召回率为65.52%,为快照式光谱成像技术在显微领域的应用奠定基础。
Abstract
Current detection modules in microspectral imaging systems primarily comprise push-broom spectral imagers, which cannot observe dynamic microscopic samples. In this study, leveraging the capabilities of metamaterial broad-spectrum-modulated spectroscopic imaging technology, a snapshot spectroscopic camera was developed and used as a detector module to form a novel snapshot microscopic spectroscopic imaging system with a microscope module. This system enables real-time acquisition of spectral curves and image information from samples. Additionally, we used the developed system to obtain the absorption spectral curves of different algae and further used a image segmentation recognition algorithm based on a support vector machine to recognize dynamic algae samples in water. A total of 80 samples were tested in this experiment, yielding 100% accuracy and 65.52% recall for the prediction results. Thus this result forms the foundation for the application of snapshot spectral imaging technology in the field of microscopy.

1 引言

显微光谱成像系统是传统的光学显微技术与光谱成像技术相结合形成的新型微观样本观察与检测系统。与传统的显微设备相比,其既能够获取样本的空间信息,又能够获取样本光谱信息1-2,这在检测中不但能够在微观尺度上观察样本的细节,而且也能对样本化学成分、分子结构等理化信息进行更为详尽的分析。该技术已经成功应用在材料科学3、生物医学4-5、工业检测6等各个领域。例如,Janssen等7使用新型的活体光谱显微镜检测微血管系统荧光探针,并追踪标记物的运动轨迹。王成等8设计了一套光谱显微成像系统并将其应用于表皮组织检测与癌细胞检测。彭仁苗等9使用高光谱显微镜实现了对二维材料纳米片的识别。以上显微光谱成像系统使用的光谱成像装置均为传统的棱镜和光栅10,并使用相应的探测器进行线阵或者面阵扫描,此类装置一般机械结构较为复杂、扫描速度较慢,因而无法实现高帧频的动态检测。

随着计算重构型光谱成像技术11-13的日益成熟,快照式显微光谱成像技术14-15成为未来发展的趋势,其探测时间与推扫式、凝视型光谱显微成像系统相比进一步缩短,由秒量级降低至毫秒量级。例如Hagen等16提出的基于图像映射器的快照式显微成像系统,通过微透镜阵列进行空间调制,并通过棱镜阵列进行光谱调制,最后将目标场景空间与光谱信息映射在CCD上。Yu等17研发了一款微透镜阵列型快照式光谱成像系统,其可以获取400~800 nm范围内的目标光谱信息。Cull等18设计了一种基于编码孔径的快照式光谱显微成像系统,该系统利用压缩感知技术在单次拍摄中即可完成对光谱数据立方的采集,光谱范围为450~750 nm,空间分辨率为512×512像素。快照式显微光谱成像系统的出现为动态微观样本检测提供了可能,例如显微条件下动态水藻样本的识别与分类,Wei等19曾使用凝视型显微光谱成像系统对静态水藻进行了吸收光谱相关研究,该内容对研究藻类富集引起的水域污染具有重要意义,但并未探究动态水藻的识别与分类。

本文基于宽谱调制型超构表面光谱成像技术体制,将宽谱调制型快照式光谱相机与显微镜相结合,提出了新型的快照式显微光谱成像系统。对运动水藻进行了光谱图像采集,并计算了不同水藻的吸收光谱,系统地分析了每种水藻的叶绿素、类胡萝卜素等分子的吸收特性,进一步根据水藻的吸收特征波段,利用支持向量机(SVM)光谱图像分割识别算法,实现了对运动水藻目标的识别,验证了快照式光谱显微系统的光谱采集与动态目标捕获性能。

2 实验与数据处理

2.1 实验系统

图1图2所示,快照式光谱显微镜主要由快照式光谱相机、显微物镜、透射光源组成。其核心成像探测模块选用的是CM020A快照式光谱相机20,光谱范围为350~950 nm,空间分辨率为1600×200像素,像元尺寸为1.75 μm×1.75 μm,光谱分辨率为1 nm,光谱图像采集帧频为30 frame/s。其相机核心元件光谱芯片以计算光谱学为基础,采用基于超构表面微纳结构的宽谱调制技术架构,并与CMOS图像传感器相结合,具有能量利用率高、暗光成像好、采集速度快等优势。透射光源选用LED宽谱光源,波段范围为400~700 nm。物镜具有4×、10×、40×、100×四个放大倍率,可以实现高倍率的光谱显微成像。

图 1. 快照式光谱显微镜原理

Fig. 1. Schematic of a snapshot spectral microscope

下载图片 查看所有图片

图 2. 快照式光谱显微镜实物

Fig. 2. Physical image of a snapshot sspectral microscope

下载图片 查看所有图片

2.2 实验样本制备

样本制备与数据采集均在室温下进行,环境温度为18~25 ℃,环境相对湿度为40%。藻类样本取自伊通河水系,水中富含小球藻、囊裸藻、甲藻样本,使用试管获取水藻样本5 mL,并进行静置,使用胶头滴管获取试管底部的样本,并均匀地滴到载玻片上,并将盖玻片置于样本之上,观察不同藻类的形态以及运动状态。图3为快照式光谱显微镜下不同类型水藻的形态,小球藻为圆形,囊裸藻为椭圆形或者圆柱形,而甲藻形状并不规则,为带有锯齿状的方形。

图 3. 光谱显微镜下不同藻类的灰度图像。(a)小球藻;(b)囊裸藻;(c)甲藻

Fig. 3. Grayscale images of different algae under a spectral microscope. (a) Chlorella; (b) trachelomonas; (c) dinoflagellate

下载图片 查看所有图片

2.3 实验数据采集

数据采集时使用10×物镜,并固定光谱相机的曝光时间与增益系数,为保证采集帧频,曝光时间设置为30 ms,实现30 frame/s的高速采集;同时调整合适的透射光强度,使得光谱图像灰度值范围为180~220,从而保证信噪比;进一步输出各类水藻的光谱图像与光谱曲线,根据水藻与背景区域的透射光谱曲线可进行吸收光谱的计算,并利用相关特征波段的光谱图像实现对动态水藻目标的识别。图4为运动中的甲藻,可以看出甲藻的位置在不断发生变化。

图 4. 光谱显微镜下运动甲藻样本的灰度图像

Fig. 4. Grayscale images of a dinoflagellate sample in motion under a spectral microscope

下载图片 查看所有图片

光谱相机在拍摄时,可实时输出调制数据、高精度的光谱图像数据及分辨率为1 nm的透射光谱曲线。数据采集流程如图5所示。

图 5. 水藻光谱图像与透射光谱采集流程

Fig. 5. Acquisition process of algae spectral images and transmission spectrum

下载图片 查看所有图片

2.4 Lambert-Beer law吸收光谱计算

Lambert-Beer law为光吸收的基本定律,适用于电磁辐射的所有吸光物质,包括液体、固体等,基本公式为

A=lg(1/T)T=Iout/Iin

式中:A为吸光度,即吸收光谱计算;T为透射比,即穿过介质的透射光谱;Iin为入射光强度,Iout为出射光强度。在本实验中,由于水体本身具有一定的透射性质,Iin为穿过未含有藻类的水体的光谱强度,Iout为透过藻类样本的光谱强度。

2.5 基于SVM的图像分割识别算法

为实现显微镜下动态水藻目标的自动识别,设计了基于SVM分类器的图像分割算法。其目标检测流程如下:首先提取特征波段的光谱图像,根据特征波段图像的光谱特征,并且融合水藻的纹理与轮廓信息,进行Felzenszwalb图像分割21;进行全局的目标特征搜索,实现对目标的预框选操作;将所有目标的预选特征输入至SVM分类器,通过分类器对动态水藻目标进行有效识别,并实时输出显微镜下水藻的运动状态。

3 分析与讨论

3.1 不同藻类吸收光谱特性研究

快照式光谱显微成像系统获取的3种藻类的吸收光谱曲线如图6所示,由于不同藻类的叶绿素a、叶绿素b、类胡萝卜素等分子含量存在着一定的差异,因此在全谱段范围内存在不同的吸收特征20,成为水藻种类区分的指标。其中小球藻在429.18 nm、623.77 nm及675.36 nm处有3个明显的吸收峰,429.18 nm与675.36 nm两处吸收峰均属于叶绿素a的吸收峰,且特征较为明显,而623.77 nm处的吸收峰存在叶绿素b与藻青蛋白共同作用,因为藻青蛋白在620 nm左右存在强烈的红光吸收。而甲藻则有所不同,其在蓝绿波段范围内有两个明显的吸收峰,分别为440.67 nm与446.29 nm,且形成了双峰结构,使蓝绿色光能量部分的吸收进一步增大,这是叶绿素b与类胡萝卜素共同作用的结果,尤其是类胡萝卜素在绿黄光波段的能量吸收,进一步增加了分子的振动与跃迁几率,从而使得谱线进一步展宽。同时甲藻在675.36 nm的吸收峰较弱,说明甲藻中叶绿素的含量较低,在红光波段范围的吸收能量较小。囊裸藻的吸收谱线与前两类水藻具有很大的差异,其在蓝绿光波段范围内吸收带较宽,特征峰并不明显,因此在400~500 nm范围内存在很强的吸收,其吸收带宽基本与叶绿素a、叶绿素b、类胡萝卜素三种物质的吸收带相吻合,因此在囊裸藻中,三种分子均存在,且在蓝绿光波段分子振动与跃迁几率较大,同时在675.36 nm处叶绿素a的吸收也较强。综上所述,虽然三种藻类均含有叶绿素等分子,但含量与分子振动特性均有较大的差异,是区分不同藻类的重要属性。

图 6. 三种藻类的吸收光谱

Fig. 6. Absorption spectra of three algae

下载图片 查看所有图片

对三种藻类的吸收光谱进行详细讨论,但由于部分藻类的吸收光谱特征峰并不明显,谱线线型在全波段上为宽带,为进一步分析特征峰属性,对其吸收光谱进行求导,对导数光谱进行特征峰标记,标记结果如图7所示。在400~700 nm范围内,小球藻、囊裸藻、甲藻三种藻类的导数光谱特征峰较为明显,例如小球藻在411 nm和487 nm等位置且在500~650 nm波段范围内谱线宽度较大,特征明显。甲藻在全波段范围的特征峰较多,谱线波动较大,这说明其吸收光谱在单波段上的斜率变化较大,所以其特征波段较多,可实现对甲藻与其他藻类的有效区分。三种藻类在导数光谱上具有很大的差异性,导数光谱是反映吸收谱线在单波段上变化的重要指标,可有效提取每一类水藻的特征波段,为光谱分类和光谱图像特征波段识别分析提供有效的基础数据。

图 7. 三种藻类的导数光谱

Fig. 7. Derivative spectra of three algae

下载图片 查看所有图片

3.2 基于SVM的动态目标藻类识别分析

为进一步根据光谱图像特征实现对动态藻类目标的识别与跟踪,本研究设计了基于SVM分类器的光谱图像分割识别算法,其详细流程如图8所示。根据各类水藻的吸收光谱可以看出,水藻的吸收特性主要由叶绿素、类胡萝卜素、藻青蛋白等分子组成,在400~500 nm、500~600 nm、680~700 nm均有较为明显的吸收特征,因此在此特征波段的光谱图像中水藻与其水系应具有较大的差异。根据其光谱特征以及水藻的纹理、轮廓特性,使用基于特征光谱波段的图像分割预框选水藻目标,对其特征进行全局图像搜索,并利用SVM分类器将水藻目标框选出来,实现水中水藻目标的精准识别。由于显微镜所配置的光谱相机为快照式光谱相机,单次曝光即可获取光谱图像,实现曝光时间为ms量级的目标拍摄,完成该量级下水藻目标的时间分辨,并且利用所设计的SVM分类器识别算法对光谱显微镜下的动态水藻目标进行分割识别。

图 8. SVM图像分割识别流程

Fig. 8. SVM image segmentation and recognition process

下载图片 查看所有图片

为验证所提算法的有效性,对SVM图像分割识别模型的指标参数进行详细计算,结果如表1所示,测试样本数据集为80个,正确检出样本数量58个,漏检样本数量22个,并未出错误的检测结果。详细指标为真阳性样本数为58,假阳性样本数为0,错误检出样本数为0,假阴性样本数为22,准确率(precision)为100%,召回率(recall)为65.52%。出现漏检现象并非是算法精度出现问题,而是水藻在运动过程中与水中的杂质重合,导致其透射光谱发生了较大的变化,使其特征吸收波段与训练样本中的目标具有一定的差异,同时目标的轮廓信息与纹理信息也出现了变化,在一定程度上影响了检测结果。整体而言检测正确率较好,实现了在显微镜下对动态水藻目标的跟踪与识别。

表 1. 目标识别模型的指标参数

Table 1. Metric parameters of the target recognition model

Sample sizeTrue positiveFalse positiveFalse negativePrecision /%Recall /%
805802210065.52

查看所有表

在动态目标识别的过程中,实时输出的不同藻类运动的伪彩标记图如图9所示,小球藻、囊裸藻、甲藻在1~3 s运动过程中均被精准识别与标记。

图 9. 不同时间下的动态水藻识别。(a)甲藻;(b)小球藻;(c)囊裸藻

Fig. 9. Dynamic algae identification at different time. (a) Dinoflagellate; (b) chlorella; (c) trachelomonas

下载图片 查看所有图片

4 结论

快照式光谱显微镜的核心元件为基于宽谱调制的快照式光谱相机,具有高能量利用率、高采集帧频的性能优势,获取了三种藻类的动态光谱图像与光谱数据。首先计算不同藻类的吸收光谱特性,针对叶绿素a、叶绿素b、类胡萝卜素、藻青蛋白等分子吸收特征,对光谱线型、吸收峰位置和带宽进行了详尽的分析,并利用导数光谱法再次获取了特征峰位置,有效地提取了特征波段。根据其光谱特征实现了对藻类的分类,同时利用基于SVM的光谱图像分割目标识别方法,完成了对运动水藻的识别。模型预测识别准确率达100%,召回率为65.52%,实现了光谱显微镜下对动态目标的定位与识别,为识别与分类其他动态微小目标奠定了基础。

参考文献

[1] Gao L, Smith R T. Optical hyperspectral imaging in microscopy and spectroscopy: a review of data acquisition[J]. Journal of Biophotonics, 2015, 8(6): 441-456.

[2] 邵谭彬, 杨克成, 夏珉, 等. 光谱共焦显微成像技术与应用[J]. 激光与光电子学进展, 2023, 60(12): 1200001.

    Shao T B, Yang K C, Xia M, et al. Techniques and applications of chromatic confocal microscopy[J]. Laser & Optoelectronics Progress, 2023, 60(12): 1200001.

[3] Medina D X, Householder K T, Ceton R, et al. Optical barcoding of PLGA for multispectral analysis of nanoparticle fate in vivo[J]. Journal of Controlled Release, 2017, 253: 172-182.

[4] Bondu M, Marques M J, Moselund P M, et al. Multispectral photoacoustic microscopy and optical coherence tomography using a single supercontinuum source[J]. Photoacoustics, 2018, 9: 21-30.

[5] 章昶威, 邹鸿博, 齐伟明, 等. 内窥环境下多光谱血氧饱和度检测[J]. 光学学报, 2024, 44(2): 0217001.

    Zhang C W, Zou H B, Qi W M, et al. Multi-spectral blood oxygen saturation detection in endoscopic environment[J]. Acta Optica Sinica, 2024, 44(2): 0217001.

[6] 赵鹏, 韩金城, 王承琨. 基于I-BGLAM纹理和光谱融合的高光谱显微成像木材树种分类[J]. 光谱学与光谱分析, 2021, 41(2): 599-605.

    Zhao P, Han J C, Wang C K. Wood species classification with microscopic hyper-spectral imaging based on I-BGLAM texture and spectral fusion[J]. Spectroscopy and Spectral Analysis, 2021, 41(2): 599-605.

[7] Janssen B G H, Najiminaini M, Zhang Y M, et al. Multispectral intravital microscopy for simultaneous bright-field and fluorescence imaging of the microvasculature[J]. Applied Microscopy, 2021, 51(1): 12.

[8] 王成, 刘宾, 周楚, 等. 窄带LED照明的多光谱显微成像系统研究[J]. 中国激光, 2020, 47(12): 1207006.

    Wang C, Liu B, Zhou C, et al. Multispectral microimaging system with narrowband LED illumination[J]. Chinese Journal of Lasers, 2020, 47(12): 1207006.

[9] 彭仁苗, 徐鹏鹏, 赵一默, 等. 深度神经网络和高光谱显微图像的二维材料纳米片识别[J]. 光谱学与光谱分析, 2022, 42(6): 1965-1973.

    Peng R M, Xu P P, Zhao Y M, et al. Identification of two-dimensional material nanosheets based on deep neural network and hyperspectral microscopy images[J]. Spectroscopy and Spectral Analysis, 2022, 42(6): 1965-1973.

[10] 杨家伟, 崔开宇, 熊健, 等. 基于超表面的实时超光谱成像芯片[J]. 光学学报, 2023, 43(16): 1623004.

    Yang J W, Cui K Y, Xiong J, et al. Real-time ultraspectral imaging chip based on metasurfaces[J]. Acta Optica Sinica, 2023, 43(16): 1623004.

[11] 林学利, 王子林, 邹艳霞, 等. 基于深度学习的滤光片型高光谱成像技术[J]. 激光与光电子学进展, 2023, 60(10): 1030002.

    Lin X L, Wang Z L, Zou Y X, et al. Filtering hyperspectral imaging technology based on deep learning[J]. Laser & Optoelectronics Progress, 2023, 60(10): 1030002.

[12] Yang J W, Cui K Y, Huang Y D, et al. Deep‐learning based on-chip rapid spectral imaging with high spatial resolution[J]. Chip, 2023, 2(2): 100045.

[13] 孙宇松, 黄见, 时东锋, 等. 余弦编码复用多光谱关联成像技术研究[J]. 中国激光, 2023, 50(13): 1317001.

    Sun Y S, Huang J, Shi D F, et al. Cosinusoidal encoding multiplexed multispectral ghost imaging[J]. Chinese Journal of Lasers, 2023, 50(13): 1317001.

[14] Cao X, Yue T, Lin X, et al. Computational snapshot multispectral cameras: toward dynamic capture of the spectral world[J]. IEEE Signal Processing Magazine, 2016, 33(5): 95-108.

[15] Oh E S, Heo C, Kim J S, et al. Hyperspectral fluorescence imaging for cellular iron mapping in the in vitro model of Parkinson’s disease[J]. Journal of Biomedical Optics, 2014, 19(5): 051207.

[16] Hagen N, Kudenov M W. Review of snapshot spectral imaging technologies[J]. Optical Engineering, 2013, 52(9): 090901.

[17] Yu C B, Yang J, Song N, et al. Microlens array snapshot hyperspectral microscopy system for the biomedical domain[J]. Applied Optics, 2021, 60(7): 1896-1902.

[18] Cull C F, Choi K, Brady D J, et al. Identification of fluorescent beads using a coded aperture snapshot spectral imager[J]. Applied Optics, 2010, 49(10): B59-B70.

[19] Wei L, Su K, Zhu S Q, et al. Identification of microalgae by hyperspectral microscopic imaging system[J]. Spectroscopy Letters, 2017, 50(1): 59-63.

[20] 王婷婷, 蔡红星, 李霜, 等. 新型超构表面成像光谱芯片研究进展[J]. 激光与光电子学进展, 2023, 60(11): 1106014.

    Wang T T, Cai H X, Li S, et al. Research progress of novel metasurface spectral imaging chips[J]. Laser & Optoelectronics Progress, 2023, 60(11): 1106014.

[21] Uijlings J R R, van de Sande K E A, Gevers T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154-171.

李栋梁, 蔡红星, 任玉, 李霜, 花扬扬, 王婷婷, 周建伟, 曲冠男, 王朔, 曹洋铭, 张桁源. 快照式显微光谱成像系统及水藻分类识别研究[J]. 激光与光电子学进展, 2024, 61(6): 0618023. Dongliang Li, Hongxing Cai, Yu Ren, Shuang Li, Yangyang Hua, Tingting Wang, Jianwei Zhou, Guannan Qu, Shuo Wang, Yangming Cao, Hengyuan Zhang. Research on Snapshot Microspectral Imaging System and Algae Classification Recognition[J]. Laser & Optoelectronics Progress, 2024, 61(6): 0618023.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!