1 北京工业大学信息学部计算智能与智能系统北京市重点实验室，北京 100124
2 先进信息网络北京实验室，北京 100876
近红外光谱断层成像是一种可以获得乳腺组织内部光学特性，弥补传统乳腺影像学检查方法的不足，具有无创无辐射、高特异性等特性，在乳腺成像中有重要应用价值的光学成像技术。近红外光谱断层成像系统对该技术在乳腺疾病临床诊断中的应用起着重要的作用。然而，近红外光谱断层成像系统的空间分辨率低，限制了其在乳腺成像中的应用。将连续波模式与频域或时域测量模式相结合，并融合临床用的数字乳腺断层摄影、超声或核磁共振成像等技术有助于解决上述问题。先对近红外光谱断层成像系统的测量模式、多模态系统和多模态融合技术进行梳理、对比，然后介绍了该技术在乳腺成像中的最新应用，进一步讨论了乳腺近红外光谱断层成像系统未来的发展方向。
成像系统 生物光学 近红外光谱断层成像 乳腺成像 多模态
1 广西大学计算机与电子信息学院，广西 南宁 530004
2 广西多媒体通信与网络技术重点实验室，广西 南宁 530004
随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。
卷积神经网络 多模态 YOLOv5 多模态目标检测 自适应特征融合 激光与光电子学进展
2023, 60(24): 2410003
1 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
2 中国科学院光电信息处理重点实验室，辽宁 沈阳 110016
3 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
4 中国科学院大学，北京 100049
为了提高在少标签数据条件下的地物分类精度，提出一种利用高光谱图像（HSI）数据与机载激光雷达（LiDAR）数据进行对比学习的地物分类方法。首先利用不带标签的HSI数据与LiDAR数据进行对比学习，通过对比学习可以建立这两种数据的空间特征之间的联系，实现对这两种数据的空间特征提取；设计了卷积模块与Transformer模块相结合的网络，使模型能够利用提取出的局部特征建立全局交互关系。在Houston 2013数据集和Trento数据集上进行对比实验，所提方法的分类精度高于其他多源数据融合地物分类的对照方法，在Houston 2013数据集上当每类标签样本量为5时，所提方法的分类精度比对照方法提高20.73个百分点，在Trento数据集上当每类标签样本量为2时，所提方法的分类精度比对照方法提高8.35个百分点。
图像处理 高光谱图像分类 机载激光雷达 地物分类 多源数据 激光与光电子学进展
2023, 60(22): 2228006
Author Affiliations
Abstract
1 University of Zurich, Institute of Pharmacology and Toxicology and Institute for Biomedical Engineering, Faculty of Medicine, Zurich, Switzerland
2 ETH Zurich, Institute for Biomedical Engineering, Department of Information Technology and Electrical Engineering, Zurich, Switzerland
3 Russian Academy of Sciences, Institute of Applied Physics, Nizhny Novgorod, Russia
A wideband sensitive needle ultrasound sensor based on a polarized PVDF-TrFE copolymer piezoelectric film has been developed, which is capable of providing a noise equivalent pressure of 14 Pa and a uniform frequency response ranging from 1 to 25 MHz. Its high sensitivity (1.6 μV / Pa) and compact size were achieved by capitalizing on the large electromechanical coupling coefficient of PVDF-TrFE and minimizing parasitic capacitance in a two-stage amplifier structure. The detection sensitivity of the newly designed sensor outperformed commercially available hydrophones with an equivalent sensing element area by a factor of 9. The sensor has been successfully integrated into a light scanning optoacoustic microscopy (OAM) system with a limited working space. Submicrometer resolution images were subsequently attained from living mice without employing signal averaging. The miniature sensor design can readily be integrated into various OAM systems and further facilitate multimodal imaging system implementations.
photoacoustic microscopy hydrophone in vivo imaging multimodality miniature Advanced Photonics Nexus
2023, 2(5): 056006
1 天津大学精密仪器与光电子工程学院, 天津 300072
2 天津市生物医学检测技术与仪器重点实验室, 天津 300072
光声成像是一种以超声为媒介的功能性光学成像方法,近年来得到了迅速发展。非接触光声成像技术旨在无耦合液的条件下实现高灵敏、大带宽的光声信号接收以及高质量的图像重建,它在继承传统光声成像技术优势的基础上,提升了探测性能,并扩展了应用领域。本文综述了非接触光声成像的研究现状及其在生物医学领域的应用,概述了目前非接触光声成像技术的物理机理及成像系统的结构,介绍了该技术在无标记术中组织学成像、眼科成像和皮肤光学活检中的特色应用,最后总结了非接触光声成像技术的特点以及未来面临的挑战。
医用光学 光声成像 非接触 功能成像 多模态 生物医学 中国激光
2021, 48(19): 1918005
1 中国科学技术大学工程科学学院, 安徽 合肥 230026
2 精密科学仪器安徽普通高校重点实验室, 安徽 合肥 230026
光声成像兼具光学成像对比度高和超声成像在深层生物组织中分辨率高等优点,是近年来迅速发展起来的一种生物医学成像模态。光声显微成像(PAM)是光声成像的一种重要实现方式,利用其可以无创提供活体生物组织结构和功能信息的优点,研究人员已开展了临床前和临床应用研究。为了使不同领域的研究人员了解这一快速发展的成像技术,本文综述了光声显微成像的发展现状、最新技术和研究进展。文章首先介绍了PAM的基本原理和典型的系统实现,然后概述了包括空间分辨率、成像深度、扫描方式、信号探测手段和多模态成像等方面的重要研究进展,接着阐述了PAM在生物医学领域的应用现状,最后总结了其未来发展面临的挑战。
生物医学 光声成像 光声显微成像 多模态 结构成像 功能成像 分子成像
华南师范大学生物光子学研究院激光生命科学研究所暨激光生命科学教育部重点实验室， 广东 广州 510631
光声显微成像技术是近年发展迅速的一种基于光学吸收差异的成像技术，它继承了光学成像对比度高、超声成像深度深的优点，表现出纯光学显微成像技术所无法比拟的优越性。光声显微成像实现了从声学分辨率至光学分辨率的多尺度成像，发展出从单纯的吸收结构到功能的多参量成像、从依靠内源吸收体到外源对比剂的多对比度成像、从依赖超声换能器到全光学激发与探测、从单一吸收成像到与光学相干层析成像、荧光成像、双光子成像、二次谐波成像等结合形成多模态的光声显微成像技术。现已在血管生物学、肿瘤学、神经学、眼科学，以及皮肤学等生物医学领域得到应用。
医用光学 光声成像 光声显微成像 多尺度光声成像 多参量光声成像 多模态光声成像 生物医学
1 阿德莱德大学纳米尺度生物光子学研究中心, 阿德莱德, 南澳大利亚 5005, 澳大利亚
2 加利福尼亚大学欧文分校贝克曼激光研究所, 欧文, 加利福尼亚州 92617, 美国
易损斑块是引起心肌梗塞的主要原因。准确诊断易损斑块可以帮助医护人员优化心血管疾病治疗方案，减小心肌梗塞致死率。血管内多模态成像技术通过结合两种或两种以上成像模态的优势，可以对动脉粥样硬化斑块进行定性定量分析，提高识别易损斑块的准确性。综述了目前国际上最先进的五种多模态血管内成像技术，详细介绍了血管内超声-光学相干层析、光学相干层析-荧光、光学相干层析-光谱仪、血管内光声-超声和光学相干层析-弹性多模态成像技术的发展过程和技术难点，并展望了未来研究趋势。
医用光学 生物医学成像 多模态成像 易损斑块 光学相干层析成像 血管内超声成像 血管内光声成像 光学相干弹性成像 中国激光
2016, 43(12): 1200001
1 中国科学院 沈阳自动化研究所, 辽宁 沈阳 110016
2 中国科学院 光电信息处理重点实验室, 辽宁 沈阳 110016
3 中国科学院大学, 北京 100049
针对基于灰度的局部特征匹配方法对图像对比度变化敏感, 导致在多模态图像配准应用中性能大幅下降的问题, 提出了一种多模态鲁棒的局部特征描述符和匹配方法。首先, 基于对比度变化不敏感的相位一致性和局部方向信息, 提出一种多模态鲁棒的角点和线段特征提取方法, 在对比度差异显著的多模态图像之间提取较多的共性角点和线段特征; 然后, 以角点为中心选择48个均匀分布的圆形特征子区域, 利用角点与特征子区域内线段的距离和线段长度信息, 构建96维的特征向量; 最后, 将归一化相关函数作为匹配测度函数进行特征匹配, 并采用基于位置约束的随机抽样一致(RANSAC)方法进行匹配提纯。实验表明, 本文提出的多模态匹配方法匹配正确率和重复率分别高达80%和13%, 分别为对称-尺度不变特征变换算法(S-SIFT)、多模态-快速鲁棒特征算法(MM-SURF)等基于灰度方法的2~4倍和4~7倍, 显著优于同类方法。
图像配准 多模态配准 多模态鲁棒特征 相位一致性 局部方向 归一化相关 image registration multimodality registration multimodality robust feature phase congruency local direction normalized correlation
1 上海交通大学 图像处理与模式识别研究所，上海200240
2 中国航天科工集团，北京100048
3 计算通信学院，悉尼科技大学, 澳大利亚 悉尼2007
针对可见光图像和红外图像配准问题，提出了一种新的自动配准方法.该算法通过同级极值区域检测子在灰度梯度图像上提取仿射协变区域.然后利用超图匹配算法确定匹配点对实现图像配准.该方法尤其适合于红外图像的质量或者边缘比对应的可见图像质量或边缘差情况下的异模配准.对一些具有挑战性的图像对进行试验，实验结果表明我们提出的方法比其他方法获得了更好的性能.
多模态图像配准 红外图像 最大稳定极值区域 multimodality image registration Infrared image maximally stable extremal region
