光声显微成像（PAM）是一种具有无损、多功能、高分辨率等特点的生物医学成像技术，通过检测光声信号进行图像重建可实现高分辨率和高深度的结构和功能成像，在生命科学、基础医学和医疗诊断中发挥着越来越重要的作用。首先概述光声显微技术的发展背景和原理特点，然后对利用光学增强、声学增强、人工智能增强及光学与声学互补的光声显微成像术促进成像性能提升的方法进行论述，最后讨论当前光声显微技术在生物医学研究中的广泛应用，并对未来技术的发展趋势进行展望。

手术导航综合运用器官分割建模与手术规划、位姿标定与跟踪定位、多模态图像配准与融合显示等技术，使医生精确定位病灶与手术工具的位置，透过组织表面对内部组织进行观测，可大幅提升手术的安全性，缩短手术时间并提高手术效率。常规手术通常使用超声、内窥镜或X光等单模态影像进行手术过程引导，信息单一且均为二维影像，空间立体信息缺失，手术过程严重依赖医生经验；而多模态图像引导的手术导航技术通过融合多模态图像的优势，在三维空间提供病灶的结构或功能信息，大幅提升医生对血管、神经以及重要组织结构的空间辨识力。由此，本文针对多模态图像分割建模、手术方案决策、手术空间位姿标定与跟踪、多模态图像配准、图像融合与显示等多模态图像引导手术导航的关键技术进行总结和分析，提出其进一步发展面临的挑战并展望其未来发展趋势。多模态图像引导手术导航技术已成为神经外科、颅颌面、骨科、经皮穿刺、血管介入等临床科室精准治疗的新兴手段，具有重要的应用前景。

传统 U-Net语义分割模型在医学影像领域具有广泛的应用, 但该模型的准确率受限于单一尺度的预测模式以及上下采样引起的信息丢失。针对上述问题, 本文基于 U-Net编码—解码架构以及空洞可分离卷积提出了一种高低层级信息丰富的多尺度医学影像语义分割算法, 该算法由特征提取网络以及多尺度语义分割预测网络两部分构成。特征提取网络使用空洞可分离卷积和类残差块分别替换原 U-Net中上、下采样以及卷积块, 在增加感受野的同时使信息得到最大化的保留；提出一个通道注意力机制, 强化目标核心特征的表达以及无关背景区域的抑制；在多尺度上挖掘带有图像级全局上下文的卷积特征, 进一步提高分割性能。本文在采集的胚胎以及 DRIVE数据集上进行仿真实验, 其结果表明, 与 U-Net及其衍生模型相比该方法具有更高的准确率和鲁棒性。

近年来，深度学习在一些具有挑战性的高难度问题中取得了巨大的成功，这其中就包含深度学习在医学图像分析中的应用。率先提出并采用三维卷积神经网络从核磁共振图像中自动检测大脑微出血。为了减少肺结节自动检测中的假阳性，设计了考虑多级上下文信息的三维卷积神经网络框架，并进一步提出了一种新颖高效的三维神经网络，配备了三维深度监督机制，从而全面解决了三维网络优化难点和医学训练样本不足的挑战。对深度学习的成功应用涵盖了广泛的医学图像模式，包括组织病理学成像、超声成像、MR/CT成像和皮肤镜成像等。同时，虚拟现实在临床中的应用也取得了长足进步，基于虚拟现实的手术模拟成为一种经济且有效的临床培训手段。通过医学成像、运动追踪、物理模拟、触觉反馈和视觉呈现的智能集成来构建逼真的虚拟环境，从而实现提供外科手术专业培训的目标。主要介绍了使用深度学习进行医学图像分析的最新工作，以及开发的基于虚拟现实的一系列手术模拟系统。

针对目前医学图像普遍存在病理区域尺寸分布较分散、细节特征不明显以及同类组织影像间的视觉差异较大等问题, 本文在CBMIR系统的基础上, 提出了一种融合多尺度特征及注意力机制的医学图像检索方法。该方法通过融合多尺度特征并设置可学习权重系数来自适应平衡浅层图像纹理特征和深层图像语义特征的关系, 提高网络对不同尺度上的病理特征提取能力。同时, 引入注意力模块, 对网络输出的特征图进行通道加权求和, 提高关键特征通道的特征表达能力, 使网络更能关注到图像中的具有辨识性的病理特征区域。最后, 在损失函数设计时, 使用多重损失进一步优化样本特征在特征空间的分布。最终在Mura数据集上的mAP@100、mAP@20两个指标上分别达到了0.95、0.98的检索精度, 基本符合实际场景对模型的检索精度要求。

光声计算断层成像是近年发展起来的一种非入侵式和非电离式的新型生物医学成像方法,其临床应用对成像精度要求较高。生物组织内声速分布的不均匀性时常造成重建的光声图像中存在较为严重的伪影。实现光声IP和声速分布的联合重建是改善成像效果、去除成像伪影的重要途径之一,也是仅通过光声单一模态的信息获取就可以获得多模态信息(包括光学和声学信息)的崭新途径。总结了几种本研究组近年来开发的光声-声速联合重建方法,包括基于特征耦合、基于波前整形以及基于信号互补的方法。同时,分析了这几种方法的优劣势和适用场景,以期帮助人们更好地利用这些方法解决光声图像质量提高和多模态图像获取的问题。

传统的医学影像检索使用单幅影像, 但单幅影像中的影像信息有限, 且不能有效利用不同角度拍摄的医学影像。为解决这一问题, 提出了一种多视角判别度量学习的医学影像检索方法。基于Fisher判别模型在多个视角之间学习鲁棒的度量空间, 使得相似的医学影像在度量空间紧密地映射, 不相似的医学影像尽可能地彼此分离。同时, 设置视角权重因子充分利用每个视角特征的不同表征信息。在“乳腺癌数字存储库”中与4种多视角方法比较, 本文提出的方法检索准确率提高7%, 识别率更高。its applications for breast image retrieval

血管内超声（IVUS）和血管内光学相干层析(OCT)成像均属无损医学成像技术，常用于人体冠状动脉中薄纤维帽脂质斑块(TCFA）的检查。其中IVUS的探测深度大，能够较为精确地测定TCFA的脂质核心大小，但由于分辨率较低，无法测量TCFA的纤维帽厚度；而OCT分辨率很高，可以精确测量TCFA的纤维帽厚度，但探测深度浅，无法描述脂质核心的全貌。IVUS与血管内OCT相结合，一次检查即可同时获得血管内壁的超声与OCT图像，实现对血管内血栓与斑块的精准诊断。通过设计IVUS和OCT微型集成探头及近端驱动，实现了一套可同时对血管内壁进行IVUS和OCT成像的系统，对血管组织检测深度达到8 mm，横向分辨率优于1 mm，轴向分辨率优于400 μm，同时在1 mm范围内横向分辨率优于10 μm，轴向分辨率优于8 mm。对琼脂和铁丝等搭建的血管模型样品进行了成像实验，验证了系统的可行性。

自从X射线成像首次被应用于医学中,医学影像已经在探测和诊断疾病、评估治疗效果方面发挥了极为重要的作用。现今常规医院里所使用的主要医学影像模式大约都是在最近50年中发明的。随后医学影像技术在成像分辨率、成像速度、发现新的内源性对比机制和发展新的外源性造影剂、医学影像的处理、分析、可视化等方面取得了长足的进步。已经从简单的二维投影成像跨越到准实时获取的三维影像,从仅仅显示解剖结构跨越到高灵敏度和特异性的生理功能、疾病状态和治疗效果的监测。时至今日,医学影像的应用领域已经遍布主要的人体器官和疾病类型,从神经疾病、代谢紊乱到心血管疾病、传染病,还有肿瘤。如果从更宽广的视角来看,生物医学影像学在技术上和应用方面获得了极大的发展,它为生物学和生物医学研究提供了非常重要的结果,帮助我们从分子到细胞、再到器官和系统的尺度上理解基础的生物学理论、疾病发生发展的过程。