1 北京理工大学光电学院,北京 100081
2 北京市混合现实与新型显示工程技术研究中心,北京 100081
3 北京理工大学计算机学院,北京 100081
4 北京理工大学医学技术学院,北京 100081
5 中国人民解放军总医院激光医学科,北京 100853
手术导航综合运用器官分割建模与手术规划、位姿标定与跟踪定位、多模态图像配准与融合显示等技术,使医生精确定位病灶与手术工具的位置,透过组织表面对内部组织进行观测,可大幅提升手术的安全性,缩短手术时间并提高手术效率。常规手术通常使用超声、内窥镜或X光等单模态影像进行手术过程引导,信息单一且均为二维影像,空间立体信息缺失,手术过程严重依赖医生经验;而多模态图像引导的手术导航技术通过融合多模态图像的优势,在三维空间提供病灶的结构或功能信息,大幅提升医生对血管、神经以及重要组织结构的空间辨识力。由此,本文针对多模态图像分割建模、手术方案决策、手术空间位姿标定与跟踪、多模态图像配准、图像融合与显示等多模态图像引导手术导航的关键技术进行总结和分析,提出其进一步发展面临的挑战并展望其未来发展趋势。多模态图像引导手术导航技术已成为神经外科、颅颌面、骨科、经皮穿刺、血管介入等临床科室精准治疗的新兴手段,具有重要的应用前景。
手术导航 手术机器人 多模态医学影像 医学图像处理 定位跟踪 配准融合 光学学报
2023, 43(15): 1500002
近红外光学跟踪系统以其高精度、便捷的特点迅速发展成为手术导航中的重要组成部分。基于双目视觉设计了一套高精度、低成本的光学跟踪系统,该系统使用安装在器械上的被动标记球(NDI Passive Sphere)作为标记,并在双目相机镜头前添加近红外滤光片,以消除环境光的干扰。首先,采用轮廓过滤算法,用于标记轮廓的提取,使用最小二乘椭圆拟合算法获取标记投影中心的像素坐标;其次,设计了器械识别算法,使每个器械可以单独有序储存标记球的中心像素坐标,用于多个器械的分辨;最后,通过左右视图对应标记中心匹配,重建其空间坐标,进而推导出器械尖端在世界坐标系中的坐标。实验使用该系统跟踪器械,利用器械的无规则摆放实验验证了器械识别算法的准确性和鲁棒性,准确率达95%,平均识别时间仅需4 ms。并对系统进行了稳定性、静态定位精度、动态跟踪等测试。结果表明:稳定性误差可达0.13 mm,静态定位精度可达0.373 mm,所提出的近红外光学跟踪系统具有较高的精度和稳定性,可以满足手术导航的要求。
器械识别 手术导航 光学定位 双目视觉 instrument recognition surgical navigation optical positioning binocular vision 红外与激光工程
2022, 51(6): 20210517
1 浙江师范大学杭州高等研究院,浙江 杭州 311231
2 浙江大学光电科学与工程学院,浙江 杭州 310027
基于光谱成像技术的手术导航通过分析不同组织的光谱差异,能够有效识别各类组织,具有重要的应用价值,但目前光谱成像的采样速度和光谱图像的呈现方式极大地限制了其在临床中的应用。提出面向手术导航的增强现实计算光谱成像系统,通过使用RGB成像器件和多光谱单像素探测器,实现单次成像下的高质量光谱重构,极大地提升了成像速度和重构效率;采用主成分分析和光谱角制图提取光谱图像的有效信息,突出特征组织区域;展示了头戴式增强现实显示设备中光谱图像与实际手术区域融合后实现的图像增强效果。
计算光谱成像 增强现实 手术导航 图像增强 激光与光电子学进展
2022, 59(20): 2011014
1 中国科学技术大学工程科学学院精密机械与精密仪器系,安徽 合肥 230027
2 中国科学技术大学苏州高等研究院,江苏 苏州 215123
3 中国科学技术大学附属第一医院(安徽省立医院)口腔颌面外科,安徽 合肥 230001
远程手术指导在解决全球外科医学发展不均衡问题上发挥着关键作用,但目前远程指导设备在外科手术标记的显示方面存在一些不足,如,基于显示器的设备需要医生不断地切换视野,头戴式设备分辨率和视野有限,投影式设备的投影亮度有限,而且以这些方式显示的标记都会在组织变形时失效。为了克服这些不足,尤其是解决标记无法随组织一同变形的问题,本团队设计了一种同轴视觉光致变色标记系统和一种具有生物兼容性的光致变色薄膜,标记系统照射贴在体表的薄膜使其变色,就可以将远程手术指导标记直接保留在患者皮肤表面。该标记系统能在7 s内扫描出长为160 mm的外科手术标记,而且该标记能在20 min内清晰可见,系统扫描出的标记与专家绘制的指导标记的重合度(IoU)可达0.93±0.02。仿体对比实验和离体组织实验结果表明,该系统相较于观看显示器手绘指导标记的优势更加明显,为远程医疗提供了安全准确且直观高效的显示方案,具有广阔的临床应用前景。
医用光学 仪器 光致变色材料 远程指导 手术导航 中国激光
2022, 49(20): 2007102
福建医科大学孟超肝胆医院,福建 福州 350025
肿瘤是严重威胁人类健康和社会发展的重大公共卫生问题之一。针对肿瘤的治疗,外科手术切除仍是最普遍、最理想的策略。目前,外科医师在术中主要通过肉眼观察、超声等方法确定肿瘤边界、残余病灶以及微小转移病灶,然而,这些方式存在手术切缘肿瘤易残留、难以实时发现微小转移灶等问题,导致肿瘤术后复发、转移率高,严重影响病人的预后和远期生存。荧光手术导航的快速发展为解决这一问题提供了新的技术支撑。本文聚焦于荧光手术导航用荧光探针,重点对荧光手术导航系统和各类有机、无机近红外二区荧光分子探针进行系统阐述,分析其临床转化与应用面临的瓶颈问题,探讨可能的解决思路,以期为国内外相关领域的研究提供思路与参考。
生物医学 荧光手术导航 荧光探针 近红外二区 腹腔镜手术系统 分子影像探针