1 南京理工大学 电子工程与光电技术学院,江苏 南京 210094
2 中国科学院长春光学精密机械与物理研究所,吉林 长春 130033
3 重庆嘉陵华光光电科技有限公司,重庆 400700
4 北京环境卫星工程研究所,北京 100094
5 苏州大学 光电科学与工程学院,江苏 苏州 215006
6 苏州市立医院 普外科,江苏 苏州 215002
7 苏州市立医院 生殖与遗传中心,江苏 苏州 215002
8 浙江大学 光电科学与工程学院,浙江 杭州 310027
传统病理学检测中,由于复杂的染色流程和单一的观察形式等限制着病情的诊断速度,而染色过程实质上是将颜色信息与形态特征关联,效果等同于现代数字技术的生物医学图像的图义分割,这使得研究者们可以通过计算后处理的方式,大大降低生物医学成像处理样品的步骤,实现与传统医学染色金标准一致的成像效果。近些年人工智能深度学习领域的发展促成了计算机辅助分析领域与临床医疗的有效结合,人工智能色彩迁移技术在生物医学成像分析上也逐渐表现出较高的发展潜力。文中回顾了深度学习色彩迁移的技术原理,列举此类技术在生物医学成像领域中的部分应用,并展望了人工智能色彩迁移在生物医学成像领域的研究现状和可能的发展趋势。
深度学习 人工智能 色彩迁移 生物医学成像 deep learning artificial intelligence color transfer biomedical imaging 红外与激光工程
2022, 51(2): 20210891
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室, 北京 100081
2 华东光电集成器件研究所集成电路设计部, 江苏 苏州 215163
采用近红外(NIR)波段高透的红(R)、绿(G)、蓝(B)滤光(即R+NIR、G+NIR、B+NIR),是电子倍增CCD(EMCCD)实现真彩色成像且保持低照度下高灵敏度的常见手段,然而,近红外成分的引入会带来颜色失真和颜色分布压缩。本文通过约束已配准的源图像和参考图像在标准正交颜色空间中具有相同的坐标表示,构建正交的色彩传递模型。在此基础上通过卷积神经网络引入特征维度,设计了端到端的色彩传递网络,改善偏色和颜色分布压缩导致的一对多颜色映射问题。色彩传递网络由预训练的前端网络和可训练的后端网络组成,前端网络根据EMCCD图像的纹理和语义将像素点分散到不同的特征通道上,后端网络根据各特征图内像素点的编码统计特征进行色彩传递。本文方法经大量图像验证具有一定普适性,在不同场景和照度下均取得较自然的色彩效果。相对于真实彩色图像,本文结果与颜色失真图像相比,峰值信噪比平均提高了75.78%,结构相似性相对提高了103.74%,色差相对降低了67.48%。
色彩 色彩传递 颜色空间 深度特征 近红外波段 光学学报
2021, 41(21): 2133001
江西理工大学 信息工程学院, 江西 赣州 341000
颜色传递在图像处理领域一直备受关注, 传统的颜色传递方法往往存在细节保持能力不足、层次感欠缺和视觉效果不佳等问题。针对上述问题, 本文提出了一种结合图像签名和最优传输的局部颜色传递新方法。首先, 引入基于图像签名的显著区域检测方法, 得到参考图像和内容图像的前景区域和背景区域, 然后在对应区域进行颜色传递以提高结果图像的层次感。其次, 在传统线性颜色传递模型的基础上, 结合最优传输理论提出了一种保持内容图像亮度的颜色传递策略, 以较好地提升结果图像的质量。最后, 为了更好地评估颜色传递效果, 结合色度差和结构相似度设计了一种新的颜色传递客观评价指标。实验结果表明, 相比于传统的颜色传递方法, 文中所提方法得到的结果图像能够较好地保持内容图像的细节信息和层次感, 并且具有更佳的视觉效果(新方法综合效果较传统方法提升了约30%)。另外, 相对于传统的颜色传递评价指标而言, 文中所提客观评价指标更加忠实于用户的主观评价结果。实验分析表明, 与传统颜色传递方法相比, 文中所提方法得到的结果图像在细节保持、层次感保持以及视觉效果上均有更佳表现, 而且文中所提客观评价指标更为贴近主观评价结果。
图像签名 显著检测 最优传输 传递策略 颜色传递 image signature saliency map optimal transmission delivery strategy color transfer
河南工程学院 材料与化学工程学院, 河南 郑州 450007
提出了一种基于邻域优先搜索和纹理相似度匹配的色彩转移算法。首先设计了邻域搜索方案在彩色图像中寻找目标灰度像素的候选匹配像素, 然后基于纹理相似度计算候选像素与目标像素之间的匹配误差, 并据此确定最终匹配像素。对于不满足邻域匹配条件的目标像素, 通过对彩色参考图像进行边缘保持平滑滤波并设置采样间隔的手段, 提高其全图搜索和匹配速度。针对全局匹配后图像中出现的失真区域, 在彩色图像中设置对应的样窗与其进行单独匹配, 以进一步提升色彩转移效果。主观评价结果显示: 在4个测试案例中, 本文算法与经典Welsh算法具有相似的色彩转移效果, 但在计算效率上, 本文算法比Welsh算法具有较大优势。借助一个色彩构成较为复杂的灰度图像彩色化案例, 验证了样窗匹配在色彩转移和色域再现方面的改进效果。
色彩转移 邻域优先匹配 纹理相似度 引导滤波 color transfer neighbourhood-first matching texture similarity guided filtering
长春理工大学 电子信息工程学院, 吉林 长春 130022
针对传统颜色迁移算法在处理图像时存在颜色误传递, 色彩不够自然等问题, 提出一种基于密集连接生成对抗网络的图像颜色迁移方法。在训练过程中, 训练生成网络生成颜色迁移图像。生成网络中的编码层利用密集连接网络跨层连接的优点促进颜色特征重用, 加快网络的收敛速度, 同时在转换层采用3层残差模块代替原始的两层残差模块更好地组合图像的不同特征。训练判别网络使其辨别原图像与生成的迁移图像间的差别。本文判别网络中用-log函数计算模型损失, 加快训练初期更新速度。实验结果表明, 与同类模型相比, 本文方法结果图像保留更多细节, 且能够抑制部分噪声, 整体更接近自然图像。
生成对抗网络 颜色迁移 密集连接 generative adversarial networks color transfer dense connection
陆军工程大学石家庄校区 电子与光学工程系, 石家庄 050000
为了得到具有自然彩色的夜视图像, 彩色夜视技术的研究成为夜视技术研究领域的一大热点。介绍了夜视技术的发展概况和获得具有自然感彩色夜视图像的彩色夜视技术手段, 主要可分为硬件方式和软件合成的方式, 其中软件方式主要有基于多传感器图像融合的方法和基于色彩传递的方法。详细介绍了两种方式的技术方案, 并对彩色夜视技术做出了技术展望。
传感器技术 彩色夜视 硬件方式 软件方式 图像融合 色彩传递 sensor technique color night vision hardware mode software mode image fusion color transfer
宁波大学信息科学与工程学院,浙江 宁波 315211
颜色传递是近年来图像处理和计算机视觉领域的热门研究问题,随着立体图像技术的发展,对于立体图像的颜色传递越来越受关注。本文提出一种双目立体图像的颜色传递方法,在完成颜色传递的同时力求提升用户的观看体验。根据用户实际需求,可以对目标对象进行颜色传递,而保持背景的颜色不改变。在本文提出的方法中,由用户指定图像对象,然后用图割的方法进行图像分割,根据所选对象与目标图像颜色特征的多元高斯模型匹配完成颜色传递。为了进一步增强观看效果,本文在颜色传递的同时进行非线性视差优化,从而提高目标对象的深度感。本文从不同立体图像库中随机选取图像进行实验,实验结果表明,本文方法中颜色传递和视差优化的结合,可以很好地提升立体图像的观看体验。
立体图像 多元高斯模型 颜色传递 视差优化 stereoscopic images multivariate generalized Gaussian distribution (MG color transfer disparity remapping
北方民族大学数学与信息科学学院图像处理与理解研究所, 宁夏银川 750021
提出一种基于改进颜色传递策略与非下采样 Contourlet变换(NSCT)的红外与可见光图像伪彩色融合算法。首先, 利用 NSCT与基于清晰区域的 Canny边缘检测算法获得灰度融合图。其次, 将融合灰度图像插入 Y通道, 源图像与融合灰度图像之间的残差图像分别插入 Cb、Cr通道以生成 YCbCr源彩色图像。最后, 利用本文设计的颜色传递模型对源彩色图像和目标图像进行色彩颜色统计匹配, 同时, 通过自适应颜色传递参数模型调整颜色传递参数。实验结果表明, 本文提出的融合算法使得伪彩色融合图像不仅对比度高、传递色彩自然、可以较好地抑制色彩渗入图像目标, 而且对目标图像质量要求不严格。
颜色传递策略 伪彩色融合 清晰区域边缘检测 color transfer strategy, Pseudo-color image fusion NSCT
长春理工大学 电子信息工程学院, 吉林 长春 130022
针对传统颜色传递算法只进行全局颜色传递, 未考虑图像局部特征, 出现颜色误传递的问题, 提出了一种基于Graph-Based图像分割与区域匹配的灰度图像彩色化算法。利用Graph-Based图像分割将目标图像和参考图像分割为若干个亮度和纹理特征一致的子区域。根据本文提出的思想, 认为“具有相似亮度和纹理的子区域具有相似的颜色分布”, 对目标图像和参考图像的子区域建立匹配关系, 利用亮度特征和LBP局部纹理特征对子区域进行匹配。最后, 在YCbCr颜色空间中对相匹配子区域利用亮度和纹理特征进行颜色传递。实验结果证明, 在该算法中其参考图像无需和目标图像配准, 只需特征相近, 就可以对目标图像实现全自动的彩色化技术并有效克服了颜色误传递的现象,彩色化结果图像在色彩分布和主观视觉上都有明显的提高。
图像分割 区域匹配 彩色化 颜色传递 灰度图像 image segmentation region matching colorization color transfer grayscale image