光学 精密工程
2023, 31(23): 3474
长春理工大学 电子信息工程学院, 吉林 长春 130022
针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节; 构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。
图像融合 偏振图像 生成对抗网络 密集连接卷积网络 image fusion polarization image generative adversarial networks densely connected convolutional networks
Author Affiliations
Abstract
1 Tsinghua Shenzhen International Graduate School, Shenzhen Key Laboratory for Minimal Invasive Medical Technologies, Institute of Optical Imaging and Sensing, Shenzhen 518055, P. R. China
2 Tsinghua University, Department of Physics, Beijing 100084, P. R. China
3 Fujian Medical University, Department of Pathology and Institute of Oncology, School of Basic Medical Sciences, Fuzhou 350014, P. R. China
4 Fujian Medical University, Diagnostic Pathology Center, Fuzhou 350014, P. R. China
5 Fujian Medical University, Mengchao Hepatobiliary Hospital, Fuzhou 350014, P. R. China
Mueller matrix imaging is emerging for the quantitative characterization of pathological microstructures and is especially sensitive to fibrous structures. Liver fibrosis is a characteristic of many types of chronic liver diseases. The clinical diagnosis of liver fibrosis requires time-consuming multiple staining processes that specifically target on fibrous structures. The staining proficiency of technicians and the subjective visualization of pathologists may bring inconsistency to clinical diagnosis. Mueller matrix imaging can reduce the multiple staining processes and provide quantitative diagnostic indicators to characterize liver fibrosis tissues. In this study, a fiber-sensitive polarization feature parameter (PFP) was derived through the forward sequential feature selection (SFS) and linear discriminant analysis (LDA) to target on the identification of fibrous structures. Then, the Pearson correlation coefficients and the statistical T-tests between the fiber-sensitive PFP image textures and the liver fibrosis tissues were calculated. The results show the gray level run length matrix (GLRLM)-based run entropy that measures the heterogeneity of the PFP image was most correlated to the changes of liver fibrosis tissues at four stages with a Pearson correlation of 0.6919. The results also indicate the highest Pearson correlation of 0.9996 was achieved through the linear regression predictions of the combination of the PFP image textures. This study demonstrates the potential of deriving a fiber-sensitive PFP to reduce the multiple staining process and provide textures-based quantitative diagnostic indicators for the staging of liver fibrosis.
Polarization feature parameter polarization image textures liver fibrosis Journal of Innovative Optical Health Sciences
2023, 16(5): 2241004
大气与环境光学学报
2023, 18(2): 108
1 天津大学精密仪器与光电子工程学院,天津 300072
2 天津大学光电信息技术教育部重点实验室,天津 300072
3 天津大学海洋科学与技术学院,天津 300072
提出一种基于无监督学习的偏振图像去噪方法,该方法打破了监督学习下深度学习需要严格配对图像的限制,使用非配对偏振图像训练一个偏振特化的循环生成对抗网络。该网络通过所提出的基于偏振信息的损失函数统计学习噪声图像和清晰图像的映射。实验结果表明,该网络可以有效地抑制室内外不同环境下偏振图像的噪声,同时能较好地恢复线性偏振度和偏振角。所提方法对复杂噪声环境下的偏振成像应用具有重要意义。
图像处理 偏振成像 偏振图像去噪 无监督学习 生成对抗网络
1 长春理工大学 光电工程学院,长春
2 吉林省空间光电技术重点实验室,长春
针对传统探测方式对目标探测不到、看不清、图像轮廓和细节模糊等问题,采用红外与偏振探测相结合方式,通过对红外图像信息和偏振图像信息解算,解决在各种环境下探测不到、看不清的问题。针对目标局部特征提取过程数据量大、提取速度慢等问题,提出了一种改进的深度学习偏振图像局部特征提取SIFT算法。实验结果显示,该算法结合偏振成像和深度学习的优势,实现在简单或复杂背景下目标的特征快速提取,该算法对偏振图像局部特征提取速度快、提取精度高。该算法为目标的分类、识别与跟踪技术奠定理论基础。
偏振图像 局部特征 深度学习 尺度不变特征转换(SIFT)算法 神经网络 polarization image local characteristics deep learning scale-invariant feature transform (SIFT) algorithm neural network
1 安徽大学 计算智能与信号处理教育部重点实验室, 安徽 合肥 230601
2 偏振光成像探测技术安徽省重点实验室, 安徽 合肥 230031
3 中国科学院通用光学定标与表征技术重点实验室, 安徽 合肥 230031
4 合肥学院 先进制造工程学院, 安徽 合肥 230601
偏振光反射信息可直接反演目标本征特性, 且在传输过程中具备较强的抗干扰特性, 因此偏振成像技术可适用于多种复杂环境中的智能监控、交通监察领域。近年来使用深度学习判读图像检测目标的方法迅速发展, 已经广泛应用于图像处理的各个领域。本文提出了一种基于偏振图像与深度神经网络算法的行人、车辆多目标检测算法YOLOv5s-DOLP。首先, 通过实时获取到偏振图像进行偏振信息解析, 获取目标偏振度图像。其次, 为增强偏振度图像中检测目标与背景存在高对比度的特性, 在主干网络中引入通道注意力与空间注意力, 提升网络特征进行自适应学习的能力。此外, 使用K-means算法对目标位置信息进行聚类分析, 加快网络在偏振度图像的学习速度, 提升目标检测精度。实验结果显示, 该算法结合了偏振成像和深度学习目标检测的优势, 对于低照度复杂场景中的车辆、行人目标检测效果好、检测速度快, 对于道路车辆的目标检测、识别与跟踪具有一定的应用价值。
偏振成像 神经网络 多目标检测 注意力机制 polarization image, neural network, YOLO v5s, mult YOLOv5s
1 中国科学院红外探测与成像技术重点实验室, 上海 200083
2 中国科学院上海技术物理研究所, 上海 200083
3 中国科学院大学, 北京 100049
分焦平面(DoFP)偏振探测器在成像过程中会受到噪声的干扰,从而影响解算偏振信息图像的质量和精度。首先,基于图像的非局部自相似性和不同偏振方向图像之间的相关性,利用DoFP偏振图像的空间分布特点对图像进行分块并选取相似的图像块构成相似块矩阵。然后,利用主成分分析(PCA)得到相似块矩阵的特征值矩阵和特征向量矩阵,并根据噪声和相似块矩阵的特征值分布特点,在PCA域中利用降维对图像进行去噪。最后,利用模拟和真实DoFP偏振图像评估本算法的去噪效果。实验结果表明,本算法可以有效抑制图像中的噪声,保留图像的纹理和边缘细节信息,比现有算法的峰值信噪比至少提高了1 dB。
成像系统 分焦平面偏振图像 非局部自相似性 相似块矩阵 图像去噪 主成分分析