为了在去除红外图像的脉冲噪声的同时, 有效保持和恢复图像的边缘细节, 提出了基于灰度特征和众数原则的迭代双边中值滤波方法。此方法根据脉冲噪声的灰度特征以及众数原则, 将取最小和最大值、而在邻域的灰度分布上孤立的像素识别为噪声。根据基于空间距离和灰度相似的加权系数, 对邻域中的无噪像素与已经去噪恢复的像素进行频次加权, 用频次加权中值作为噪声像素的估计值。其中, 以迭代遍历的方式执行去噪处理, 充分利用前次遍历处理的结果, 以去除高密度噪声。实验数据证明, 此方法去噪所得的 PSNR和 EPI值以及视觉效果均优于现有方法, 具有更好的去噪性能。

受拍摄环境及局部放电程度影响, 夜间型紫外相机拍摄电晕放电图像不清晰、放电区域的颜色不仅接近背景颜色且与背景交叉重叠等导致难以自动分割局部放电, 针对该问题提出一种新的电力线紫外图像局部放电区域精确分割方法。首先, 构建基于 Unet深度学习语义分割模型, 利用已训练 Unet网络对紫外图像语义分割获得电晕放电区域粗分割结果; 其次, 将放电区域紫外图像转换为灰度图像, 基于前景加权的 Otsu阈值分割法对粗分割结果进行精确分割。对 426个样本进行测试, 本文方法全部分割出了样本图像中的局部放电区域, 且分割出的放电区域与真值之间的误差接近 0, 所提出的电晕放电分割方法能为局部放电大小量化和评估提供准确的数据源。

红外图像中的人体摔倒检测不受环境光照射的影响, 在智能安防领域有着重要的研究意义和应用价值。现有的摔倒检测方法没有充分考虑人体关键点的位置变化规律, 容易对类摔倒动作造成误检。针对这一问题, 本文提出一种基于改进 Alphapose的红外图像摔倒检测算法。该算法使用 Yolo v5s目标检测网络, 在提取人体目标框输入姿态估计网络的同时, 对人体姿态进行直接分类, 再结合人体骨架关键点的位置信息和姿态特征进行判断。通过实验证明, 该算法在准确度和实时性方面都有良好的表现。

红外摄像机虽然能够全天候 24 h工作, 但是相比于可见光摄像机, 其获得的红外图像分辨率和信杂比低, 目标纹理信息缺乏, 因此足够的标记图像和进行模型优化设计对于提高基于深度学习的红外目标检测性能具有重要意义。为解决面向监控应用场景的红外目标检测数据集缺乏的问题, 首先采用红外摄像机采集了不同极性的红外图像, 基于自研图像标注软件实现了 VOC格式的图像标注任务, 构建了一个包含行人和车辆两类目标的红外图像数据集( Infrared-PV), 并对数据集中的目标特性进行了统计分析。然后采用主流的基于深度学习的目标检测模型进行了模型训练与测试, 定性和定量分析了 YOLO系列和 Faster R-CNN系列等模型对于该数据集的目标检测性能。构建的红外目标数据集共包含图像 2138张, 场景中目标包含白热、黑热和热力图 3种模式。当采用各模型进行目标检测性能测试时, Cascade R-CNN模型性能最优, mAP0.5值达到了 82.3%, YOLO v5系列模型能够兼顾实时性和检测精度的平衡, 推理速度达到 175.4帧/s的同时 mAP0.5值仅降低 2.7%。构建的红外目标检测数据集能够为基于深度学习的红外图像目标检测模型优化研究提供一定的数据支撑, 同时也可以用于目标的红外特性分析。

为了使无人农机在复杂环境的生产过程中及时感知环境信息, 避免安全事故发生, 本文提出了一种 PIE(Poisson Image Editing)和 CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先, 利用红外图像及其对应的红外图像显著区域对 CGAN网络进行训练; 然后, 将红外图像输入训练好的网络, 即可得到显著区域掩膜; 在对其进行形态学优化后进行基于 PIE的图像融合; 最后, 对融合结果进行增强对比度处理。该算法可以实现快速图像融合, 满足无人农机实时感知环境的需求, 并且该算法保留了可见光图像的细节信息, 又能突出红外图像中行人和动物等重要信息, 在标准差、信息熵等客观指标上表现良好。

为了降低多尺度分解融合算法的复杂性, 并提高融合图像适应人类视觉特点, 本文提出一种基于引导滤波二尺度分解的红外与可见光图像融合的方法。首先利用引导滤波对可见光图像实施增强的图像预处理, 然后利用引导滤波将源图像分解为基础层和细节层。在细节层的融合规则中我们采用能量保护和细节提取的方法, 最后将融合后的细节层与基础层合成融合结果。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。本文最后还讨论了可见光图像增强对融合方法的影响: 从实验数据可知, 增强可以提升融合效果, 但在图像融合中融合方法才是关键。

针对红外图像增强过程中容易饱和、细节丢失等问题, 提出一种参数自设定的双直方图均衡化方法。根据灰度级累积概率密度黄金比例值将原始图像划分为两个独立的子图像。结合原始图像曝光度和子图像灰度级区间信息, 对每个子图像的直方图进行多尺度自适应加权校正。基于校正后的直方图, 对每个子图像分别作均衡化映射变换, 最后合并子图像获得增强图像。在红外图像公开数据集 INFRARED100上进行的测试显示, 与亮度保持双直方图均衡化(Brightness Preserving Bi-Histogram Equalization, BBHE)、带平台限制的双直方图均衡化(Bi-histogram Equalization with a Plateau Limit, BHEPL)、基于曝光度的双直方图均衡化(Exposure based Sub-image Histogram Equalization, ESIHE)方法相比, 所提方法增强的图像具有合适的平均对比度和更大的平均信息熵, 在峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似度(Structural Similarity, SSIM)、绝对平均亮度偏差(Absolute Mean Brightness Error, AMBE)指标上平均提升至少 17.2%、4.0%、56.2%。实验结果表明, 所提方法对不同亮度特征的红外图像都有良好的适应性, 可有效增强红外图像对象和背景之间的对比度, 在噪声抑制、亮度和细节保持等方面优于同类方法。

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果, 针对复杂红外背景下变电设备分割精度低的问题, 提出了一种融合可见光和红外图像的多模态路径聚合网络Multimodal Path Aggregation Network, MPAN)。首先提取并融合两种模态图像的特征, 考虑到两种模态图像的特征空间存在差异, 提出了自适应特征融合模块(Adaptive Feature Fuse Module, AFFM), 以充分融合两种模态特征; 对具有多尺度特征的主干网络增加自底向上的金字塔网络, 并对横向连接的路径增强模块引入自注意力机制; 最后使用 dice系数优化掩膜损失函数。实验结果表明, 多模态图像的融合能够增强分割性能, 且验证了提出各模块的有效性, 该模型能够显著提高红外图像中变电设备实例分割的准确率。

针对复杂任务场景中, 目标检测存在的多尺度特征学习能力不足、检测精度与模型参数量难以平衡的问题, 提出一种基于 CSE-YOLOv5(CBAM-SPPF-EIoU-YOLOv5, CSE-YOLOv5)模型的目标检测方法。模型以 YOLOv5主干网络框架为基础, 在浅层引入卷积块注意力机制层, 以提高模型细化特征提取能力并抑制冗余信息干扰。在深层设计了串行结构空间金字塔快速池化层, 改进了统计池化方法, 实现了由浅入深地融合多尺度关键特征信息。此外, 通过改进损失函数与优化锚框机制, 进一步增强多尺度特征学习能力。实验结果显示, CSE-YOLOv5系列模型在公开数据集 RSOD、DIOR和 DOTA上表现出良好的性能。 mAP@0.5的平均值分别为 96.8%、92.0%和 71.0%, 而 mAP@0.5:0.95的平均值分别为 87.0%、78.5%和 61.9%。此外, 该模型的推理速度满足实时性要求。与 YOLOv5系列模型相比, CSE-YOLOv5模型的性能显著提升, 并且在与其他主流模型的比较中展现出更好的检测效果。

在人群计数中, 针对尺度变化、行人分布不均以及夜间较差成像条件, 提出了一种基于 RGB-T(RGB-Thermal)图像的多模态人群计数算法, 称为双流残差扩张网络, 它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中, 前端网络用来提取 RGB特征和热特征, 扩张卷积模块进一步提取不同尺度的行人特征信息, 全局注意力模块用来建立全局特征之间的依赖关系。此外, 还引入了一种新的多尺度差异性损失, 以提高网络的计数性能。为评估该方法, 在 RGBT-CC(RGBT Crowd Counting)数据集和 DroneRGBT数据集上进行了对比实验。实验结果表明, 在 RGBT-CC数据集上与 CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的 GAME(0)