南京邮电大学电子与光学工程学院、柔性电子(未来技术)学院,南京 210000
在公共安全、**等领域高分辨率热红外图像能够提供更多的场景细节信息, 有着广泛的应用需求,但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN), 通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题; 使用Concat模块实现局部特征信息的融合, 利用反卷积层进行特征图像的上采样, 使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度, 加快运行速度。所提算法与SRCNN, FSRCNN和ADSR等算法进行对比测试, 使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法的评价指标。实验结果表明提出的RD-CNN算法优于其他对比算法, 生成的高分辨率图像细节丰富且清晰。
热红外图像 超分辨重建 多级跳线 双通道 注意力残差块 Concat层 thermal infrared image super-resolution reconstruction multi-level skip dual-channel attention residual block Concat layer
1 中国农业大学信息与电气工程学院, 北京 100083
2 现代精细农业系统研究教育部重点实验室, 北京 100083
3 农业部农业信息获取技术重点实验室, 北京 100083
乳腺炎是奶牛生产养殖中最为严重的疾病之一, 奶牛乳腺炎的早期检测可以为后续治疗提供依据, 从而提高疾病治疗效率, 降低养殖风险。 为了对自然行走的奶牛实现快速、 高精度的“一步式”乳腺炎疾病检测, 提出了一种基于热红外图像, 融合数据增强与改进ResNet34的奶牛乳腺炎疾病检测方法。 相对于现有的“多步式”奶牛红外图像乳腺炎检测方法, 该方法无需奶牛关键部分如乳房和眼睛的定位以及温度提取等, 可有效避免“多步式”造成的误差累计, 从而实现更高效的乳腺炎检测。 首先, 将包含奶牛关键部位的局部图片水平拼接成信息完整的整体图片, 结合RandAugment数据增强方法扩增训练样本; 其次, 采用ResNet34残差网络作为实验的基础网络, 并根据热红外图像特性对模型进行如下改进: (1)精简网络内部冗余层使得模型更轻量化; (2)中间层添加辅助分类器弥补由于模型精简带来的特征损失; (3)将改进的多融合池化层代替原有单一池化层, 使得特征提取内容更丰富。 随机选取3 298张热红外图像(66头奶牛)作为实验对象, 并设置多组对比实验, 结果表明: 与传统ResNet34相比改进后ResNet34模型分类准确率提高3.4%, 基于改进ResNet34并融合迁移学习和数据增强的模型验证准确率达到90.3%, 测试准确率为88.4%, 分类时间仅需3.39×10-3 s。 为了保证实验数据集的样本独立性, 进一步将奶牛个体数量按照3∶1∶1划分为训练集、 验证集和测试集, 测得模型测试准确率达到80.3%, 证明所提出模型具有很好的鲁棒性。 根据测试结果, 计算出模型查准率为91.2%、 查全率为91.6%、 F1分数为91.4%, 与前人所做实验相比准确率提高了5.1%, 特异度提升5.3%。 该研究方法可以为初期奶牛乳腺疾病筛选和医学诊断提供辅助和参考。
迁移学习 数据增强 热红外图像 奶牛乳腺炎检测 Transfer learning ResNet34 ResNet34 Data enhancement Thermal infrared image Detection of mastitis in dairy cows
随着城市化进程的加快和人口的快速增长,城市空间内部格局正发生变化,城市热岛效应不断加剧。本研究旨在根据建筑、人口与地表热环境的关系来寻求可持续发展。与其他研究相比,本文采用了东京新宿区的机载热红外图像、机载激光雷达数据、建筑物矢量数据和人口普查数据等新颖数据,且最大创新点在于对建筑密度、平均高度、平均地表温度(Land Surface Temperature, LST)和人口密度之间进行的定量分析。结果显示,平均LST与建筑密度的相关性最大(r=06718),其次是平均LST与人口密度的相关性(r=06050);建筑密度与人口密度呈正相关(r=04949),平均LST与建筑物平均高度呈负相关(r=-03814)。经研究可知,通过合理规划城市内部结构有望为减弱城市热岛效应和实现环境可持续发展提供参考。
城市建筑 热环境 机载热红外图像 机载激光雷达 相关分析 urban buildings thermal environment airborne thermal infrared image airborne lidar correlation analysis
红外与激光工程
2021, 50(S2): 20200520
1 武汉科技大学信息科学与工程学院, 湖北武汉 430081
2 武汉科技大学机器人与智能系统研究院, 湖北武汉 430081
3 武汉科技大学教育部冶金自动化与检测技术工程研究中心, 湖北武汉 430081
针对现有热红外图像行人检测方法在精度和速度方面存在的问题, 提出一种基于弱显著图的实时行人检测方法。该方法以轻量级 LFFD(Light and Fast Face Detector)网络为基础, 由两级改进网络即 SD-LFFD(Saliency Detection-LFFD)和 SF-LFFD(Saliency Fusion-LFFD)组成, 首先以热红外图像作为输入经 SD-LFFD网络产生初步行人检测结果和行人区域弱显著图, 接着将该弱显著图与原热红外图像结合“点亮”潜在行人区域并经 SF-LFFD网络产生新的行人检测结果, 最后将两级改进网络的行人检测结果融合得到最终结果。在数据集 CVC-09和 CVC-14上实验结果表明, 该方法与现有轻量级神经网络相比行人检测的平均精确率有大幅提升, 且在有限硬件资源下可实现实时检测。
热红外图像 行人检测 显著性检测 实时检测 thermal infrared image, pedestrian detection, sali
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
采用4种不同的地表特征因子及其组合,使用三层分解模型对研究区地表温度进行降尺度实验。实验结果表明:1)使用多地表特征因子组合的三层分解模型获得的降尺度精度高于使用单因子获得的降尺度精度,均方根误差由0.813 K提高到0.763 K,降尺度结果的误差主要集中在建筑区域;2)采用热场强度指数和热场变异指数作为评价指标,研究城市热岛效应,两种评价指标均表明多因子模型的精度优于单因子模型的精度。
遥感 热红外图像降尺度 地表特征因子 城市热岛 地表温度
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
地表温度(Land surface temperature, LST)是地-气相互作用和能量交换的重要参数之一.为了获取高空间分辨率地表温度数据, 研究改进了一种热红外遥感数据降尺度方法, 并以上海市Landsat8 OLI/TIRS影像为数据源进行了实验验证, 归一化植被指数(Normalized Difference Vegetation Index,NDVI)被分解为低频层、边缘层和细节层, 其中边缘层和细节层按比例增加到热红外数据中.并与经典的热红外降尺度方法DisTrad算法和TsHARP算法作为对比, 将模拟的地表温度(270 m)作为降尺度数据源实现LST降尺度(90 m).实验结果表明, 三种降尺度方法都保留原有的地表温度的空间特征, 但DisTrad算法和TsHARP算法增加了真实数据中并不存在的温度差异; 改进的三层分解模型地表温度的均方根误差为0.913 K, 与DisTrad方法和TsHARP算法相比精度分别提高了0.937 K和0832 K.
空间降尺度 三层分解模型 热红外影像 地表温度 spatial downscaling threelLayer decomposition thermal infrared image land surface temperature 红外与毫米波学报
2019, 38(2): 02203
高空间分辨率的热红外图像能够提供更多关于目标场景的细节信息,因而在 计算机视觉、医学和遥感等诸多领域有着广泛的应用需求。由于通过提升热红外相机硬件性 能的方式往往需要付出高昂的代价,因此我们选择通过超分辨率重建的方式来提高热红外图像的空间分辨 率。本文所重建的热红外图像来源于舟山航拍试验,所用热红外相机由自主设计搭载。分别采 用凸集投影法和迭代反投影法对热红外序列图像进行了超分辨重建。实验结果表明,这两种算 法均能有效提高热红外图像的空间分辨率。
超分辨率重建 热红外图像 凸集投影法 迭代反投影法 super-resolution reconstruction thermal infrared image Projection onto Convex Sets Approach algorithm iterative back-projecting algorithm
随着现代网络传输和视频通信技术的快速发展, 大大拓宽了热红外图像的应用领域。提出了一种基于小波变换的热红外将质图像滤波增强方法。该方法以受到不同强度高斯白噪声和脉冲噪声构成的混合噪声模型的热红外降质图像为研究对象, 首先对其进行二维小波变换, 从而获得高频和低频小波分解系数; 鉴于低频小波分解系数包含图像大部分信息, 基本不受噪声干扰的特点, 引入直方图均衡化法进行增强处理, 以改善图像低频信息的对比度; 根据各方向的小波高频分解系数中噪声的分布特征, 对经典数学形态学滤波算法进行研究, 分别设计出几类多尺度多方向的结构元素, 实现对各高频小波分解系数中噪声的三级串联滤波处理, 在此基础上进行自适应同态滤波增强, 以最大限度改善滤波后图像质量。最后进行小波分解系数重构。实验结果表明, 该算法对于热红外将质图像的处理效果优于单纯进行经典数学形态学滤波和已有的改进数学形态学滤波, 为该类降质图像的滤波增强处理提供了一条可供借鉴的思路。
热红外图像 混合噪声 小波变换 直方图均衡化 自适应同态滤波 改进数学形态学滤波 thermal infrared image mixed noise wavelet transform histogram equalization adaptive homomorphic filtering improved mathematical morphology filtering