1 北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京 100081
2 北京理工大学重庆创新中心，重庆 401120
3 北方自动控制技术研究所军种指控系统研发部，山西 太原 030006
4 北京印刷学院印刷与包装工程学院，北京 102600
压缩感知高光谱计算成像技术是当前高光谱计算成像领域的研究热点之一，其能够在保持系统元器件物理特性不变的前提下，有效地提升成像质量。本文概述了高光谱计算成像的研究背景和基本概念，详细介绍了压缩感知高光谱计算成像系统的发展现状，重点阐述了本团队提出的基于空-谱编码的压缩感知高光谱计算成像技术，并对其系统组成、数理模型以及最新进展进行了说明。通过总结压缩感知高光谱计算成像的背景知识以及空-谱编码压缩感知高光谱计算成像的研究工作，力求为科研人员探索压缩感知高光谱计算成像新体制带来新的思路，促进高光谱计算成像技术的发展。
成像系统 高光谱成像 计算成像 压缩感知 编码技术 光学学报
2023, 43(15): 1511003
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京 100081
2 北京理工大学重庆创新中心，重庆 401120
3 北方自动控制技术研究所，山西 太原 030006
单目标跟踪是计算机视觉领域重要的分支，旨在对视频序列中的指定目标进行连续跟踪。近年来，基于深度学习的单目标跟踪方法发展迅猛，其中基于孪生网络的双流跟踪方法和基于Transformer的单流跟踪方法是两种基础架构。本文从原理、组成结构、局限性及未来发展方向等角度对这两种架构进行了全面介绍与分析。另外，数据集是方法训练及评测的基石，本文汇总了当前主流的深度学习单目标跟踪数据集，详细阐述了跟踪方法在数据集上的评测方式及评测指标，并总结了多种方法在数据集上的表现。最后，从宏观角度分析了深度学习目标跟踪方法的未来发展趋势，以期为相关研究人员提供参考。
深度学习目标跟踪 单目标跟踪 深度学习 孪生网络 Transformer 光学学报
2023, 43(15): 1510003
1 北京理工大学光电学院，北京 100081
2 北京理工大学光电成像技术与系统教育部重点实验室，北京 100081
3 北京理工大学重庆创新中心，重庆 401135
近年来，随着深度传感器和三维激光扫描设备的普及，点云数据引起了广泛关注。相对于二维图像，点云数据不仅包含场景的深度信息，还不受光照等环境因素的影响，能够更精确地实现目标识别和三维定位。因此，基于点云的三维目标检测技术已经成为智能空间感知和场景理解的关键技术。本文首先介绍了点云数据的特点，并探讨了不同类型的点云特征提取方法；其次，详细阐述了基于体素、点、图以及体素与点混合的点云目标检测方法的原理和发展历程；然后，介绍了常见的室内外点云目标检测数据集和评价指标，并对各类点云目标检测方法在KITTI和Waymo数据集上的性能进行了详细的比较和分析；最后，对点云目标检测技术的研究进展进行了总结和展望。
点云 三维目标检测 单模态 多模态 光学学报
2023, 43(15): 1515001
Author Affiliations
Abstract
1 Key Laboratory of Photoelectronic Imaging Technology and System of Ministry of Education of China, School of Optics and Photonics, Beijing Institute of Technology, Beijing 100081, China
2 Beijing Institute of Technology Chongqing Innovation Center, Chongqing 401151, China
3 Department of Engineering Science, Institute of Biomedical Engineering, University of Oxford, Oxford OX3 7DQ, UK
4 School of Printing & Packaging Engineering, Beijing Institute of Graphic Communication, Beijing 102600, China
Polarized hyperspectral imaging, which has been widely studied worldwide, can obtain four-dimensional data including polarization, spectral, and spatial domains. To simplify data acquisition, compressive sensing theory is utilized in each domain. The polarization information represented by the four Stokes parameters currently requires at least two compressions. This work achieves full-Stokes single compression by introducing deep learning reconstruction. The four Stokes parameters are modulated by a quarter-wave plate (QWP) and a liquid crystal tunable filter (LCTF) and then compressed into a single light intensity detected by a complementary metal oxide semiconductor (CMOS). Data processing involves model training and polarization reconstruction. The reconstruction model is trained by feeding the known Stokes parameters and their single compressions into a deep learning framework. Unknown Stokes parameters can be reconstructed from a single compression using the trained model. Benefiting from the acquisition simplicity and reconstruction efficiency, this work well facilitates the development and application of polarized hyperspectral imaging.
full-Stokes single compression deep learning reconstruction polarized hyperspectral imaging Chinese Optics Letters
2023, 21(5): 051101
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室, 北京 100081
2 北京理工大学重庆创新中心, 重庆 401120
3 长春大学电子信息工程学院, 吉林 长春 130022
傅里叶叠层显微成像技术通过拓展频谱的方法合成细节信息更为丰富的单帧图像,实现在大视场下重建高分辨率图像。然而,成像系统中普遍存在的各种像差往往导致成像模糊,重建图像分辨率下降。针对上述问题,提出一种基于叠层衍射成像的像差校正方法,在更新频谱和光瞳函数时,通过自适应选取频谱和光瞳函数当前值与最大值的最佳比例,提高了迭代重建的质量。利用上述方法,首先重建加载混合像差的仿真图像,并选用峰值信噪比(PSNR)和结构相似性(SSIM)为评价指标。仿真结果表明,相比于传统的嵌入式光瞳恢复算法,本文方法可以大幅提升重建光瞳函数的PSNR和SSIM,分别增长14.9%和1.4%。为进一步验证算法在真实图像上的有效性,采集了人体血细胞样本图像并进行重建,结果表明,重建图像清晰,能够准确分辨细胞轮廓。
成像系统 傅里叶叠层显微成像 像差校正 叠层衍射成像 泽尼克多项式 嵌入式光瞳恢复 光学学报
2021, 41(10): 1011001
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
3 北京理工大学 光电学院, 北京 100081
为了精确地配准近平面场景下的红外-可见光视频序列, 本文提出了一种基于轮廓特征匹配的自动配准方法, 通过迭代匹配目标轮廓特征来解决异源图像中配准特征的提取和匹配难题。首先, 采用运动目标检测技术获取目标轮廓, 并由曲率尺度空间(CSS)角点检测算法提取轮廓特征点。此后, 建立全局形状上下文描述子和局部边缘方向直方图描述子描述特征, 从而实现可靠的特征匹配。来自不同时刻的匹配点对被保存在一个基于高斯距离准则的特征匹配库中。最后, 为了克服近平面场景中目标深度变化的影响, 本文结合前景样本随机抽样策略计算配准矩阵的损失函数, 完成对全局配准矩阵的更新。在LITIV数据库上对方法进行实验验证, 结果表明: 本文方法的配准精度优于当前先进的对比方法, 在9个测试视频上的平均重叠率误差仅为0.194, 与对比方法相比下降了18.5%。基本满足了近平面场景下红外-可见光视频序列配准的精度要求, 且具有较高的鲁棒性。
红外-可见光视频序列 图像配准 轮廓特征 特征匹配 全局配准矩阵 infrared-visible video sequence image registration contour feature feature matching global registration matrix
北京理工大学 光电学院 光电成像技术实验室, 北京 海淀 100081
针对上下文感知相关滤波目标跟踪算法中, 上下文背景样本等值权重训练, 对背景信息滤波过于平滑的问题, 提出了一种自适应上下文感知相关滤波算法, 同时为了解决目标遮挡的问题, 引入一种新的遮挡判定指标。首先, 提取目标上下左右4个方向的背景样本学习到滤波器中, 利用卡尔曼滤波对目标运动状态进行估计, 预测目标的运动方向。在滤波器训练时, 对目标运动方向上的背景样本训练时赋予较多的权重; 接着, 在模型更新时引入一个新的遮挡判定指标APCE, 只有当响应峰值和APCE数值分别一定比例大于各自的历史均值时, 才对目标模型进行更新; 最后将本文算法与当前一些主流的跟踪算法在CVPR 2013 Benchmark进行对比实验。仿真实验结果表明, 本文算法的精准率和成功率分别为0810和0701, 均优于其他算法, 充分体现出了本文提出算法的鲁棒性。
上下文感知 目标跟踪 自适应 卡尔曼滤波 context-aware object tracking adaptive Kalman Filters APCE APCE
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室, 北京 100081
2 中国气象局国家卫星气象中心, 北京 100081
3 中国气象局中国遥感卫星辐射测量和定标重点开放实验室, 北京 100081
搭载于我国第二代极轨气象卫星风云三号A星(FY-3A)上的中分辨率光谱成像仪(MERSI),肩负着获取全球图像和辐射资料的作用。然而,太空环境影响等因素,导致短波红外通道发生在轨增益突跳现象,大大限制了数据的定量应用。通过对冷空、星上定标器和黑体等MERSI星上观测目标的分析,选择冷空作为增益突跳识别的指征目标。提出自动识别、增益归档和档位归一化方法,采用日识别和天内精检测的方法获取增益突跳时空信息,采用分类统计突跳数据的方法获取突跳的在轨增益档位,并利用星上定标源目标和对地观测图像进行归一化效果验证,实现了对1.64 μm和2.13 μm两通道整个生命期91次和18次突跳事件的精确定位,获得了8个在轨增益档位和全部突跳事件的档位信息,并得到了理想的归一化效果验证。研究结果同样显示,增益突跳事件大多发生在对地目标扫描过程,而且每个探元增益突跳的时间不尽相同。由于地球目标的复杂性,基于物理方法很难实现对突跳帧图像的归一。该研究成果不仅有助于FY-3A MERSI图像质量的提升,而且对历史数据再处理也有重要支撑作用。
成像系统 短波红外通道 增益突跳 自动识别 增益归档 归一化 光学学报
2018, 38(11): 1111001
北京理工大学 光电学院 光电成像技术与系统教育部重点实验室, 北京 海淀 100081
针对液晶可调滤波片高光谱成像系统记录动态场景的成像特点, 提出一种图-谱结合的压缩感知高光谱视频图像复原方法。首先, 通过前景目标检测获得运动前景目标的高光谱图像, 实现运动前景目标与背景区域分离, 并根据前景目标检测结果将背景区域划分为运动区域(被前景目标遮挡区域)与静止区域(未被前景目标遮挡区域)。然后, 基于高光谱图像空间维、光谱维相关性, 对静止区域进行字典学习获得稀疏先验信息, 结合压缩感知理论用于运动区域恢复, 得到完整的背景区域高光谱图像。最后, 将运动前景目标高光谱图像与背景区域高光谱图像相结合, 得到高光谱视频图像。实验结果表明: 本文提出的高光谱视频图像复原方法在峰值信噪比和视觉效果上都要优于现有算法, 峰值信噪比平均提高5 dB以上。
高光谱视频复原 液晶可调滤波片 目标检测 压缩感知 字典学习 hyperspectral video restoration liquid crystal tunable filter object detection compressive sensing dictionary learning
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室, 北京 100081
2 中国气象局国家卫星气象中心, 北京 100081
3 中国气象局中国遥感卫星辐射测量和定标重点开放实验室, 北京 100081
美国新一代环境气象卫星NPP/联合极轨卫星系统（JPSS）增加了可见光红外成像辐射仪(VIIRS)白天/夜间波段(DNB)的微光昼夜成像通道, 继承了**气象卫星计划(DMSP)线性扫描业务系统(OLS)收集全球微光成像数据的能力, 并在性能上有大幅提升, 利用VIIRS DNB数据可以进行夜间城市灯光探测。针对中国中东部经济快速发展区域城市灯光产品的迫切需求, 综合考虑云层、月光、太阳照射、闪电、火灾等因素的影响, 对低质量数据和非灯光特征数据进行识别和剔除, 采用VIIRS DNB多天夜间数据进行融合, 将多天无月光的有效灯光辐亮度数据进行平均, 生成中国中东部地区夜间城市灯光的月合成产品。将本算法生成的产品与美国国家海洋和大气管理局(NOAA)业务城市灯光产品的辐射亮度值进行对比验证后发现, 两者具有可比性。所开发的城市灯光融合产品算法为后端的衍生应用及其他夜间微光遥感产品的反演奠定了技术基础。
遥感 微光 城市灯光 多时相融合 辐射亮度 激光与光电子学进展
2018, 55(10): 102804
