针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 中国科学院 电子学研究所 传感技术国家重点实验室, 北京 100190
2 中国科学院大学, 北京100049
3 广东工业大学 机电工程学院, 广东 广州 510006
本文报道了一种基于色相算法的彩色表面等离子体共振(SPR)成像传感器, 该传感器不仅能够对发生于SPR芯片表面的物理化学反应进行直观的图像观测, 还能基于色相算法对这些表面反应进行定量分析。利用自制的波长/图像同步检测型SPR传感器, 实验获得了不同共振波长对应的共振图像, 然后借助色相算法求得每一幅共振图像对应的二维色相分布及其平均色相, 建立了共振波长与图像平均色相的依赖关系, 用于优化基于色相参数的SPR折射率灵敏度。实验选择起始共振波长为650 nm, 测得基于色相的折射率灵敏度为3 338/RIU, 是基于共振波长的折射率灵敏度的1.49倍。利用彩色SPR成像技术能够直观地观测到金膜表面涂布的聚四氟乙烯薄膜的不均匀性, 再通过计算图像局部区间的平均色相, 可以定量获得不同薄膜厚度对应的折射率灵敏度。实验结果证明了基于色相算法的彩色SPR成像传感器明显优于常规SPR传感器。
彩色表面等离子体共振成像 共振波长 色相 厚度不均匀性 折射率灵敏度 color surface plasmon resonance imaging resonance wavelength hue inhomogeneity of the thickness RI sensitivity
1 广东外语外贸大学 南国商学院, 广东 广州 510545
2 火箭军工程大学 信息工程系, 陕西 西安 710025
3 中国人民解放军96215部队, 广西 柳州 545616
4 广东工业大学 机电工程学院, 广东 广州 510006
针对目标探测器在大气中高速飞行时受湍流干扰, 导致光学系统接收到的视频/图像产生像素偏移、模糊、信噪比降低等问题, 本文对湍流退化视频/图像复原的复杂性及复原方法进行了研究, 提出了一种基于非凸势函数优化与动态自适应滤波的湍流退化视频复原方法。首先, 研究了湍流退化视频的求和与去模糊框架, 并通过利用非刚性配准方法对刚性全局配准方法进行改进, 进一步缩小了模糊核的尺度; 然后, 在计算机视觉的非凸优化框架下, 构建了图像解卷积的非凸性算法, 有效地解决了图像解卷积难题; 最后, 结合湍流退化视频自身特点, 对超分辨率视频复原的动态自适应滤波框架进行了扩展与改进, 使其适用于湍流退化视频的复原。仿真实验结果表明, 本文方法的复原效果不仅有较大提升, 而且实现了对湍流退化视频序列的动态自适应复原。
大气湍流 视频复原 点扩展函数 非凸性优化 atmospheric turbulence video restoration point spread function non-convexity
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 广东工业大学, 广东 广州 510006
为了提高图像处理器目标跟踪的准确度和对复杂环境的适应能力, 设计了一种CPCI架构的多传感器融合图像跟踪系统。针对高分辨率高帧频图像的采集、目标搜索与跟踪, 设计并实现了以FPGA+DSP为核心的嵌入式图像处理平台, 采用CPCI标准总线作为数据共享通道, 由嵌入式图像处理平台完成实时计算, 数据中心完成跟踪结果的数据融合和系统综合控制。实验结果表明: 系统可以实现多路不同分辨率CameraLink图像或HD-SDI图像的采集和融合跟踪处理, 该架构处理能力强, 可扩展性高, 结构紧凑, 为图像融合跟踪系统提供了一种可靠的解决方案。
目标跟踪 数据融合 target tracking DSP DSP FPGA FPGA Compact-PCI compact-PCI data fusion
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
3 广东工业大学, 广东 广州 510006
为了提高光电跟踪系统的稳定性和自主跟踪能力, 对多传感器数据融合算法和数据的有效性估计进行研究, 提出一种多传感器自主跟踪算法。首先按照统计学方法, 实时估计各传感器数据的误差协方差。然后按照均方误差最小准则, 对各路数据进行融合。将最小二乘多项式拟合法和记忆衰减因子应用到误差协方差估计中, 提高了融合结果的可信度。最后, 提出一种多传感器跟踪数据切换策略, 自动选择有效传感器数据中置信度最高、跟踪效果最优的一路数据, 从而实现自主稳定跟踪的目的。实验结果表明, 使用改进后的数据融合算法比原始方法的最终传感器选择结果正确率提高37.5%左右。在几种典型的传感器数据异常情况下,该数据融合算法和多路数据切换策略能够完成自主跟踪的目的。
多传感器 数据融合 自主跟踪 误差协方差估计 multi-sensor data fusion autonomous tracking error variance estimating
