1 西京学院 材料与能源科学技术研究院，陕西 西安 710123
2 北京星航机电装备有限公司，北京 100074
3 西北工业大学 光电与智能研究院，陕西 西安 710072
在计算机视觉领域中，基于孪生网络的跟踪算法相比于传统算法提高了精度和速度，但是仍会受到目标遮挡、变形、环境变化等影响，导致孪生网络的跟踪算法的性能降低。为了深入了解基于孪生网络的单目标跟踪算法，本文对现有基于孪生网络目标跟踪算法进行了总结和分析，主要包括在孪生网络中引入注意力机制方法、超参数推理方法和模板更新方法，对这3种方法的目标跟踪算法进行了综述，详细介绍了国内外近几年基于孪生网络的算法研究和发展现状。对3个方面的代表算法采用VOT2016、VOT2017、VOT2018和OTB-2015数据集进行实验对比，获得了多种基于孪生网络的目标跟踪算法的性能。最后对基于孪生网络的目标跟踪算法进行了总结，并对未来的发展方向进行了展望。
计算机视觉 目标跟踪 孪生网络 深度学习 computer vision target tracking Siamese networks deep learning
1 辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105
2 汕头职业技术学院 计算机系，广东 汕头 515071
现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取，上采样过程本质是卷积运算，卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制，但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题，提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段，利用注意机制进行图像特征之间的自主映射学习，通过特征的上下文关系引导动态注意矩阵，实现上下文挖掘和自注意学习的高度结合，提高低分辨率图像特征的生成效果，后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块，通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合，生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息，更加保证了不同分辨率特征图的语义一致性，从而实现高分辨率的逼真的图像生成。实验结果表明，相较于基准模型（AttnGAN），SAF-GAN模型在IS和FID指标上均有改善，在CUB数据集上的IS分数提升了0.31，FID指标降低了3.45；在COCO数据集上的IS分数提升了2.68，FID指标降低了5.18。SAF-GAN模型能够有效生成更加真实的图像，证明了该方法的有效性。
计算机视觉 生成对抗网络 文本生成图像 CotNet 图像特征融合 computer vision generative adversarial networks text-to-image cotnet image feature fusion 李春琦 1,2,3,4黄启泰 1,2,3,4,*任建锋 1,2,3,4
1 苏州大学光电科学与工程学院，江苏 苏州 215006
2 苏州大学苏州纳米科技协同创新中心，江苏 苏州 215006
3 苏州大学江苏省先进光学制造技术重点实验室，江苏 苏州 215006
4 苏州大学教育部现代光学技术重点实验室，江苏 苏州 215006
利用计算全息图（CGH）能够实现对非球面面形的高精度检测。为了提高CGH的编码效率，提出一种以圆弧为基元对刻线条纹进行分段描述的编码方法，该方法将编码过程分为二值化编码和曲线描述两个步骤。二值化编码采用牛顿迭代法将相位等高分界线离散化；曲线描述结合二分法及残余误差均方根最小准则，利用圆弧对条纹离散点进行编码计算，从而得到刻线条纹。针对一离轴非球面，进行了CGH的设计、编码与制作，在编码精度优于λ/1000的前提下，运算时间仅需3 h，编码文件仅为39 MB，刻蚀时长仅需40 min，证明所提方法相对于传统编码方法能够大幅度提高编码效率，且误差分析表明CGH的波前root-sum square（RSS）误差仅为0.00255λ，证明所提编码方法高效可行。
计算全息图 编码计算 圆弧 刻线条纹 激光与光电子学进展
2024, 61(8): 0809002
1 通感融合光子技术教育部重点实验室，广东省信息光子技术重点实验室，广东工业大学信息工程学院，先进光子技术研究院，广东 广州 510006
2 南方海洋科学与工程广东省实验室（珠海），广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室，陕西省信息光子技术重点实验室，西北工业大学物理科学与技术学院，陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外（RGBT）跟踪方法，选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架，并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上，基于无锚框的思想构建预测网络，以提升跟踪器的灵活性和通用性，同时提出一种模板动态更新的策略，通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明，所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
1 中国地质大学（武汉） 自动化学院，湖北武汉430074
2 复杂系统先进控制与智能自动化湖北省重点实验室，湖北武汉430074
3 地球探测智能化技术教育部工程研究中心，湖北武汉40074
4 中国科学院 微小卫星创新研究院，上海201203
5 上海微小卫星工程中心，上海201203
为解决基于深度学习的立体匹配方法面临着网络规模大、网络结构复杂等问题，提出了一个网络规模较小、精度较高的网络结构。该网络在特征提取模块删减修改了复杂冗余的残差层并引入了空洞卷积金字塔池化模块来扩大视野范围，提取更多有用的上下文信息；在代价计算模块中使用了三维卷积层以成本聚合提升立体匹配的精度；最后，在代价聚合模块引用了双边格网模块以较低分辨率的成本量来获取精度较高的视差图。将该网络在KITTI 2015数据集和Scene Flow数据集等主流数据集上进行实验，结果显示，相较于其他主流优秀网络类如金字塔立体匹配网络（Pyramid Stereo Matching Network ，PSM-Net），网络规模参数量减少了约38%，并取得了较高的实验精度，其中Scene Flow数据集的终点误差（End-point Error，EPE）为0.86，是一个同时兼顾速度与精度的立体匹配网络。
计算机视觉 立体匹配 人工神经网络 视差 computer vision stereo matching artificial neural network parallax 
Author Affiliations
Abstract
1 University of Shanghai for Science and Technology, School of Optical-Electrical and Computer Engineering, Engineering Research Center of Optical Instrument and System, Ministry of Education and Shanghai Key Laboratory of Modern Optics System, Shanghai, China
2 Beihang University, School of Instrumentation and Optoelectronic Engineering, Beijing, China
Holographic display stands as a prominent approach for achieving lifelike three-dimensional (3D) reproductions with continuous depth sensation. However, the generation of a computer-generated hologram (CGH) always relies on the repetitive computation of diffraction propagation from point-cloud or multiple depth-sliced planar images, which inevitably leads to an increase in computational complexity, making real-time CGH generation impractical. Here, we report a new CGH generation algorithm capable of rapidly synthesizing a 3D hologram in only one-step backward propagation calculation in a novel split Lohmann lens-based diffraction model. By introducing an extra predesigned virtual digital phase modulation of multifocal split Lohmann lens in such a diffraction model, the generated CGH appears to reconstruct 3D scenes with accurate accommodation abilities across the display contents. Compared with the conventional layer-based method, the computation speed of the proposed method is independent of the quantized layer numbers, and therefore can achieve real-time computation speed with a very dense of depth sampling. Both simulation and experimental results validate the proposed method.
computer holography holographic display diffraction calculation Advanced Photonics Nexus
2024, 3(3): 036001
1 中国航空工业集团公司洛阳电光设备研究所，河南 洛阳 471009
2 空基信息感知与融合全国重点实验室，河南 洛阳 471009
针对离轴光学系统装调过程中自由度高且互相耦合的问题，提出一种新的离轴自由曲面反射式光学系统装调方法，采用计算全息图（CGH）实现多镜共基准定姿定态，解耦合系统各镜片的装调自由度，显著降低系统装调复杂度；分析CGH用于定姿定态时的定位精度，提高系统装调精度和效率，适应不同构型的离轴光学系统。利用上述方法，完成口径为、视场为的近红外长波红外双波段离轴反射式光学系统装调，全视场波像差RMS小于（），达到设计预期，装配周期短，成像质量优良。
光学设计 计算全息图 离轴三反 自由曲面
非球面反射镜通常使用零位补偿器配合干涉仪进行面形检测，因此零位补偿器的加工和装配精度直接决定了检测结果的可靠性。提出一种具备良好通用性的基于计算全息片（CGH）的补偿器误差标定方法。以一块Φ856 mm、f/1.54的双曲面反射镜作为待测非球面镜，首先设计反射式CGH，运用光线追迹法得到CGH的相位函数，使其引入的球差与待测非球面主镜的法线像差相同，再由ZEMAX仿真计算验证该设计的正确性，并根据相位函数加工出主全息。在同一块玻璃基片上设计和加工对准全息带用于标定光路的调整。实验结果表明，所制作的CGH标定零位补偿器的精度达到λ/80。可见对于大口径、快焦比的凹非球面反射镜，所提方法仍然适用，因此可用于指导多数正轴非球面镜的零位补偿器标定。
零位补偿器 干涉检测 计算全息片 相位函数 光线追迹 激光与光电子学进展
2024, 61(4): 0422001
1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving
