Author Affiliations
Abstract
1 Zhejiang Laboratory, Research Center for Frontier Fundamental Studies, Hangzhou, China
2 Zhejiang University, College of Optical Science and Engineering, State Key Laboratory of Extreme Photonics and Instrumentation, Hangzhou, China
3 ZJU-Hangzhou Global Scientific and Technological Innovation Center, Hangzhou, China
4 Shanghai Jiao Tong University, Chip Hub for Integrated Photonics Xplore (CHIPX), Wuxi, China
With the rapid development of sensor networks, machine vision faces the problem of storing and computing massive data. The human visual system has a very efficient information sense and computation ability, which has enlightening significance for solving the above problems in machine vision. This review aims to comprehensively summarize the latest advances in bio-inspired image sensors that can be used to improve machine-vision processing efficiency. After briefly introducing the research background, the relevant mechanisms of visual information processing in human visual systems are briefly discussed, including layer-by-layer processing, sparse coding, and neural adaptation. Subsequently, the cases and performance of image sensors corresponding to various bio-inspired mechanisms are introduced. Finally, the challenges and perspectives of implementing bio-inspired image sensors for efficient machine vision are discussed.
bio-inspired image sensor machine vision layer-by-layer processing sparse coding neural adaptation Advanced Photonics
2024, 6(2): 024001
南京航空航天大学 电子信息工程学院，江苏南京211106
太阳能电池片（Photovoltaic， PV）表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先，阐述了太阳能电池片表面成像方式，列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述；从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析，总结了每种方法的优缺点。随后，介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后，系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法，对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。
太阳能电池 缺陷检测 机器视觉 深度学习 检测网络 solar cells defect detection machine vision deep learning detection network
为探究成像参数对大深度物体聚焦形貌恢复精度的影响规律，明确实际应用中聚焦形貌恢复重建精度不满足要求时成像系统的改进措施，在构建聚焦形貌恢复三维重建精度评价指标的基础上，利用正交实验确定成像参数对聚焦形貌恢复精度影响的主次顺序，重点分析主要和次主要参数对重建精度的影响规律，并揭示最佳成像参数随多聚焦图像采样间距的变化关系。考虑到成像参数的变化实际通过改变系统景深影响聚焦形貌恢复精度，建立了多聚焦图像采样间距与最佳景深之间的经验公式，为系统成像参数的设定提供了理论依据。实验结果表明：焦距和F数是聚焦形貌恢复的主要和次主要影响参数，在给定多聚焦图像采样间距下存在使重建精度最高的最佳焦距和最佳F数，且随着采样间距减小，最佳焦距增大，最佳F数减小；多聚焦图像采样间距与最佳景深之间的经验公式拟合准确率为97.28%，验证准确率为94.76%，可用于最佳景深的计算；采用最佳景深能够显著提升聚焦形貌恢复精度，为大深度物体聚焦形貌恢复精度的提升提供了新途径。
机器视觉 聚焦形貌恢复 成像参数 大深度物体 重建精度
汕头大学 工学院 机械工程系, 广东 汕头 515063
视差不连续区域和重复纹理区域的误匹配率高一直是影响双目立体匹配测量精度的主要问题，为此，本文提出一种基于多特征融合的立体匹配算法。首先，在代价计算阶段，通过高斯加权法赋予邻域像素点的权值，从而优化绝对差之和（Sum of Absolute Differences，SAD）算法的计算精度。接着，基于Census变换改进二进制链码方式，将邻域内像素的平均灰度值与梯度图像的灰度均值相融合，进而建立左右图像对应点的判断依据并优化其编码长度。然后，构建基于十字交叉法与改进的引导滤波器相融合的聚合方法，从而实现视差值再分配，以降低误匹配率。最后，通过赢家通吃（Winner Take All，WTA）算法获取初始视差，并采用左右一致性检测方法及亚像素法提高匹配精度，从而获取最终的视差结果。实验结果表明，在Middlebury数据集的测试中，所提SAD-Census算法的平均非遮挡区域和全部区域的误匹配率为分别为2.67%和5.69%，测量200~900 mm距离的平均误差小于2%；而实际三维测量的最大误差为1.5%。实验结果检验了所提算法的有效性和可靠性。
机器视觉 立体匹配 SAD-Census变换 十字交叉法 引导滤波 machine vision stereo matching SAD-Census transform cross method guided filtering
1 通感融合光子技术教育部重点实验室，广东省信息光子技术重点实验室，广东工业大学信息工程学院，先进光子技术研究院，广东 广州 510006
2 南方海洋科学与工程广东省实验室（珠海），广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室，陕西省信息光子技术重点实验室，西北工业大学物理科学与技术学院，陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外（RGBT）跟踪方法，选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架，并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上，基于无锚框的思想构建预测网络，以提升跟踪器的灵活性和通用性，同时提出一种模板动态更新的策略，通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明，所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
天津大学精密仪器与光电子工程学院光电信息技术教育部重点实验室，天津 300072
图像匹配能将待匹配图像变换到原有图像的坐标系中，在各种视觉任务中起着重要的作用。基于特征的图像匹配算法能够在图像中匹配到一些更具区分度的特征，与其他图像匹配方法相比，其具有高精度、高灵活性、高鲁棒性等特点。针对传统特征匹配算法匹配稀疏的问题，提出一种基于改进深度特征匹配算法的密集特征匹配方法。首先，通过VGG网络提取图像的一系列特征图，在初始特征图进行最邻近匹配计算单应性矩阵并进行视角变换；然后，基于特征图的频域匹配特点进行深层特征图融合，用于特征粗匹配；最后，基于粗匹配的结果在浅层特征图上进行特征细匹配用于校正特征匹配的结果。实验结果表明：所提算法提升了特征匹配的精度和匹配的特征数量。
机器视觉 卷积神经网络 特征融合 图像匹配 图像处理 激光与光电子学进展
2024, 61(8): 0815001
西安工业大学光电工程学院，陕西 西安 710021
针对机器视觉检测光学镜片表面疵病时，在单一的照明环境下疵病图像对比度低，检测方法疵病识别率低等问题，提出了一种双光源下光学镜片表面疵病视觉检测方法。根据散射成像原理，在前照光和背照光两种不同的照明方式下，使用图像传感器得到含有疵病的被测光学镜片图像；再将多幅图像通过图像融合算法融合为一幅图像；最后，利用识别算法获得光学镜片表面的疵病尺寸信息。对两种不同的疵病（划痕、麻点）进行检测，将本系统的测试结果与ZYGO干涉仪的处理结果进行对比，结果表明，所提方法测量的麻点误差不超过2.7%，划痕误差不超过0.8%，检测效率比干涉仪提高了98.24%，缩短了检测时间。与单一照明环境下的检测方法和人工检测相比，所提方法对疵病的识别准确率与精度更高。
疵病检测 双光源 机器视觉 散射成像 图像融合 激光与光电子学进展
2024, 61(10): 1012004
1 浙江大学极端光学技术与仪器全国重点实验室，浙江 杭州 310027
2 浙江大学杭州国际科创中心，浙江 杭州 311215
3 浙江大学光电科学与工程学院，浙江 杭州 310027
针对双光子激光直写片上光子引线波导的纳米级对准需求，提出了基于导星数字匹配与纳米智能对准的方法，实现了高精度、高密度片上光子引线互联纳米结构3D直写加工。面向片上光子引线波导的背景与需求，设计了双光子直写光刻系统的光学系统结构，在硬件上设计了独特的导星，在算法上利用机器视觉的智能识别方法，精确定位了片上光子引线波导连接结构。所刻写的光子引线与硅片波导的平均偏差角度为0.19°，绝对位置平均对准精度为29 nm，标准差为17 nm。所提方案为实现高精度、高密度的光学片上互联提供了一种可行的方法，在芯片封装、多材料功能结构制备、复杂结构修饰等高精度加工领域有着重要的科学和应用意义。
光学设计 光刻 机器视觉 片上光子引线 波导加工 双光子激光直写
1 安徽工程大学计算机与信息学院，安徽 芜湖 241000
2 计算机网络和信息集成教育部重点实验室（东南大学），江苏 南京 210096
3 东南大学影像科学与技术实验室，江苏 南京 210096
提出一种基于多通道交叉卷积UCTransNet（MC-UCTransNet）的图像域双材料分解方法。该网络以UCTransNet为基础架构，采用通道交叉融合转换器和通道交叉注意模块来提高基材料分解性能，实现双输入双输出的端到端映射。网络中通道交叉融合模块和通道交叉注意模块可更好地捕捉复杂的通道信号相关性，以更充分地进行特征提取与融合，实现基材料生成路径之间的信息交换。为进一步提高模型的拟合性能，网络训练时采用混合损失及Sigmoid函数的归一化方法。实验结果表明，在骨骼基材料及软组织碘基材料分解任务中，所提方法能获得优质的基材料图像，与对比方法相比，其分解后的基材料图像在准确度及噪声伪影抑制上表现更好。
机器视觉 双能计算机断层成像 基材料分解 多通道交叉卷积 注意力 噪声抑制
