Author Affiliations
Abstract
1 Zhejiang Laboratory, Research Center for Frontier Fundamental Studies, Hangzhou, China
2 Zhejiang University, College of Optical Science and Engineering, State Key Laboratory of Extreme Photonics and Instrumentation, Hangzhou, China
3 ZJU-Hangzhou Global Scientific and Technological Innovation Center, Hangzhou, China
4 Shanghai Jiao Tong University, Chip Hub for Integrated Photonics Xplore (CHIPX), Wuxi, China
With the rapid development of sensor networks, machine vision faces the problem of storing and computing massive data. The human visual system has a very efficient information sense and computation ability, which has enlightening significance for solving the above problems in machine vision. This review aims to comprehensively summarize the latest advances in bio-inspired image sensors that can be used to improve machine-vision processing efficiency. After briefly introducing the research background, the relevant mechanisms of visual information processing in human visual systems are briefly discussed, including layer-by-layer processing, sparse coding, and neural adaptation. Subsequently, the cases and performance of image sensors corresponding to various bio-inspired mechanisms are introduced. Finally, the challenges and perspectives of implementing bio-inspired image sensors for efficient machine vision are discussed.
bio-inspired image sensor machine vision layer-by-layer processing sparse coding neural adaptation Advanced Photonics
2024, 6(2): 024001
Author Affiliations
Abstract
1 School of Integrated Circuits, Huazhong University of Science and Technology, Wuhan 430074, China
2 Hubei Yangtze Memory Laboratories, Wuhan 430205, China
Sparse coding is a prevalent method for image inpainting and feature extraction, which can repair corrupted images or improve data processing efficiency, and has numerous applications in computer vision and signal processing. Recently, several memristor-based in-memory computing systems have been proposed to enhance the efficiency of sparse coding remarkably. However, the variations and low precision of the devices will deteriorate the dictionary, causing inevitable degradation in the accuracy and reliability of the application. In this work, a digital-analog hybrid memristive sparse coding system is proposed utilizing a multilevel Pt/Al2O3/AlOx/W memristor, which employs the forward stagewise regression algorithm: The approximate cosine distance calculation is conducted in the analog part to speed up the computation, followed by high-precision coefficient updates performed in the digital portion. We determine that four states of the aforementioned memristor are sufficient for the processing of natural images. Furthermore, through dynamic adjustment of the mapping ratio, the precision requirement for the digit-to-analog converters can be reduced to 4 bits. Compared to the previous system, our system achieves higher image reconstruction quality of the 38 dB peak-signal-to-noise ratio. Moreover, in the context of image inpainting, images containing 50% missing pixels can be restored with a reconstruction error of 0.0424 root-mean-squared error.
forward stagewise regression in-memory computing memristor sparse coding Journal of Semiconductors
2023, 44(10): 104101
天津大学电气自动化与信息工程学院，天津 300072
在图像识别等机器视觉任务中，存在一类微弱的、不可察觉的对抗扰动，该扰动能够改变深度神经网络的输出结果。针对图像分类任务中的对抗扰动，提出了一种基于低秩降维和稀疏重构的图像对抗扰动防御算法。针对自然图像的稀疏和低秩特性，所提算法采用低秩分解削弱图像中的对抗扰动，同时利用多尺度稀疏编码对低秩图像进行重构，在滤除残余扰动的同时恢复原始图像的细节信息。采用3种攻击算法分别在黑盒攻击和灰盒攻击下验证所提算法的防御效果，并与其他4种防御算法进行了对比，实验结果表明，所提算法处理后的对抗扰动图像的Top-1分类准确率优于对比算法，且所提算法具有更好的鲁棒性。
图像处理 对抗防御 低秩降维 多尺度稀疏编码 激光与光电子学进展
2022, 59(12): 1210004
1 晋中学院 信息技术与工程学院, 山西 晋中 030619
2 太原理工大学 软件学院, 山西 太原 030600
3 晋中学院 机械学院, 山西 晋中 030619
为了提高高光谱图像的空间分辨率, 提出了一种基于GoogLeNet和空间谱变换的高光谱图像超分辨率(SR)方法。设计出遥感图像的光谱SR框架, 对图像中不同反射光谱进行提取; 采用GoogLeNet的稀疏编码对粗像素光谱进行放大, 并投影到高分辨率字典上, 将潜在SR表示进行反转, 以获得超分辨光谱; 为了提高图像重构的保真度, 利用GoogLeNet网络的编解码结构实现空间光谱先验变换。在KSC等数据集对所提方法进行验证, 实验结果表明, 所提方法能够有效重建图像细节信息与纹理结构, 平均峰值信噪比(APSNR)、平均结构相似度(ASSIM)以及光谱角映射(SAM)均优于其他对比方法, 且能够较好地保持光谱信息。以KSC数据集为例, APSNR、ASSIM 和SAM的值分别为25.643dB、0.789和0.084。
高光谱图像 超分辨率 空间谱变换 稀疏编码 图像重构 hyperspectral image super resolution GoogLeNet GoogLeNet spatial spectrum transform sparse coding image reconstruction
1 中北大学理学院, 山西 太原 030051
2 中北大学信息探测与处理山西省重点实验室, 山西 太原 030051
对于不完全的扫描数据,传统算法无法保证医学电子计算机断层扫描(CT)重建图像满足诊断要求。根据压缩感知理论,可以从不完全的扫描数据中重建出具有稀疏表示的医学CT图像,这可为诊断提供可靠的信息。从重建的角度出发,提出了一种基于全变分和梯度域卷积稀疏编码的图像重建算法。梯度域卷积稀疏编码是对特征图施加梯度约束,采用梯度正则化约束来抑制离群点,从而解决了因滤波器不准确而造成的结构丢失或新伪影的问题。所提算法直接对整个图像进行操作,以获取局部邻域之间的相关性,并利用梯度图像的全局相关性来产生更好的边缘和清晰的梯度图像特征,它能有效地捕捉到图像的局部特征。此外,通过引进全变分作为正则项,可进一步恢复图像的微小结构和细节并有效地抑制噪声。实验的定性和定量结果表明,与其他算法相比,所提算法在去除伪影的同时保留了更多的细节,具有更高的重建质量,这验证了该方法的有效性。
图像处理 计算机断层成像 稀疏角度 全变分 卷积稀疏编码 梯度图像 激光与光电子学进展
2021, 58(12): 1210031
1 安徽工程大学计算机与信息学院, 安徽 芜湖 241000
2 东南大学计算机网络和信息集成教育部重点实验室, 江苏 南京 210096
3 东南大学影像科学与技术实验室, 江苏 南京 210096
CT扫描中潜在的辐射伤害已越来越受到人们的重视,然而降低扫描剂量会导致成像质量退化,从而影响诊断结果。针对上述问题,提出一种联合卷积稀疏编码与梯度L0范数的三维重建算法。该算法通过频率分解的重建形式对高频成分进行无监督的多尺度在线卷积稀疏编码约束,对低频成分进行梯度L0范数约束,从而实现低剂量CT图像中噪声伪影的抑制与组织细节的保持。此外,卷积稀疏编码中使用三种不同尺度的三维滤波器,可有效适应不同尺度下的特征信息,提高编码能力。腹部CT仿真数据和真实扫描数据的实验结果表明,所提算法在25%常规剂量的重建过程中可以获得噪声伪影少、结构细节对比度高和质量更好的成像效果。
成像系统 低剂量CT 图像重建 多尺度 卷积稀疏编码 梯度L0范数
1 兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
2 甘肃省人工智能与图形图像工程研究中心, 甘肃 兰州 730070
3 甘肃省轨道交通装备系统动力学与可靠性重点实验室, 甘肃 兰州 730070
传统稠密轨迹算法在人体动作识别中取得了较大的成功,但是其在轨迹的形成过程中将动作产生的轨迹和背景运动导致的轨迹进行了相同处理,导致视频表示过于冗余,识别精度受限。为解决这一问题,首先分析背景运动与行为运动模式的差异性,以特征字典的稀疏系数矩阵为基础,利用低秩分解的方法得到稀疏误差矩阵,进一步求解出视频的显著图,然后以显著图作为依据仅在动作相关区域内形成显著性轨迹,并以此表征人体动作。最后基于公开数据集:UCF Sports数据集和YouTube数据集,验证了本文方法的有效性。
图像处理 动作识别 稠密轨迹 视频显著性 低秩矩阵分解 稀疏编码 激光与光电子学进展
2020, 57(24): 241003
1 兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
2 兰州交通大学自动化与电气工程学院, 甘肃 兰州 730070
为了在函数空间内将多个三维模型进行关联,并在整个模型簇上进行协同分割,提出了一种基于点云稀疏编码的三维模型簇协同分割方法。首先,提取点云数据特征,将三维信息转换至特征空间;其次,用深度学习网络将特征向量分解成基向量,并构建字典矩阵及稀疏向量;最后,对测试数据进行稀疏表示,并确定点云模型中每个点所属的类别,将同类点划分到同一区域以得到协同分割结果。实验结果表明,算法在ShapeNet Parts数据集上的分割准确率达到了85.7%。所构建的协同分割算法能够有效地计算模型簇的关联结构,与当前主流分割算法相比,分割效果和准确率均得到提升。
机器视觉 协同分割 模型簇 稀疏编码 基向量 字典 激光与光电子学进展
2020, 57(20): 201510
1 辽宁工程技术大学电子与信息工程学院, 辽宁 葫芦岛 125100
2 中国科学院海西研究院泉州装备制造研究所, 福建 泉州 362000
传统的高光谱图像分类大多只考虑地物的光谱信息,而忽略了空间信息,现有的空谱联合分类方法难以有效提取空间邻域信息。针对上述问题,提出了一种卷积神经网络和稀疏字典联合学习的算法。现有稀疏编码方法大多仅考虑光谱信息而丢弃空间信息,而所提算法利用卷积神经网络可以有效提取数据深层特征的优势,对高光谱图像同时提取空谱特征,获取高维深层特征;然后再通过字典学习对深层特征进行稀疏编码,以获取用于分类的鉴别特征;最后采用分类器确定分类结果。在实验部分,采用所提算法与现有几种算法在三个公开数据集上进行分类,结果发现:相比于其他算法,所提算法的总体分类精度、平均分类精度和Kappa系数均有所提升。所提方法可以同时提取高光谱数据的空谱特征,具有良好的鲁棒性和判别性,有效地提高了分类的准确率,并且在样本数量小的数据集上表现良好。
遥感 高光谱图像 空谱特征 稀疏编码 卷积神经网络 激光与光电子学进展
2020, 57(18): 182802
内蒙古科技大学信息工程学院, 内蒙古 包头 014010
交互行为的识别是机器视觉研究领域的热点和难点,针对其识别率低的问题,提出了一种融合深度图像边缘特征、RGB(Red, Green, Blue)图像纹理特征以及光流运动轨迹特征的识别算法。首先,采用Canny算子提取深度图像的边缘特征,采用局部二值模式算子提取RGB图像的纹理特征,采用光流直方图描述图像的动态特征;然后,将提取的边缘特征和纹理特征进行加权融合;最后,利用基于稀疏表示的空间金字塔匹配模型对静态融合特征和光流运动轨迹特征进行编码融合,对交互行为进行识别。基于MSR Action Pairs、SBU Kinect interaction、CAD-60数据集的实验结果表明,本算法的识别效果较好。
图像处理 交互行为识别 特征融合 稀疏编码 激光与光电子学进展
2020, 57(18): 181006
