1 上海海洋大学 信息学院, 上海 201306
2 国家海洋局东海勘察中心, 上海 200137
基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题，为此，本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征；然后将语义特征映射成视觉特征符号，并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模，提取图像的全局特征，同时使用浅层神经网络提取底层局部图像特征，捕捉图像低级失真信息；最后结合全局图像信息与局部图像信息，对图像质量进行预测。为了验证模型的精度和鲁棒性，以相关系数PLCC和SROCC作为评价指标，在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验，并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明，本文方法以较少的参数量（大约1.56 MB）在各类数据集上均取得了优越的性能，尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958，证明在复杂的失真情况下仍能准确评估图像质量，本文网络结构能满足实际应用场景。
图像质量 无参考图像质量评价 Transformer 自注意力 特征符号 image quality no-reference quality assessment Transformer self-attention feature tokens
1 上海海洋大学信息学院, 201306
2 上海电力大学电子与信息工程学院, 上海 200090
高光谱图像分类是遥感领域的研究热点之一,是对地观测的重要手段,在地物的精细识别等领域具有重要的应用。使用卷积神经网络(CNN)可以有效地从原始图像中提取高级特征,具有较高的分类精度。但CNN计算量巨大,对硬件要求较高。为了提高模型计算效率,可以在图形处理器(GPU)上进行CNN模型的训练。现有的并行算法,比如GCN(GPU based Cube-CNN),无法充分利用GPU的并行能力,算法加速效果并不理想。为了进一步提升算法效率,提出基于通用矩阵乘法(GEMM)算法的GGCN(GPU based Cube-CNN improved by GEMM)并行加速算法,通过G-PNPE(GEMM based Parallel Neighbor Pixels Extraction)对输入数据和卷积核进行重新组织排列,实现卷积的并行计算,有效地提高了GPU的利用率并进一步提升了算法的训练效率。通过分析在三个数据集上的实验结果发现,改进算法的分类精度与原算法保持一致,而且模型的训练时间缩短了30%左右,表明算法的有效性和优越性。
成像系统 高光谱图像 图形处理器 通用矩阵乘法 并行计算 激光与光电子学进展
2020, 57(20): 201101
