针对传统图像描述方法存在提取图像关键信息精度不高、描述不准确等问题, 提出了一种结合残差学习和双模态CAE的图像描述方法。提出一种新型双模态卷积自动编码器（CAE）结构, 包括图像和文本两个输入, 以及编码、隐藏层交互、解码等处理环节, 完成对输入图像的文本描述;在经典CAE中加入残差学习, 与CAE的卷积层构成深度残差网络(DRN), 增加了学习深度, 以提高方法的准确率;将文本和图像的隐藏层进行交叉重构, 以最小化损失函数为目的, 训练得到图像-文本的关系, 从而实现图像的描述。利用COCO和Flickr30k数据集对所提方法进行定性和定量的仿真实验, 其结果论证了所提方法的有效性, 与其他方法相比, 评价指标Med r最低, 且R@K（K=1,5,10）最高, 运算时间仅为0.183s, 能够更为精准地描述图像。

卷积神经网络(Convolution Neural Networks, CNN)和循环神经网络(Recurrent Neural Networks, RNN)在图像分类、计算机视觉、自然语言处理、语音识别、机器翻译、语义分析等领域取得了迅速的发展, 引起了研究者对计算机自动生成图像描述的广泛关注。目前图像描述存在的主要问题有输入文本数据稀疏、模型存在过拟合、模型损失函数震荡难以收敛等问题。文中使用NIC作为基线模型, 针对数据稀疏问题, 改变了基线模型中的文本one-hot表示, 使用word2vec对文本进行映射, 为了防止过拟合, 在模型中加入了正则项和使用Dropout技术, 并在词序记忆方面取得创新, 引入联想记忆单元GRU, 用于文本生成。在试验中使用AdamOptimizer优化器进行参数迭代更新。实验结果表明: 改进后的模型参数减少且收敛速度大幅加快, 损失函数曲线更加平滑, 损失最大降至2.91, 模型的准确率比NIC提高了接近15%。实验有效地验证了在模型当中使用word2vec对文本进行映射可明显缓解数据稀疏问题, 加入正则项和使用Dropout技术可有效防止模型过拟合, 引入联想记忆单元GRU能够大幅减少模型训练参数, 加快算法收敛速度, 进而提高整个模型的准确率。

通过对大图像、小图像、噪声图像的重建,比较了泽尼克矩、正交的傅里叶-梅林矩,畸变的雅可比-傅里叶矩的图像描述能力,最后得出:畸变的雅可比-傅里叶矩有着最强的图像描述能力。在实验中还发现:在噪声图像的重建中,随着重建阶数的提高,图像的重建误差并不是一直减少,而是和有噪声图像一样,是一个先降后升的过程,并对此现象作了解释:在离散空间中连续正交多项式矩并不是完全意义上的正交,是这种正交误差造成了此现象。

经过图像分割后,得到的是若干区域和边界.通常把感兴趣的部分叫目标,其余的部分叫背景,最终目的是要让计算机来识别这些目标.为了有效地识别目标,必须要描述这些目标即提供它们的有用信息和相互关系.本文分区域内部描述、区域边界描述和关系描述三个部分,对现有的各种图像描述方法进行全面的讨论,分析了每种方法的原理、优缺点和适用场合,并对图像描述方法的发展前景做了展望.

提出了雅可比-傅里叶矩,它是用雅可比多项式作为径向函数,用傅里叶因子作为角向函数构造而成的,是广义正交傅里叶-梅林矩.经过归一化处理后的雅克比-傅立叶矩具有平移、尺度、旋转、灰度多畸不变性.从归一化图像重建误差、噪声灵敏度等方面对雅可比-傅里叶矩的图像描述能力进行了研究,结果显示雅可比-傅里叶矩在各种参量选择的情况下,具有良好的图像描述和抗噪声能力,是一个优良的图像特征.以前的研究多为单纯构建某一个函数,而现在将其扩展为构建一个函数族,开阔了矩描述量的研究视野.