当前光子神经网络的研究主要集中在单一模态网络的性能提升上，而缺少对多模态信息处理的研究。与单一模态网络相比，多模态学习可以利用不同模态信息之间的互补性，因此，多模态学习可以使得模型学习到的表示更加完备。本文提出了将光子神经网络和多模态融合技术相结合的方法。首先，利用光子卷积神经网络和光子人工神经网络相结合构建异构光子神经网络，并通过异构光子神经网络处理多模态数据。其次，在融合阶段通过引入注意力机制提升融合效果，最终提高任务分类的准确率。在多模态手写数字数据集分类任务上，使用拼接方法融合的异构光子神经网络的分类准确率为95.75%；引入注意力机制融合的异构光子神经网络的分类准确率为98.31%，并且优于当前众多先进单一模态的光子神经网络。结果显示：与电子异构神经网络相比，该模型训练速度提升了1.7倍。与单一模态的光子神经网络模型相比，异构光子神经网络可以使得模型学习到的表示更加完备，从而有效地提高多模态手写数字数据集分类的准确率。

为解决由于光的吸收和散射现象导致拍摄的水下图像呈现出严重色偏，对比度低等质量问题，本文提出轻量级特征融合网络和多颜色模型校正相结合的水下图像增强方法。首先使用自构建块代替卷积层的编码器和解码器结构的特征融合网络对水下图像色偏进行校正，网络中改进的特征融合模块降低全连接层对图像空间结构的破坏，保护空间特征，减少模块的参数量。同时改进的注意力模块并行池化计算提取特征图纹理细节且保护背景信息。然后使用多颜色模型校正模块根据像素之间关系进行校正，进一步减少色偏，提高对比度和亮度。实验结果表明，与最新的图像增强方法对比，在有参考图像数据集上，本文方法的NRMSE、PSNR和SSIM评价指标的平均值分别比第二名提升了9.3%、3.7%和2.3%。在无参考图像数据集上，本文方法的UCIQE、IE和NIQE评价指标的平均值比第二名提升了6.0%、2.9%和4.5%。综合主观感知和客观评价，本文方法能校正水下图像色偏，提升对比度和亮度，提高图像质量。

针对ResNet18网络模型在面部表情识别时存在网络模型大、准确率低等问题，提出了一种基于注意力机制ResNet轻量网络模型（Multi-Scale CBAM Lightweight ResNet，MCLResNet），能够以较少的参数量、较高的准确率实现面部表情的识别。首先，采用ResNet18作为主干网络提取特征，引入分组卷积减少ResNet18的参数量；利用倒残差结构增加网络深度，优化了图像特征提取效果。其次，将CBAM（Convolutional Block Attention Module）通道注意力模块中的共享全连接层替换为1×3的卷积模块，有效减少了通道信息的丢失；在CBAM空间注意力模块中添加多尺度卷积模块获得了不同尺度的空间特征信息。最后，将多尺度空间特征融合的CBAM模块（Multi-Scale CBAM，MSCBAM）添加到轻量的ResNet模型中，有效增加了网络模型的特征表达能力，另外在引入MSCBAM的网络模型输出层增加一层全连接层，以此增加模型在输出时的非线性表示。该模型在FER2013和CK+数据集上的实验结果表明，本文提出的模型参数量相比ResNet18下降82.58%，并且有较好的识别准确率。

针对复杂场景下红外图像中弱小目标像素占比少、特征细节不明显致使目标特征提取困难、检测准确率低的问题，提出了一种基于注意力机制的复杂背景下红外弱小目标检测方法。该方法以YOLOv5网络为基础，设计SimAMC3注意力机制模块，优化网络的特征提取层；设计目标检测头，通过增加特征融合层来改变其开始进行特征提取的深度，获得新的弱小目标检测层，使浅层特征层更好地保留弱小目标的空间信息；改进预测框筛选方式，提高距离相近或重叠目标的检测精度。实验选取了两个SIRST红外弱小目标图像数据集，对其进行标注并训练。实验结果表明，改进后的算法与原YOLOv5算法相比，平均精度均值（mAP）分别提升了4.8%和7.1%，在不同复杂背景下均可有效检测出红外弱小目标，体现了良好的鲁棒性和适应性，可以有效应用于复杂背景中的红外弱小目标检测。

多模态医学图像融合在医学临床应用中起着至关重要的作用，为了解决现有方法大多数侧重于局部特征的提取，对全局依赖关系的探索不足，忽略了全局和局部信息交互，导致难以有效解决周围组织与病灶区域之间的模式复杂性和强度相似性问题。该文提出面向PET和CT医学图像融合的LL-GG-LG Net模型。首先，提出了局部-局部融合模块（Local-Local Fusion Module，LL Module），该模块采用双层注意力机制更好地关注局部细节信息特征；其次，设计了全局-全局融合模块（Global-Global Fusion Module，GG Module），该模块通过在Swin Transformer中加入残差连接机制将局部信息引入全局信息中，提高了Transformer对局部信息的关注程度；然后，提出一种基于可微分神经架构搜索自适应的密集融合网络的局部-全局融合模块（Local-Global Fusion Module，LG Module），充分捕获全局关系并保留局部线索，有效解决背景和病灶区域相似度高问题；使用临床多模态肺部医学图像数据集验证模型的有效性，实验结果表明，该文方法在平均梯度，边缘强度，Q^AB/F，空间频率，标准差，信息熵等感知图像融合质量评价指标上与其他七种方法中最优的方法相比，分别平均提高了21.5%，11%，4%，13%，9%，3%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。

光刻热点检测是实现集成电路可制造性设计，保障集成电路芯片最终良率的关键。鉴于传统基于深度学习的光刻热点检测方法难以满足先进集成电路制造对检测精度的要求，提出了一种基于改进Yolov5s的检测算法，用于光刻版图热点缺陷的精确检测。通过将坐标注意力机制引入骨干网络，提高了Yolov5s模型对版图图形区域的关注度，进而极大地改善了基于Yolov5s的检测算法的光刻热点检测性能。与此同时，采用Sigmoid线性单元激活函数进一步完善整个神经网络的非线性表达，利用Scylla交并比损失函数更快速地定量评估边界框回归损失，提高了热点检测算法的收敛速度和精度。将ICCAD（The International Conference on Computer-Aided Design）2012竞赛基准、经光学邻近校正优化后的光刻图形作为数据集对所提算法开展性能测试实验，验证了热点检测算法的优异检测精度。实验结果表明，该算法的平均准确率、平均召回率、平均F1-score和均值平均精度分别达到97.7%、98.0%、97.8%和98.4%，显著优于其他光刻热点检测算法，展示了良好的应用前景。