1 河北工业大学, 天津 300400
2 中国科学院国家天文台, 北京 100012
天文学上把亮度随时间变化的恒星称为变星。 它对于研究星系的距离, 恒星的演化以及恒星在不同阶段的性质具有非常重要的意义。 目前对变星的识别主要依靠长时间观测其亮度变化, 并结合对恒星的光谱进行分析才能最终完成认证。 这项工作需要天文学家投入大量时间, 难以开展大规模分类。 针对上述问题本文提出了一种将测光图像与一维光谱进行数据融合用于对变星进行分类的方法——光谱-测光融合网络(ASPF-Net)。 该网络由C1网络和C2网络两部分组成, 其中C1是用于提取光谱特征的一维卷积神经网络, C2是用于提取测光数据特征的二维卷积神经网络; 最后将两者提取到的特征进行融合, 用一个全连接前馈神经网络完成分类。 该研究在对食变星、 脉冲变星和标准星分类问题上进行了实验。 实验数据均来自于斯隆数字巡天项目(SDSS), 该项目包含了测光图像和光谱两种数据。 对于光谱数据本文选取波长在380.0 ～680.0 nm范围内的流量值。 测光图像由: u、 g、 r、 i和z共5个波段数据组成, 对应的中心波长分别为: 355.1、 468.6、 616.6、 748.0和893.2 nm。 相比于传统的利用其中三个波段合成RGB图像, 原始SDSS数据拥有更高的灰度等级。 为了方便网络训练, 对测光数据和光谱数据均做了标准化处理。 分类性能分析方面, 使用了精确率, 召回率, F1值和平均准确率四个指标进行评估。 提出的光谱-测光融合网络(ASPF-Net)在针对食双星、 脉冲变星和标准星的分类任务, 精确率分别为: 91.1%、 92.8%和98.2%。 实验证明, 数据融合之后的分类性能优于单独使用光谱数据或测光数据的分类性能。 说明将光谱数据和测光数据结合起来对变星进行分类是一种有效的方法, 这为今后的变星的分类提供了一种新的思路和方法。
数据融合 光谱分类 多模态融合网络 测光图像 变星分类 Data fusion Spectral classification Feature fusion network Photometry image Variable star classification 光谱学与光谱分析
2023, 43(6): 1869
大气与环境光学学报
2023, 18(4): 371
1 天津大学电气自动化与信息工程学院，天津 300072
2 天津大学微电子学院，天津 300072
针对短视频流行度预测问题，提出了一种基于双向深度编码网络的短视频流行度预测模型，该模型同时考虑多模态融合和单模态监督的建模并将其整合为一个双向深度编码网络。多模态融合模块利用模态关联性解决原始特征之间的数据缺失和维度差异等问题，以获取更全面的特征表示。单模态监督模块利用模态差异性监督多模态特征融合。通过联合训练多模态融合和单模态监督任务，充分学习多模态信息的一致性和差异性以提高算法的泛化能力。在公开NUS数据集上的实验表明所提模型的有效性和优越性。
成像系统 短视频 模态关联性 特征表示 多模态融合 流行度预测 激光与光电子学进展
2022, 59(8): 0811009
中南林业科技大学计算机与信息工程学院, 湖南 长沙 410004
对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能。对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类。最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别。实验结果表明,与单模态情感识别相比,所提方法在所选数据集上的识别准确率提升4%左右,具有较好的识别结果。
图像处理 情感识别 全卷积神经网络 长短期记忆网络 注意力机制 多模态融合 激光与光电子学进展
2021, 58(2): 0210017
江苏大学食品与生物工程学院, 江苏 镇江 212013
中国是世界上受真菌毒素污染最严重的国家之一, 因污染造成的粮食及粮油产品经济损失巨大, 真菌毒素快速检测与防控迫在眉睫。 由于传统湿化学检测方法的时滞性、 复杂性、 高成本、 使用大量化学试剂等问题, 无法满足粮食生产、 流通及加工过程中快速实时检测的需要。 分子光谱是分子振动能级间或转动能级间跃迁产生的光谱, 反映了分子内部的结构信息, 可确定分子的转动惯量、 分子键长健强及离解能, 用于样本中化学组分及性质的检测。 粮食样本(真菌毒素)在激发光的激励作用下能级跃变产生的光通过光路系统被光电探测器接收, 光谱强度与被测物浓度在一定范围内符合Lambert-Beer定律, 可实现粮食真菌毒素的快速、 定量检测。 相比真菌毒素传统检测方法费时费力、 成本高、 大量使用化学试剂等问题, 光谱分析技术具有快速、 无损、 绿色等显著技术优势。 在分析粮食真菌毒素检测的重要性、 迫切性的基础上, 介绍了光谱分析的技术原理与理论基础, 近红外光谱是电偶极矩变化引起的振动光谱, 拉曼光谱是分子极化引起的振动光谱, 而荧光光谱反映具有长共轭结构的分子信息, 光谱成像在检测维度上由一维拓展到二维分布, 通过光谱解析和特征分析可进行真菌毒素快速准确检测。 进一步分析了近红外光谱、 拉曼光谱、 荧光光谱和光谱成像等技术在粮食真菌毒素检测的研究现状及发展动态, 指出了各技术的优势与存在的不足, 研究表明光谱分析技术受到越来越多的学者关注, 基于光谱分析技术的粮食真菌毒素的检测探索, 已成为食品安全检测领域的热点问题。 通过文献综述可以发现, 光谱分析技术为粮食中真菌毒素的快速筛查、 定性判别或高灵敏检测提供了新的途径, 但仍存在诸多尚需解决的问题, 在系统探讨光谱分析技术瓶颈问题的基础上, 展望了需进一步突破的研究方向, 特别是在检测的认可度、 检测精度和稳定性方面。 通过光谱理论解析明确粮食真菌毒素检测的可行性, 通过微观尺度提高粮食真菌毒素检测的稳定性, 通过多模态光谱信息融合提高粮食真菌毒素检测的精确性, 为粮食真菌毒素的光谱快速检测技术提供参考。
粮食 真菌毒素 近红外光谱 拉曼光谱 荧光光谱 多模态融合光谱 光谱成像 Grain Mycotoxin Near infrared spectroscopy Raman spectroscopy Fluorescence spectroscopy Multimodal fusion spectroscopy Spectral imaging 光谱学与光谱分析
2020, 40(6): 1751
1 西安工业大学 计算机科学与工程学院, 西安 710021
2 常州大学 信息科学与工程学院, 江苏 常州 213164
3 西北大学 附属医院/西安市第三医院 国际医疗部, 西安 710000
针对目前传统方法脑肿瘤检测准确率低的问题, 提出一种基于深度学习的三维脑肿瘤检测方法.首先将不同模态的脑肿瘤磁共振成像影像进行融合, 获取不同模态下的脑肿瘤病灶三维空间特征; 然后在卷积层和池化层之间增加实列归一化层, 提高网络的收敛速度, 缓解过拟合的问题; 并对损失函数进行改进, 采用加权损失函数加强对病灶区域的特征学习; 最后结合后处理方法解决假阳脑肿瘤病灶多的问题.实验结果表明：提出的脑肿瘤检测方法可有效进行肿瘤病灶定位; 相关性系数、敏感性和特异性三种评价指标分别达到了0.926 7、0.928 1和0.997 7, 与二维检测网络相比, 提高了4.6%、3.96%和0.04%, 较初始的单模态脑肿瘤检测方法提升了13.2%、10.42%和0.12%.
磁共振 脑肿瘤检测 多模态融合 实列归一化 加权损失函数 Magnetic resonance Brain tumor detection Multi modal fusion Instance normalization Weighted loss function
