在人群计数中, 针对尺度变化、行人分布不均以及夜间较差成像条件, 提出了一种基于 RGB-T(RGB-Thermal)图像的多模态人群计数算法, 称为双流残差扩张网络, 它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中, 前端网络用来提取 RGB特征和热特征, 扩张卷积模块进一步提取不同尺度的行人特征信息, 全局注意力模块用来建立全局特征之间的依赖关系。此外, 还引入了一种新的多尺度差异性损失, 以提高网络的计数性能。为评估该方法, 在 RGBT-CC(RGBT Crowd Counting)数据集和 DroneRGBT数据集上进行了对比实验。实验结果表明, 在 RGBT-CC数据集上与 CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的 GAME(0)

组织血氧饱和度（StO2）是检测组织和血液中血液灌注和血液氧合变化的重要指标, 在临床及日常监测中具有重要意义。 高光谱成像以其非接触、 光谱信息丰富等优点, 成为一种评估StO2的新兴手段, 然而高光谱成像设备造价昂贵且操作复杂, 限制了其使用环境及发展。 传统工业相机获取皮肤组织的RGB图像空间分辨率高、 但其光谱分辨率低, 若能提高光谱分辨, 则其实现高精度生理参数测量成为可能。 提出了一种基于RGB图像高光谱重建的StO2评估方法。 该方法基于深度学习方法构建了从RGB图像到皮肤组织高光谱图像的重建模型, 获得了高物理可靠性皮肤组织高光谱图像, 并利用改进的朗伯比尔模型, 实现了区域StO2评估。 采用普通可见光相机与高光谱相机通过捆绑实验同时采集了49位受试者处于不同血液灌注状态下手部的RGB图像与高光谱图像作为数据集。 在对高光谱图像进行降维去噪的基础上, 根据含氧血红蛋白、 脱氧血红蛋白的特征光谱选取了450～600 nm（含31个光谱通道）波段作为重建光谱波段, 构建了基于深度学习的皮肤组织高光谱重建神经网络模型。 实验结果表明, 重建模型获得的皮肤反射光谱与高光谱相机直接采集的反射光谱曲线具有较高的一致性, 测试集中二者的平均绝对误差（MAE）为0.009 38, 均方误差（RMSE）为0.0148 1。 之后对重建模型得到的区域StO2测量结果与高光谱相机得到的测量结果二者的相似性进行了定量评估, 测试集样本中两种方法生成StO2空间分布图的二维相关系数均处于可靠范围内（大于94%）, 表明了本文提出的基于可见光图像高光谱重建的StO2评估方法具有较高的可靠性。 该研究利用普通彩色相机实现了区域StO2评估, 为各种疾病的临床诊断和监测提供了一种简单低成本的StO2监测方法。

RGB合波器作为激光扫描显示系统的关键性核心部件,其微小型化和高传输效率是应用于增强现实的必然要求。针对氮化硅、氮化镓、SU8三种可见光波段高透过率材料,对比研究了其波导的折射率差、色散曲线、单模条件,以及所构成的多模干涉型RGB波导合波器的尺寸、传输效率、光场分布。研究结果表明,氮化硅器件的各项性能介于氮化镓与SU8器件之间;氮化镓器件具有最大的芯层与包层折射率差,最小的单模截止尺寸,最短的器件长度（2 000 μm）;SU8器件具有最小的芯层与包层折射率差,最大的单模截止尺寸,但器件长度大于氮化镓,为3 600 μm。此外,氮化硅、氮化镓、SU8三种器件的RGB平均传输率分别为78%,55%和91%,可见SU8器件占有明显优势。未来,经过进一步优化设计的超紧凑氮化镓多模干涉型RGB波导合波器有望应用于激光扫描单片集成系统中,而具有良好柔性的SU8多模干涉型RGB波导合波器则在可形变系统中具有重要应用价值。这些器件为增强现实系统朝着微小型化和高传输效率的方向发展提供了技术基础。

针对移动机器人单激光雷达或RGB-D相机Gmapping建图时存在的障碍物检测不完全或建图效果不理想等问题，提出一种激光与相机融合Gmapping建图策略。首先，对相机点云和激光点云进行预处理，然后通过点云库（PCL）进行点云融合、滤波，采用点对线的迭代最近点（PL-ICP）算法进行相邻帧点云配准，以提高匹配精度和速率；接着，为了提高里程计精度，对视觉里程计、激光里程计采用Kalman滤波算法进行融合，对融合后的数据与轮式里程计进行动态加权二次融合；最后，在搭建好的移动机器人上验证所提方法。实验结果表明：与激光建图和相机建图方法相比，所提方法的障碍物检测率提高了32.03个百分点和19.86个百分点，地图的尺寸误差分别减小0.014 m和0.141 m，角度误差分别减小1°和3°；与原始里程计相比，里程计精度提高了0.12个百分点。