为充分提取高光谱图像（HSI）的光谱空间信息特征，实现HSI的高精度地物分类，提出端到端的多尺度特征融合残差（MFFI）模块。该模块结合了3D多尺度卷积、特征融合以及残差连接3种手段，实现了HSI多尺度光谱空间特征的联合提取。因模块具有端到端特性，可通过堆叠多个MFFI模块得到具有提取深层特征能力的MFFI网络。该网络在Salinas、Indian Pines和University of Pavia 3个HSI数据集的平均总体准确率为99.73%，平均准确率为99.84%，平均卡帕系数为0.9971。结果表明：MFFI模块可以有效提取不同类型地物数据集的光谱空间特征，并取得良好的分类结果。