由于卫星遥感合成孔径雷达（SAR）与可见光图像之间存在显著的非线性辐射差异，故现有的SAR与可见光图像配准算法存在实时性差、旋转与尺度不变性弱等问题。针对目前算法只关注图像局部特征的外观信息，而忽略几何结构信息的问题，提出了一种结合卷积与图神经网络（GNN）的SAR与可见光图像匹配方法。该方法采用卷积神经网络进行特征检测与描述的同时，引入了GNN进行特征匹配。与最近邻匹配算法仅利用局部描述符信息相比，GNN先将特征点的位置坐标嵌入到描述符中，使得描述符具有几何位置信息，再利用注意力机制进一步聚合特征描述符的几何上下文信息，最后利用可微分的最优传输算法直接输出特征点的匹配结果，保证了网络可进行端到端的训练。实验结果表明：所提方法在大范围旋转与尺度变化的配准任务上，获得了最先进的性能；与目前主流配准算法辐射不变特征变换相比，所提方法在提升匹配精度的同时，计算速度也提高了50倍以上。