从拉盖尔-高斯涡旋光束表达式出发，基于瑞利衍射理论，通过研究涡旋光束在大气湍流中传输时的旋转相干函数的变化规律，总结了涡旋光束在大气湍流中传输时各轨道角动量之间的串扰情况，使用了拓扑荷数探测概率描述串扰规律，并推导了拓扑荷数探测概率的解析表达式。研究了涡旋光束通过湍流后的拓扑荷数的分布情况，并将结果与涡旋光束通过大气随机相位屏的数值仿真结果进行了对比，给出了理论与仿真的拓扑荷数的探测概率随湍流强度以及初始涡旋光束拓扑荷数大小的关系图对比，验证了推导的拓扑荷数探测概率解析表达式的正确性。通过该表达式可进一步研究大气湍流与涡旋光束相互作用从而影响涡旋光束轨道角动量散射的本质，为涡旋光束的空间光通信中选择合适的拓扑荷数间隔，以及在不同湍流强度下选择合适束腰大小以减少串扰带来的误码率提供了理论依据。