理想室内的可见光通信（VLC）信道传输模型并不适用于实际的不规则室内环境，针对这一问题，本文研究了可见光在不规则场景中无规律反射的情况，建立了更符合实际情况的VLC信道模型，并在此信道模型基础上提出了遗传算法优化反向传播（BP）神经网络（GA-BP）的定位算法，克服了BP神经网络存在处理非线性系统能力差的问题。通过仿真不规则场景下信道模型的反射元法向量信息，确定光线反射方向，使接收器可以接收到更加准确的光功率值。仿真结果表明，在5 m × 5 m × 5 m的不规则室内环境中，系统总接收光功率在0.0141~0.0639 W范围内波动，GA-BP算法较BP神经网络定位误差大幅减小，达到2.32 cm，平均定位时间为0.0625 s。