为了拓展对计算全息加密图像的解密方法，针对非法攻击难度大的对称-非对称混合加密系统，提出了一种利用神经网络恢复混沌虹膜相位掩模计算全息加密图像的方案。对明文图像进行加密，生成计算全息的密文图像，制作大量的密文明文图像对作为数据集。通过搭建神经网络不断地训练和测试，训练完成后的神经网络可以拟合出密文图像到明文图像的映射关系，解密时不再使用公钥和私钥对密文图像进行解密。实验结果表明：通过神经网络恢复出的图像与明文图像相比，平均互相关系数为0.984，平均峰值信噪比为61.0 dB，平均结构相似性为0.77；对密文图像进行噪声污染，也可以恢复出较高质量的图像，实现了通过神经网络对密文图像解密的目的，方案是可行的并具有较好的鲁棒性。