基于Wasserstein生成对抗网络的智能光通信 下载: 738次
1 引言
现有通信链路中,激光通信具有带宽容量大、传输隐蔽性强、传输速率快、抗干扰能力强等优势,越来越多地被应用在各种端到端通信中[1]。但无线激光通信本身容易受传输信道影响,且通信信道为大气信道,光信号通过时会受到大气湍流的影响[2],通常通过大孔径接收技术、功率冗余设计及基于信道状态信息(CSI)的自适应方法对大气湍流效应进行补偿[3]。然而大气信道受天气影响较大、变化较快,以上方法仍旧存在实时性差、鲁棒性弱的问题[4],传统的通信系统技术已经渐趋成熟[5,14],但其系统模块化设计很难达到系统的全局最优。
近期,深度学习技术被应用于通信系统中来改善实时性差的问题,O'Shea等[6]利用监督学习的方式来训练模型的权重,以优化端到端学习系统,从而优化训练精度;Dörner等[7]将端到端方法应用于处理硬件缺陷;Felix等[8]在正交频分复用(OFDM)系统中采用端到端学习方法;Ye等[9]运用条件生成对抗网络(CGAN)完成无明确信道状态信息下的端到端学习训练,并取得了和传统通信方式类似的性能。但传统的生成对抗网络(GAN)由于自身结构原因,判别指标Kullback-Leibler(KL)散度和Jensen-Shannon(JS)散度不可能同时达到最优条件,使传统GAN发生训练不稳定、模式坍塌等不可避免的问题[10]。本文引入Wasserstein生成对抗网络(WGAN)对端到端通信系统进行训练,这可使通信系统达全局最优,增强了实时性和鲁棒性。
2 生成对抗网络
端到端通信系统是一种由深度学习方法训练的端到端通信模型[11],其结构框图如
图 1. 端到端通信系统。(a) 端到端通信系统结构框图;(b) 自动编码器、自动解码器结构图
Fig. 1. End-to-end communication system. (a) Structure diagram of end-to-end communication system; (b) structure diagram of automatic encoder and automatic decoder
GAN是一种新的分布式学习生成方法,应用于通信系统中来学习通道效应。GAN结构框图如
式中:Pr为真实样本分布;Pg为由生成器产生的样本分布;G(·)为生成器输出;D(·)为鉴别器输出;E(·)为数学期望;x为输入样本。
3 Wasserstein生成对抗网络
GAN可以完成对信道的模拟,进而达到训练端到端通信系统的目的,但其本身存在诸多问题,如训练过程不稳定、生成器和鉴别器的损失函数无法指示训练进程、生成样本缺乏多样性等。GAN训练困难的主要原因如下。1)鉴别器训练程度难以把握:当鉴别器达到最优鉴别时,生成梯度消失,生成器损失函数降不下去;当鉴别器训练得不理想时,生成器梯度不精确,导致训练无法准确进行下去;只有当鉴别器训练程度适合时,才可以在生成器梯度不消失的情况下将其损失函数最小化,但这个训练的合适程度很难把控,而且随着训练阶段不同,所需要的训练程度也不完全相同,因此GAN的训练存在很大困难。2)最小化生成器损失函数会等价于最小化一个不合理的衡量参数,进而导致两个问题:梯度不稳定;GAN训练时容易出现梯度坍塌问题,导致生成器多样性不足。
为解决传统GAN自身的不足,首先总结GAN不足的原因,随后提出Wasserstein距离的概念。传统GAN训练困难的主要原因在于真实样本的概率分布与生成器生成样本的概率分布的支撑集完全不同,又由于两者的流型的维度皆小于样本空间的维度,即两者的流型基本上是不可能完全对齐的,因而即便有少量相交的点,它们在两个概率流型上的测度为0,可忽略。因而可以将两个概率的流型看成是可分离的,而这将直接导致传统GAN中的重要鉴别指标JS散度为常数,最终大概率出现梯度消失的问题,因此无论生成器如何努力,皆获得不了分类误差信息。相比原始GAN中KL散度、JS散度,Wasserstein距离的优越性在于,即便两个分布没有重叠,Wasserstein距离仍然能够反映它们的远近。KL散度和JS散度是突变的,要么最大要么最小,Wasserstein距离却是平滑的,如果用梯度下降法优化,前两者根本提供不了梯度,Wasserstein距离却可以。类似地,在高维空间中如果两个分布不重叠或者重叠部分可忽略,则KL散度和JS散度既反映不了远近,也提供不了梯度,但是Wasserstein距离却可以提供有意义的梯度。
基于Wasserstein距离的优越性,WGAN将其定义为生成器的损失函数,Wasserstein距离[13]的形式为
式中:y为输出样本;γ为边缘分布Pr和Pg中的每一个联合分布的集合。由于(2)式中
式中:K为使Lipschitz连续成立且大于0的常数。则(3)式可以转换为[10]
已知K为大于0的常数,则Wasserstein距离与K无关,且考虑到(4)式右端第一项与生成器无关,则可得到WGAN的两个损失函数。
生成器损失函数的表达式为
鉴别器损失函数的表达式为
(6)式与(4)式数值相反,可以指示训练进程,其数值越小,表示真实分布与生成分布的Wasserstein距离越小,GAN训练得越好。由于WGAN的鉴别器只是近似拟合Wasserstein距离,因此这属于回归问题而非原始GAN的真假二分类问题,因此将GAN最后一层Sigmoid激活函数去除。
WGAN解决了原始GAN训练不稳定的问题,不需要再考虑生成器与鉴别器的训练程度的平衡;基本解决了模式坍塌的问题,确保了生成样本的多样性;训练过程中有类似交叉熵、准确率这样的数值来指示训练的进程,数值越小代表GAN训练得越好,代表生成器产生的图像质量越高;并不需要精心设计网络架构,最简单的多层全连接网络就可以实现GAN的稳定训练。
4 端到端通信系统
GAN是完成学习信道模型的有效工具,通过GAN对信道信息的学习,可以使得梯度信息有效地反向传递到生成器,保证学习训练的连续性。在学习训练过程中,先将有限离散大小为M的信号集转换为长度为M的单热矢量s,此时端到端传输问题被转换为M级分类问题。其中
式中:sn和
端到端通信系统的训练过程和测试过程如
训练端到端通信系统时要达到训练GAN的优化目标,则要保证最小化端到端损耗,即最小化损失函数。
1) 训练接收器
在接收器处可以直接计算损失函数,因此可以很容易地训练接收器,进而获得损失函数的梯度。对于时变信道,通过直接将输入信号x、接收信号y作为输入,接收器可以自动推断信道条件并同时执行信道估计和检测,而无需明确估计信道。
2) 训练发射器
发射器的训练类似于接收器的训练,在接收器处计算端到端损失,梯度函数反向传递给发射器,权重的更新基于随机梯度下降(SGD),与此同时控制接收器权重保持不变。
3) 训练信道生成器和鉴别器
用接收器和发射器一起训练信道生成器。来自发射器的编码信号经实际信道获得实际数据,同时从通过信道生成器的编码数据中获得伪数据,进而训练生成器和鉴别器。优化的目标函数如(1)式所示。
5 仿真实验
首先通过MNIST手写数据集对传统GAN、WGAN进行训练,测试其训练速度和稳定性;然后分析信号在高斯白噪声(AWGN)信道和对数正态(Lognormal)信道传输过程中,GAN方法、WGAN方法、传统通信方式的误码率曲线。实验中每组模型的结构和参数如
5.1 加性高斯白噪声信道
在加性AWGN信道中应用GAN方法,其中信道的输出y是输入信号x和高斯噪声ω的叠加,即y=x+ω。因此,影响输出信号的是来自生成器的编码信号,不需要信道估计,其中AWGN大小服从N~(0,σ2)正态分布[18-19]。
AWGN信道传播过程中,传统通信方式二进制相移键控(BPSK)、传统GAN方法及WGAN方法的块误码率曲线(BLER)如
5.2 对数正态信道
Lognormal信道属于大气信道[20],其信道输出由yn=hn·xn+n决定,其中hn表示信道衰落系数,n表示信道变化时间,其中hn~CN(0,1),属于标准正态分布。且Lognormal信道为时变信道,噪声会发生改变,即需要模拟信道的实时性,仿真参数如
表 2. Lognormal信道参数
Table 2. Lognormal channel parameters
|
Lognormal信道传播过程中,传统通信方式、传统GAN方法、WGAN方法的误码率曲线如
5.3 MNIST手写数据集训练
训练时采用MNIST手写数据集对GAN和WGAN进行训练,MNIST是最常见的手写数据集,包含60000个用于训练的示例和10000个用于测试的手写数字图片,其中每张图片拥有28×28个像素点,为简单起见,每个图像都被平展并转换为784(28×28)个特征的一维Numpy数组[21]。随机取其中25000个训练数据作为本次的训练集,取其中5000个测试数据作为测试集,对GAN和WGAN进行训练,测试其训练速度和稳定性,其准确率和损失函数曲线如
图 6. 准确率和损失值随样本个数的变化。(a)损失值;(b)准确率
Fig. 6. Change of accuracy and loss value with number of samples. (a) Loss value; (b) accuracy
从
表 1. 模型参数
Table 1. Model parameter
|
6 结论
针对传统通信系统模块化设计时存在全局优化性不理想的问题,采用GAN模拟信道效应来训练端到端通信学习系统;并针对传统GAN训练不稳定和模式坍塌的问题,采用Wasserstein GAN进行改进。在高斯白噪声信道和对数正态信道中对传输误码率进行仿真,结果表明,GAN方法和WGAN方法能够良好地模拟信道效应,且WGAN方法可以得到更好的误码性能。在MNIST手写数据集上对网络进行训练,结果表明,WGAN的准确率和损失值均优于GAN,能很好地解决传统GAN训练不稳定和模式坍塌的问题。
[2] Hunt B R, Iler A L, Bailey C A, et al. Synthesis of atmospheric turbulence point spread functions by sparse and redundant representations[J]. Optical Engineering, 2018, 57(2): 024101.
[3] Liu J M, Wang P P, Zhang X K, et al. Deep learning based atmospheric turbulence compensation for orbital angular momentum beam distortion and communication[J]. Optics Express, 2019, 27(12): 16671-16688.
[4] Xu M M, Bu X Z, He Z L, et al. Atmospheric turbulence interference compensation for missile-borne infrared attitude measurement[J]. Infrared Physics & Technology, 2019, 97: 69-73.
[5] Pappu C S, Carroll T L, Flores B C. Simultaneous radar-communication systems using controlled chaos-based frequency modulated waveforms[J]. IEEE Access, 2020, 8: 48361-48375.
[6] O'Shea T. Hoydis J. An introduction to deep learning for the physical layer[J]. IEEE Transactions on Cognitive Communications and Networking, 2017, 3(4): 563-575.
[7] Dörner S, Cammerer S, Hoydis J, et al. Deep learning based communication over the air[J]. IEEE Journal of Selected Topics in Signal Processing, 2018, 12(1): 132-143.
[8] FelixA, CammererS, DörnerS, et al. OFDM-autoencoder for end-to-end learning of communications systems[C]∥2018 IEEE 19th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC), June 25-28, 2018, Kalamata, Greece. New York: IEEE, 2018.
[9] YeH, Li GY, Juang B H F, et al. Channel agnostic end-to-end learning based communication systems with conditional GAN[C]∥2018 IEEE Globecom Workshops (GC Wkshps), December 9-13, 2018, Abu Dhabi, United Arab Emirates. New York: IEEE, 2018.
[10] ArjovskyM, Bottou L. Towards principled methods for training generative adversarial networks[EB/OL]. ( 2017-01-17)[2020-06-04]. https:∥arxiv.org/abs/1701. 04862.
[11] 邹鹏, 赵一衡, 胡昉辰, 等. 基于机器学习的可见光通信信号处理研究现状[J]. 激光与光电子学进展, 2020, 57(1): 010001.
[12] Xiang Y, Bao C C. A pa rallel-data-free speech enhancement method using multi-objective learning cycle-consistent generative adversarial network[J]. ACM Transactions on Audio, Speech, and Language Processing, 2020, 28: 1826-1838.
[13] Fournier N, Guillin A. On the rate of convergence in Wasserstein distance of the empirical measure[J]. Probability Theory and Related Fields, 2015, 162(3/4): 707-738.
[14] 王铭淏, 元秀华, 李军, 等. 径向部分相干光束在各向异性非Kolmogorov湍流中的传输[J]. 光学学报, 2018, 38(3): 0306003.
[15] Baum DS, HansenJ, SaloJ, et al. An interim channel model for beyond-3G systems: extending the 3GPP spatial channel model (SCM)[C]∥2005 IEEE 61st Vehicular Technology Conference, May 30-June 1, 2005, Stockholm, Sweden. New York: IEEE, 2005: 3132- 3136.
[16] Goodfellow IJ, Pouget-AbadieJ, MirzaM, et al. Generative adversarial nets[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems, December 8-13, 2014, Montreal, Quebec, Canada. New York: Curran Associates, 2014, 2: 2672- 2680.
[17] YangZ, ChenW, WangF, et al. Improving neural machine translation with conditional sequence generative adversarial nets[EB/OL]. [2020-06-04].https:∥arxiv.org/pdf/1703.04887.pdf.
[18] 王林, 刘金铸, 段德平. QPSK系统仿真及误码率性能分析[J]. 电脑知识与技术, 2011, 7(9): 1995-1996.
Wang L, Liu J Z, Duan D P. Simulation system of QPSK and performance analysis of BER[J]. Computer Knowledge and Technology, 2011, 7(9): 1995-1996.
[19] Duchi J C, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research, 2011, 12: 2121-2159.
[20] 靳永超, 陈雄斌, 毛旭瑞, 等. 调制度对可见光通信系统性能的影响[J]. 中国激光, 2019, 46(5): 0506001.
[21] Wang ZH, WuS, LiuC, et al. The regression of MNIST dataset based on convolutional neural network[M] ∥Hassanien A E, Azar A T, Gaber T, et al. The international conference on advanced machine learning technologies and applications (AMLTA2019). Advances in intelligent systems and computing. Cham: Springer, 2019, 921: 59- 68.
Article Outline
牟迪, 蒙文, 赵尚弘, 王翔, 刘文亚. 基于Wasserstein生成对抗网络的智能光通信[J]. 中国激光, 2020, 47(11): 1106005. Mu Di, Meng Wen, Zhao Shanghong, Wang Xiang, Liu Wenya. Intelligent Optical Communication Based on Wasserstein Generative Adversarial Network[J]. Chinese Journal of Lasers, 2020, 47(11): 1106005.