中国激光, 2020, 47 (11): 1106005, 网络出版: 2020-11-02   

基于Wasserstein生成对抗网络的智能光通信 下载: 738次

Intelligent Optical Communication Based on Wasserstein Generative Adversarial Network
作者单位
空军工程大学信息与导航学院, 陕西 西安 710077
摘要
首先介绍激光链路通信的优势,然后介绍基于生成对抗网络(GAN)的端到端通信学习系统,提高了通信系统的实时性与全局优化性。针对传统GAN在训练与应用中模式坍塌和训练不稳定的问题,引入Wasserstein生成对抗网络进行改进。最后将Wasserstein生成对抗网络应用于端到端通信系统中。实验结果表明,Wasserstein生成对抗网络可以对加性高斯白噪声信道和对数正态信道进行有效模拟,且解决了传统GAN训练不稳定和模式坍塌的问题。
Abstract
This study introduces an end-to-end communication learning system based on a generative adversarial network (GAN) after discussing the advantages of laser link communication. This improves the real-time and global optimization of the communication system. Moreover, this study introduces the Wasserstein GAN to resolve mode collapse and training instability in the training and application of a traditional GAN. Finally, the Wasserstein GAN is applied to the end-to-end communication system, and the experimental results show that the Wasserstein GAN can effectively simulate an additive Gaussian white noise channel and a lognormal channel, thus avoiding the training instability and mode collapse of the traditional GAN.

1 引言

现有通信链路中,激光通信具有带宽容量大、传输隐蔽性强、传输速率快、抗干扰能力强等优势,越来越多地被应用在各种端到端通信中[1]。但无线激光通信本身容易受传输信道影响,且通信信道为大气信道,光信号通过时会受到大气湍流的影响[2],通常通过大孔径接收技术、功率冗余设计及基于信道状态信息(CSI)的自适应方法对大气湍流效应进行补偿[3]。然而大气信道受天气影响较大、变化较快,以上方法仍旧存在实时性差、鲁棒性弱的问题[4],传统的通信系统技术已经渐趋成熟[5,14],但其系统模块化设计很难达到系统的全局最优。

近期,深度学习技术被应用于通信系统中来改善实时性差的问题,O'Shea等[6]利用监督学习的方式来训练模型的权重,以优化端到端学习系统,从而优化训练精度;Dörner等[7]将端到端方法应用于处理硬件缺陷;Felix等[8]在正交频分复用(OFDM)系统中采用端到端学习方法;Ye等[9]运用条件生成对抗网络(CGAN)完成无明确信道状态信息下的端到端学习训练,并取得了和传统通信方式类似的性能。但传统的生成对抗网络(GAN)由于自身结构原因,判别指标Kullback-Leibler(KL)散度和Jensen-Shannon(JS)散度不可能同时达到最优条件,使传统GAN发生训练不稳定、模式坍塌等不可避免的问题[10]。本文引入Wasserstein生成对抗网络(WGAN)对端到端通信系统进行训练,这可使通信系统达全局最优,增强了实时性和鲁棒性。

2 生成对抗网络

端到端通信系统是一种由深度学习方法训练的端到端通信模型[11],其结构框图如图1(a)所示,其中,H表示信道噪声干扰。信源发出信号,信号经自动编码器生成编码信息进入信道,编码信息在进入自动解码器后进行信息解码的同时向自动编码器反馈梯度信息,如图1(b)所示,进而更新深度神经网络(DNN)权重并进行下一次训练。然而,DNN权重反馈很容易受到信道的阻塞,从而影响整个端到端系统的学习效果。为了解决这个问题,选择GAN来学习通道效应。

图 1. 端到端通信系统。(a) 端到端通信系统结构框图;(b) 自动编码器、自动解码器结构图

Fig. 1. End-to-end communication system. (a) Structure diagram of end-to-end communication system; (b) structure diagram of automatic encoder and automatic decoder

下载图片 查看所有图片

GAN是一种新的分布式学习生成方法,应用于通信系统中来学习通道效应。GAN结构框图如图2所示,其中生成器学习输入样本并生成近似样本,使鉴别器误判为真实输入样本;而鉴别器负责鉴别样本数据是来自真实数据或是生成器产生的数据,也就是说在生成器和鉴别器之间引入博弈论。在学习训练期间,生成器生成类似输入的假样本,和真实样本一起训练鉴别器,最大化鉴别器的鉴别能力;同时鉴别器的鉴别信息反馈给生成器,使其生成更加类似真实样本的假样本。直到训练过程中出现平衡状态时结束训练,平衡时鉴别器不能比随机猜测更好地区分真实样本和生成的假样本。生成器和鉴别器均由DNN表示,分别带有参数GD,优化的目标[12]

minGmaxDV(D,G)=Ex~Pr{log[D(x)]}+Ex~Pg{log[1-D(x)]},(1)

式中:Pr为真实样本分布;Pg为由生成器产生的样本分布;G(·)为生成器输出;D(·)为鉴别器输出;E(·)为数学期望;x为输入样本。

图 2. GAN结构图

Fig. 2. Diagram of GAN structure

下载图片 查看所有图片

3 Wasserstein生成对抗网络

GAN可以完成对信道的模拟,进而达到训练端到端通信系统的目的,但其本身存在诸多问题,如训练过程不稳定、生成器和鉴别器的损失函数无法指示训练进程、生成样本缺乏多样性等。GAN训练困难的主要原因如下。1)鉴别器训练程度难以把握:当鉴别器达到最优鉴别时,生成梯度消失,生成器损失函数降不下去;当鉴别器训练得不理想时,生成器梯度不精确,导致训练无法准确进行下去;只有当鉴别器训练程度适合时,才可以在生成器梯度不消失的情况下将其损失函数最小化,但这个训练的合适程度很难把控,而且随着训练阶段不同,所需要的训练程度也不完全相同,因此GAN的训练存在很大困难。2)最小化生成器损失函数会等价于最小化一个不合理的衡量参数,进而导致两个问题:梯度不稳定;GAN训练时容易出现梯度坍塌问题,导致生成器多样性不足。

为解决传统GAN自身的不足,首先总结GAN不足的原因,随后提出Wasserstein距离的概念。传统GAN训练困难的主要原因在于真实样本的概率分布与生成器生成样本的概率分布的支撑集完全不同,又由于两者的流型的维度皆小于样本空间的维度,即两者的流型基本上是不可能完全对齐的,因而即便有少量相交的点,它们在两个概率流型上的测度为0,可忽略。因而可以将两个概率的流型看成是可分离的,而这将直接导致传统GAN中的重要鉴别指标JS散度为常数,最终大概率出现梯度消失的问题,因此无论生成器如何努力,皆获得不了分类误差信息。相比原始GAN中KL散度、JS散度,Wasserstein距离的优越性在于,即便两个分布没有重叠,Wasserstein距离仍然能够反映它们的远近。KL散度和JS散度是突变的,要么最大要么最小,Wasserstein距离却是平滑的,如果用梯度下降法优化,前两者根本提供不了梯度,Wasserstein距离却可以。类似地,在高维空间中如果两个分布不重叠或者重叠部分可忽略,则KL散度和JS散度既反映不了远近,也提供不了梯度,但是Wasserstein距离却可以提供有意义的梯度。

基于Wasserstein距离的优越性,WGAN将其定义为生成器的损失函数,Wasserstein距离[13]的形式为

w(Pr,Pg)=infγ~(Pr,Pg)E(x,y)~γx-y,(2)

式中:y为输出样本;γ为边缘分布PrPg中的每一个联合分布的集合。由于(2)式中 infγ~(Pr,Pg)无法直接求得,则将Wasserstein距离公式[10]转换为

w(Pr,Pg)=1Ksupf(x)LKEx~Pr[f(x)]-Ex~Pg[f(x)],(3)

式中:K为使Lipschitz连续成立且大于0的常数。则(3)式可以转换为[10]

K·wPr,PgmaxW:f(x)LKEx~Pr[f(x)]-Ex~Pg[f(x)](4)

已知K为大于0的常数,则Wasserstein距离与K无关,且考虑到(4)式右端第一项与生成器无关,则可得到WGAN的两个损失函数。

生成器损失函数的表达式为

lG=-Ex~Pg[f(x)](5)

鉴别器损失函数的表达式为

lD=Ex~Pg[f(x)]-Ex~Pr[f(x)](6)

(6)式与(4)式数值相反,可以指示训练进程,其数值越小,表示真实分布与生成分布的Wasserstein距离越小,GAN训练得越好。由于WGAN的鉴别器只是近似拟合Wasserstein距离,因此这属于回归问题而非原始GAN的真假二分类问题,因此将GAN最后一层Sigmoid激活函数去除。

WGAN解决了原始GAN训练不稳定的问题,不需要再考虑生成器与鉴别器的训练程度的平衡;基本解决了模式坍塌的问题,确保了生成样本的多样性;训练过程中有类似交叉熵、准确率这样的数值来指示训练的进程,数值越小代表GAN训练得越好,代表生成器产生的图像质量越高;并不需要精心设计网络架构,最简单的多层全连接网络就可以实现GAN的稳定训练。

4 端到端通信系统

GAN是完成学习信道模型的有效工具,通过GAN对信道信息的学习,可以使得梯度信息有效地反向传递到生成器,保证学习训练的连续性。在学习训练过程中,先将有限离散大小为M的信号集转换为长度为M的单热矢量s,此时端到端传输问题被转换为M级分类问题。其中 s^M个可能情况的概率向量。在系统接收器处计算交叉熵损失函数[9],被定义为

L=-n=1Msnlog(sn^),(7)

式中:snsn^分别代表ss^的第n个元素。

端到端通信系统的训练过程和测试过程如图3所示,其中h为信道。在训练期间,随机生成发送信号,并且从信道集中随机采样获得瞬时CSI。基于训练数据,运用控制变量法,迭代训练GAN中的接收器、发射器、信道生成器。

图 3. 接收器、发射器、生成器的训练结构

Fig. 3. Training structure of receiver, transmitter, generator

下载图片 查看所有图片

训练端到端通信系统时要达到训练GAN的优化目标,则要保证最小化端到端损耗,即最小化损失函数。

1) 训练接收器

在接收器处可以直接计算损失函数,因此可以很容易地训练接收器,进而获得损失函数的梯度。对于时变信道,通过直接将输入信号x、接收信号y作为输入,接收器可以自动推断信道条件并同时执行信道估计和检测,而无需明确估计信道。

2) 训练发射器

发射器的训练类似于接收器的训练,在接收器处计算端到端损失,梯度函数反向传递给发射器,权重的更新基于随机梯度下降(SGD),与此同时控制接收器权重保持不变。

3) 训练信道生成器和鉴别器

用接收器和发射器一起训练信道生成器。来自发射器的编码信号经实际信道获得实际数据,同时从通过信道生成器的编码数据中获得伪数据,进而训练生成器和鉴别器。优化的目标函数如(1)式所示。

5 仿真实验

首先通过MNIST手写数据集对传统GAN、WGAN进行训练,测试其训练速度和稳定性;然后分析信号在高斯白噪声(AWGN)信道和对数正态(Lognormal)信道传输过程中,GAN方法、WGAN方法、传统通信方式的误码率曲线。实验中每组模型的结构和参数如表1所示,权重由SGD更新,培训的批量大小为360。

5.1 加性高斯白噪声信道

在加性AWGN信道中应用GAN方法,其中信道的输出y是输入信号x和高斯噪声ω的叠加,即y=x+ω。因此,影响输出信号的是来自生成器的编码信号,不需要信道估计,其中AWGN大小服从N~(0,σ2)正态分布[18-19]

AWGN信道传播过程中,传统通信方式二进制相移键控(BPSK)、传统GAN方法及WGAN方法的块误码率曲线(BLER)如图4所示,可以看出:GAN方法和WGAN方法模拟信道效应时均可得到与传统通信方式类似的误码性能,即GAN和WGAN方法在AWGN信道中可以很好地模拟信道效应,进而很好地训练端到端通信学习系统;WGAN方法得到的误码率性能优于GAN,即在AWGN信道中,WGAN的训练效果比GAN更好。

图 4. AWGN信道中BLER曲线

Fig. 4. BLER curve in AWGN channel

下载图片 查看所有图片

5.2 对数正态信道

Lognormal信道属于大气信道[20],其信道输出由yn=hn·xn+n决定,其中hn表示信道衰落系数,n表示信道变化时间,其中hn~CN(0,1),属于标准正态分布。且Lognormal信道为时变信道,噪声会发生改变,即需要模拟信道的实时性,仿真参数如表2所示。

表 2. Lognormal信道参数

Table 2. Lognormal channel parameters

ParameterSymbolValue
Link distanceL /km100
Laser wavelengthλ /nm1550
Photoelectric conversion efficiencyR1
Receiver diameterD /mm200
Refraction parameterCn22.7×10-18
Rytov varianceσR0.24

查看所有表

Lognormal信道传播过程中,传统通信方式、传统GAN方法、WGAN方法的误码率曲线如图5所示,可以看出:GAN和WGAN方法模拟信道效应时均可得到与传统通信方式类似的误码性能,即GAN和WGAN方法在Lognormal信道中可以很好地模拟信道效应,进而很好地训练端到端通信学习系统;WGAN方法得到的误码率性能优于GAN,即在Lognormal信道中,WGAN比GAN训练效果更好。

图 5. Lognormal信道中BLER曲线

Fig. 5. BLER curve in Lognormal channel

下载图片 查看所有图片

5.3 MNIST手写数据集训练

训练时采用MNIST手写数据集对GAN和WGAN进行训练,MNIST是最常见的手写数据集,包含60000个用于训练的示例和10000个用于测试的手写数字图片,其中每张图片拥有28×28个像素点,为简单起见,每个图像都被平展并转换为784(28×28)个特征的一维Numpy数组[21]。随机取其中25000个训练数据作为本次的训练集,取其中5000个测试数据作为测试集,对GAN和WGAN进行训练,测试其训练速度和稳定性,其准确率和损失函数曲线如图6所示。

图 6. 准确率和损失值随样本个数的变化。(a)损失值;(b)准确率

Fig. 6. Change of accuracy and loss value with number of samples. (a) Loss value; (b) accuracy

下载图片 查看所有图片

图6可以看出:当训练样本量达到5000时,WGAN的准确率开始逐渐接近1,损失函数接近最小,即训练样本量大于5000时,WGAN可以达到很好的训练效果;而GAN的训练曲线则需训练样本量达15000才可以达到近似效果。结果表明,WGAN的训练速度和稳定性相比GAN有较大提升。

表 1. 模型参数

Table 1. Model parameter

ParameterValue
Hidden layer of transmitter32, 32
Transmitter learning rate0.0005
Hidden layer of receiver32, 32
Receiver learning rate0.0005
Hidden layer of generator128, 128, 128
Hidden layer of discriminator32, 32, 32
Generator and discriminatorlearning rate0.0001

查看所有表

6 结论

针对传统通信系统模块化设计时存在全局优化性不理想的问题,采用GAN模拟信道效应来训练端到端通信学习系统;并针对传统GAN训练不稳定和模式坍塌的问题,采用Wasserstein GAN进行改进。在高斯白噪声信道和对数正态信道中对传输误码率进行仿真,结果表明,GAN方法和WGAN方法能够良好地模拟信道效应,且WGAN方法可以得到更好的误码性能。在MNIST手写数据集上对网络进行训练,结果表明,WGAN的准确率和损失值均优于GAN,能很好地解决传统GAN训练不稳定和模式坍塌的问题。

参考文献

[1] Zeng Y, Zhang R. Energy-efficient UAV communication with trajectory optimization[J]. IEEE Transactions on Wireless Communications, 2017, 16(6): 3747-3760.

[2] Hunt B R, Iler A L, Bailey C A, et al. Synthesis of atmospheric turbulence point spread functions by sparse and redundant representations[J]. Optical Engineering, 2018, 57(2): 024101.

[3] Liu J M, Wang P P, Zhang X K, et al. Deep learning based atmospheric turbulence compensation for orbital angular momentum beam distortion and communication[J]. Optics Express, 2019, 27(12): 16671-16688.

[4] Xu M M, Bu X Z, He Z L, et al. Atmospheric turbulence interference compensation for missile-borne infrared attitude measurement[J]. Infrared Physics & Technology, 2019, 97: 69-73.

[5] Pappu C S, Carroll T L, Flores B C. Simultaneous radar-communication systems using controlled chaos-based frequency modulated waveforms[J]. IEEE Access, 2020, 8: 48361-48375.

[6] O'Shea T. Hoydis J. An introduction to deep learning for the physical layer[J]. IEEE Transactions on Cognitive Communications and Networking, 2017, 3(4): 563-575.

[7] Dörner S, Cammerer S, Hoydis J, et al. Deep learning based communication over the air[J]. IEEE Journal of Selected Topics in Signal Processing, 2018, 12(1): 132-143.

[8] FelixA, CammererS, DörnerS, et al. OFDM-autoencoder for end-to-end learning of communications systems[C]∥2018 IEEE 19th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC), June 25-28, 2018, Kalamata, Greece. New York: IEEE, 2018.

[9] YeH, Li GY, Juang B H F, et al. Channel agnostic end-to-end learning based communication systems with conditional GAN[C]∥2018 IEEE Globecom Workshops (GC Wkshps), December 9-13, 2018, Abu Dhabi, United Arab Emirates. New York: IEEE, 2018.

[10] ArjovskyM, Bottou L. Towards principled methods for training generative adversarial networks[EB/OL]. ( 2017-01-17)[2020-06-04]. https:∥arxiv.org/abs/1701. 04862.

[11] 邹鹏, 赵一衡, 胡昉辰, 等. 基于机器学习的可见光通信信号处理研究现状[J]. 激光与光电子学进展, 2020, 57(1): 010001.

    Zou P, Zhao Y H, Hu F C, et al. Research status of machine learning based signal processing in visible light communication[J]. Laser & Optoelectronics Progress, 2020, 57(1): 010001.

[12] Xiang Y, Bao C C. A pa rallel-data-free speech enhancement method using multi-objective learning cycle-consistent generative adversarial network[J]. ACM Transactions on Audio, Speech, and Language Processing, 2020, 28: 1826-1838.

[13] Fournier N, Guillin A. On the rate of convergence in Wasserstein distance of the empirical measure[J]. Probability Theory and Related Fields, 2015, 162(3/4): 707-738.

[14] 王铭淏, 元秀华, 李军, 等. 径向部分相干光束在各向异性非Kolmogorov湍流中的传输[J]. 光学学报, 2018, 38(3): 0306003.

    Wang M H, Yuan X H, Li J, et al. Propagation of radial partially coherent beams in anisotropic non-Kolmogorov turbulence[J]. Acta Optica Sinica, 2018, 38(3): 0306003.

[15] Baum DS, HansenJ, SaloJ, et al. An interim channel model for beyond-3G systems: extending the 3GPP spatial channel model (SCM)[C]∥2005 IEEE 61st Vehicular Technology Conference, May 30-June 1, 2005, Stockholm, Sweden. New York: IEEE, 2005: 3132- 3136.

[16] Goodfellow IJ, Pouget-AbadieJ, MirzaM, et al. Generative adversarial nets[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems, December 8-13, 2014, Montreal, Quebec, Canada. New York: Curran Associates, 2014, 2: 2672- 2680.

[17] YangZ, ChenW, WangF, et al. Improving neural machine translation with conditional sequence generative adversarial nets[EB/OL]. [2020-06-04].https:∥arxiv.org/pdf/1703.04887.pdf.

[18] 王林, 刘金铸, 段德平. QPSK系统仿真及误码率性能分析[J]. 电脑知识与技术, 2011, 7(9): 1995-1996.

    Wang L, Liu J Z, Duan D P. Simulation system of QPSK and performance analysis of BER[J]. Computer Knowledge and Technology, 2011, 7(9): 1995-1996.

[19] Duchi J C, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research, 2011, 12: 2121-2159.

[20] 靳永超, 陈雄斌, 毛旭瑞, 等. 调制度对可见光通信系统性能的影响[J]. 中国激光, 2019, 46(5): 0506001.

    Jin Y C, Chen X B, Mao X R, et al. Influence of modulation degree on performances of visible light communication system[J]. Chinese Journal of Lasers, 2019, 46(5): 0506001.

[21] Wang ZH, WuS, LiuC, et al. The regression of MNIST dataset based on convolutional neural network[M] ∥Hassanien A E, Azar A T, Gaber T, et al. The international conference on advanced machine learning technologies and applications (AMLTA2019). Advances in intelligent systems and computing. Cham: Springer, 2019, 921: 59- 68.

牟迪, 蒙文, 赵尚弘, 王翔, 刘文亚. 基于Wasserstein生成对抗网络的智能光通信[J]. 中国激光, 2020, 47(11): 1106005. Mu Di, Meng Wen, Zhao Shanghong, Wang Xiang, Liu Wenya. Intelligent Optical Communication Based on Wasserstein Generative Adversarial Network[J]. Chinese Journal of Lasers, 2020, 47(11): 1106005.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!