基于CNN和GRU的高阶调制自动编码器研究

基于深度学习的自动编码器是替代传统通信发射器和接收器的一种新方法。提出了一种基于卷积神经网络（Convolutional Neural Network, CNN）和门递归单元（Gate Recurrent Unit, GRU）的自动编码器，集成了星座映射和信道编码功能。设计了一种并行CNN结构，并将输入比特流进行分段的one-hot编码。这样做有两个优点：（1）与不分段的one-hot编码相比，数据的维度降低了；（2）数据的稀疏性降低，这使网络可以更快更好地收敛。此外，引入GRU以实现信道编码。所提出的模型可以应用于高阶调制如4096QAM信号，在加性高斯白噪声（AWGN）信道和瑞利信道下都有着优于传统方法的性能。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于辅助分类器和变分自编码生成对抗网络的干扰识别

针对基于深度学习干扰识别方法在小样本集情况下性能恶化问题，提出一种基于辅助分类器和变分自编码生成对抗网络(AC-VAEGAN)的干扰识别方法。利用生成对抗网络和变分自编码器的核心思想设计识别模型，得到连续有意义的干扰样本集潜在空间；确定编码器、生成器和鉴别器的损失函数，且鉴别器采用动态学习率的优化算法，使得模型训练过程更加有效且稳定。仿真结果表明，在干扰时频图小样本数据集情况下，当干噪比为-10 dB～10 dB时，该方法对宽带噪声干扰、部分频带噪声干扰、单音干扰、多音干扰、脉冲干扰、跳频干扰、线性扫频干扰和二次扫频干扰这八种干扰的正确识别率均高于ACGAN和CNN。     

基于栈式降噪自编码器的协同过滤算法*

针对协同过滤推荐准确性的现状进行了研究,提出一种基于栈式降噪自编码器的协同过滤算法。栈式降噪自编码器是一种典型的深度学习网络模型,具有强大的特征提取能力。用户对项目的评分作为输入,训练网络,学习出项目的隐含特征编码,用PCA对项目属性降维并计算属性相似性,结合隐性编码计算的相似性作为最终结果,根据最终的项目相似性产生TOP-N推荐列表。Movielens数据集的实验表明,新算法能够有效提升推荐结果的召回率,一定程度上解决了评分矩阵稀疏和项目之间没有共同用户评分就不能计算相似性的问题。     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。     

基于宽度自编码器的VSLAM快速回环检测方法

回环检测对于视觉同步定位和建图（visual simultaneous localization and mapping,VSLAM）系统减小累计误差和重定位具有重要意义。为缩短回环检测在线运行时间,同时满足准确率召回率需求,提出了一种基于宽度自编码器的快速回环检测算法（fast loop closure detection-broad autoencoder,FLCD-BA）。该检测算法改进了宽度学习网络,通过无监督的方式从输入数据中自主学习数据特征,进而运用于回环检测任务。与传统的深度学习方法不同,该网络使用伪逆的岭回归算法求解权重矩阵,通过增量学习的方法实现网络的快速重构,从而避免了整个网络的重复训练。所提算法在三个公开数据集上进行了实验,无须使用GPU设备,且网络的训练时间相比词袋模型以及深度学习的方法有较大缩短。实验结果表明该算法在检测回环时具有较高的准确率和召回率,测试中每帧的平均运行时间仅需21 ms,为视觉SLAM系统的回环检测提供了一种新算法。     

基于迭代自编码器的深度学习对抗样本防御方案

近年来，深度学习在计算机视觉领域表现出优异的性能，然而研究者们却发现深度学习系统并不具备良好的鲁棒性，对深度学习系统的输入添加少许的人类无法察觉的干扰就能导致深度学习模型失效，这些使模型失效的样本被研究者们称为对抗样本。我们提出迭代自编码器，一种全新的防御对抗样本方案，其原理是把远离流形的对抗样本推回到流形周围。我们先把输入送给迭代自编码器，然后将重构后的输出送给分类器分类。在正常样本上，经过迭代自编码器的样本分类准确率和正常样本分类准确率类似，不会显著降低深度学习模型的性能；对于对抗样本，我们的实验表明，即使使用最先进的攻击方案，我们的防御方案仍然拥有较高的分类准确率和较低的攻击成功率。     

降噪自编码器深度卷积过程神经网络及在时变信号分类中的应用

针对非线性时变信号分类问题,将过程神经网络（PNN）的信息处理机制与卷积运算相结合,提出了一种降噪自编码器深度卷积过程神经网络（DAE-DCPNN）。该模型由时变信号输入层、卷积过程神经元（CPN）隐层、深度降噪自动编码器（DAE）网络结构和softmax分类器构成。CPN的输入为时序信号,卷积核取为具有梯度性质的5阶数组,基于滑动窗口进行卷积运算,实现时序信号的时空聚合和过程特征提取。在CPN隐层之后,栈式叠加DAE深度网络和softmax分类器,实现对时变信号特征高层次的提取和分类。分析了DAE-DCPNN的性质,给出了按各信息单元分别进行赋初值训练、模型参数整体调优的综合训练算法。以基于12导联心电图（ECG）信号对7种心血管疾病分类诊断为例,实验结果验证了所提模型和算法的有效性。     

雷达目标检测深层自编码器自适应优化算法

研究了现阶段雷达低小慢目标探测技术的难点与方法。分析了深层自编码器基本模型与算法，通过引入自适应学习理论，提出了基于Rumelhart函数的深层自编码器自适应算法（RDAAA），并证明了算法的收敛性。优化算法避免了网络训练过程中出现惩罚过度的现象，克服了学习速率过高导致网络振荡发散，或学习速率过小降低网络收敛速度等缺陷。利用两种数据集对RDAAA、基于交叉熵函数的深层自编码器学习算法（CDAA）与误差反向传播算法（BPA）进行模式识别能力分析，结果表明在确定限定误差与选取最佳学习速率的情况下，RDAAA相对于CDAA与BPA收敛速度最快，正确识别率更高。围绕雷达目标检测与深度学习理论，分析了低小慢目标特性，将目标检测问题转化为模式分类问题，利用上述三种算法进行目标检测仿真实验，结果表明RDAAA与CDAA的性能明显优于BPA，且RDAAA的检测率更高，特别是处于低信噪比阶段，仍可保持较高的发现概率。     

基于MAE预训练的深度学习缺陷检测网络研究

目前,自动光学检测（AutomatedOpticalInspection,AOI）技术已经应用于各个工业领域,但是传统的AOI缺陷检测算法已经不能满足复杂的工业缺陷检测需求。随着深度学习的发展,表面缺陷检测作为深度学习的一个分支,受到人们越来越广泛的关注。笔者在研究缺陷检测的难点之后提出了基于掩码自编码器（MaskedAutoEncoder,MAE）预训练方式的两阶段深度学习表面缺陷检测网络。首先介绍了相关的缺陷检测网络,其次阐述了所提两阶段缺陷检测网络的结构,最后通过多组对比实验检验模型的性能。     

基于小波域滤波的电子通信信道恶意干扰信号分离方法

针对电子通信信号与恶意干扰信号严重重叠的现象,设计了基于小波域滤波的电子通信信道恶意干扰信号分离方法。在分析信道特征并划分噪声种类后明确噪声信号形式,然后利用小波域滤波算法合理设置分解层数,对信号做分解重构与降噪,再利用极限学习机建立神经网络学习模型。根据干扰信号模型与信道衰减程度提取干扰信号特征,并将特征样本输入到神经网络中,直到输出分离结果。仿真结果表明：该方法能够有效去除信道噪声、降低通信误码率、均衡信道负载。     

基于非平稳时频分析的无线网络信道均衡算法

在无线网络数据通信中,由于阵元码间干扰导致信道具有非平稳特性,产生信道失衡效应,需要进行信道均衡设计,提高无线网络的数据传输性能.传统方法采用Hilbert变换扩频方法进行通信信道均衡,通过Hilbert变换使离散数据解析化,由于信道多径扩展导致码间干扰,为了提高信道均衡效果,提出一种基于非平稳时频分析的无线网络信道均衡算法.构建无线网络数据传输的空间多径信道模型,采用时频分析方法进行通信信号码间干扰抑制处理,采用提取的时频特征对通信信道进行正交频分复用分解,采用时频特征分析方法,对相位偏移进行空间码元重组,去掉路径相移偏量,实现信道均衡.仿真结果表明,采用该算法具有较好的信道均衡性能,能有效抑制通信信道的码间干扰,降低无线网络数据通信的误比特率,改善通信质量.     

Speech enhancement with a GSC-like structure employing sparse coding

Speech comnmnication is often influenced by various types of interfering signals. To improve the quality of the desired signal, a generalized sidelobe canceller （GSC）, which uses a reference signal to estimate the interfering signal, is attracting attention of researchers. However, the interference suppression of GSC is limited since a little residual desired signal leaks into the reference signal. To overcome this problem, we use sparse coding to suppress the residual desired signal while preserving the reference signal. Sparse coding with the learned dictionary is usually used to reconstruct the desired signal. As the training samples of a desired signal for dictionary learning are not observable in the real environment, the reconstructed desired signal may contain a lot of residual interfering signal. In contrast, the training samples of the interfering signal during the absence of the desired signal for interferer dictionary learning can be achieved through voice activity detection （VAD）. Since the reference signal of an interfering signal is coherent to the interferer dictionary, it can be well restructured by sparse coding, while the residual desired signal will be removed. The performance of GSC will be improved since the estimate of the interfering signal with the proposed reference signal is more accurate than ever. Simulation and experiments on a real acoustic environment show that our proposed method is effective in suppressing interfering signals.     

基于深度卷积神经网络的变换域通信网络抗干扰优化算法

为了有效抑制变换域通信网络干扰信号,改善信噪比,研究了基于深度卷积神经网络的变换域通信网络抗干扰优化算法。应用傅里叶变换方法将信号从时域转换到频域,并以傅里叶变换通信信号获得的参数为依据构建干扰信号模型;嵌入干扰信号模型以形成接收信号,然后对接收信号进行处理并存储在干扰数据库中,利用深度卷积神经网络完成干扰信号的特征学习与干扰估计,并根据干扰估计结果,在接收信号中去除干扰信号,完成变换域通信网络抗干扰优化。实验结果表明：该算法可有效完成变换域通信网络抗干扰优化,优化后通信信号的信噪比改善性能与误码性能均较佳,输出的通信信号几乎无干扰信号存在。     

无人机自组织网络多包接收智能信号检测算法

在无人机自组织网络(UAV Ad Hoc Network, UANET)中,传统的基于单包接收的信号检测算法极大限制了多路传输共享的并发通信性能。针对此问题,利用迭代并行干扰消除技术和多输入多输出技术并联合机器学习设计出一种UANET多包接收智能信号检测算法。该算法保留了迭代并行干扰消除算法的整体结构,采用最合适的深度神经网络来代替传统的基于信道模型的复杂计算,使得分簇UANET的簇头节点不仅可以对任意无记忆固定信道进行处理,而且也不需要去获取准确的信道状态信息便可以同时正确接收来自多个发送节点并发传输过来的数据包。仿真结果表明,该算法可以在不同场景下有效降低系统误码率(Symbol Error Rate, SER),从而有效增加UANET的通信并发度。在线性信道多节点通信场景下,所提出的算法相比于最优MAP(Maximum A Posteriori,最大后验概率)检测算法,系统误码率可以降低约25%。     

融合稀疏编码与深度学习的草图特征表示

针对小数据集下单纯使用深度学习方法的草图特征提取可分辨性低下的问题,提出一种融合稀疏编码和深度学习的草图特征表示方法.该算法首先对草图进行语义分割;然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心;最后利用部件聚类中心向量初始化稀疏编码中的字典,交替迭代求取获得最终的草图特征.不同于以往的草图特征表示方法,将迁移深度学习获得的草图部件特征引入到稀疏编码中,作为字典的初始基向量,将语义信息融入到稀疏编码,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性.实验结果显示,所提方法下的草图识别率高于采用传统非深度学习和深度学习方法提取的草图特征的草图识别率.     

基于深度迁移学习的网络入侵检测

为解决网络入侵检测问题,提高检测准确率和降低误报率,提出一种基于深度迁移学习的网络入侵检测方法,该方法使用非监督学习的深度自编码器来进行迁移学习,实现网络的入侵检测。首先对深度迁移学习问题进行建模,然后对深度模型进行迁移学习。迁移学习框架由嵌入层和标签层实现编/解码,编码和解码权重由源域和目标域共享,用于知识的迁移。嵌入层中,通过最小化域之间的嵌入实例的KL散度来强制源域和目标域数据的分布相似;在标签编码层中,使用softmax回归模型对源域的标签信息进行编码分类。实验结果表明,该方法能够实现网络入侵检测,且性能优于其他入侵检测方法。     

Attention-based neural joint source-channel coding of text for point to point and broadcast channel

In this work, we consider the transmissions of structured data such as text over a noisy channel and correlated texts over a broadcast channel. As the separate source-channel coding principle no longer holds in such scenarios, we propose a joint source-channel coding scheme which is based on deep learning architecture. In order to enhance the convergence speed, we adopt the bidirectional gated recurrent unit at the encoder. For the decoder, to improve the recovery quality, we propose the following two types of strategies: (1) After a unidirectional neural network based decoder is used, a generative adversarial network is applied to train the whole joint source-channel coding framework and pointwise mutual information is added to the objective function of beam search process; (2) Rather than using a unidirectional neural network-based decoder, we develop a bidirectional neural network based and bidirectional attention mechanism integrated decoder to utilize past and future information. Experiments under different types of channels show that our schemes are superior to the existing deep learning joint source-channel coding method and in the case of low bit budget, long sentence length and small channel signal to noise ratio, our models are significantly superior to those of separate source-channel coding. In addition, we extend the proposed unidirectional and bidirectional decoders to the broadcast channel. Additionally, to improve the performance of unidirectional decoding, we utilize not only the correlation between adjacent words in the same text but also the correlation between words in different languages with the same meaning in the beam search process.

     

基于混合深度学习的多模态场景指令分类方法

为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法.该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码.对于语言指令,采用多层双向长短期记忆(Bi-LSTM...     

基于深度学习的OFDM系统窄带干扰消除方法研究

针对正交频分复用（OFDM）系统中的窄带干扰（NBI）引起的性能下降,提出了两种基于深度学习（DL）的窄带干扰消除结构。在两种结构中,首先分别对接收信号进行预处理,然后利用卷积神经网络（CNN）从时域上对经过预处理的数据进行特征提取并获得干扰估计,最后将干扰估计量从接收信号中消去。仿真结果显示,两种结构可以有效学习出OFDM系统中的窄带干扰,并提升系统性能。