基于深度学习的实用HDPC码译码方法研究

针对现有高密度校验码量化译码性能问题,本文提出了一种基于深度学习的量化最小和译码算法-QMSND.借助深度神经网络,通过对神经最小和译码信道输入向量和每轮迭代过程中节点更新信息进行非均匀间隔量化,动态调整Tanner图边的权重参数,改善消息传播效能.计算机仿真实验结果表明,本文提出的方法在对BCH码进行译码时仅需要8比特表示信息即可接近未经量化的浮点译码性能.因此,所提出的QMSND译码方法便于硬件实现,具有一定的实用性.     

基于深度学习的Turbo码译码研究

译码器通常被设计用于高斯信道,对于非高斯信道而言却是次优的。深度学习方法为设计译码器提供了一种新的方法,可以对任意信道的数据进行训练和学习。为了克服传统模式存在的弊端,提出了一种新的基于卷积神经网络(CNN)的Turbo码译码方案。通过搭建神经译码网络模型,采用交叉熵函数(BCE)作为损失函数,对生成的编码数据进行网络训练,使得训练网络能够更好地提取特征关系,从而拟合出Turbo码的最佳译码函数。试验结果表明:基于卷积神经译码网络在加性高斯白噪声(AWGN)信道上和标准的Turbo解码器性能接近,但在非AWGN信道上却表现出相比于标准译码器更好的适应性和鲁棒性,适用于任意信道。此外,卷积神经译码网络还可以用于低密度奇偶校验(LDPC)码和Polar码的译码,有利于提出更多端到端训练有素的神经译码器。     

一种基于循环神经网络的极化码BP译码算法

置信传播（BP）算法作为极化码最常用的软判决输出译码算法之一,具有并行传输、高吞吐量等优点,但其存在收敛较慢、运算复杂度高等缺陷。提出一种基于循环神经网络的偏移最小和近似置信传播译码算法。通过偏移最小和近似算法替代乘法运算,修改迭代过程中的消息更新策略,并运用改进的循环神经网络架构实现参数共享。仿真结果表明,相比传统BP译码算法,该译码算法在提升误码率（BER）性能的前提下,减少约75%的加法运算且收敛速度大幅提升,相比基于深度神经网络的BP译码算法,该算法在确保BER性能无显著下降的前提下,使用加法运算替代乘法运算,节省了约80%的存储空间开销。     

面向电力线通信的RA码自适应迭代译码方法

为降低信息在强干扰电力线信道中传输的误码率,对重复累积（RA）码的置信传播（BP）译码算法进行改进。修正BP译码算法中信息节点的初始值,利用自适应迭代译码减少译码过程中的迭代次数,并对译码进行预判决,降低了RA码译码复杂度、提高了译码效率。在Middleton A类电力线信道模型下仿真结果表明：改进后的译码方法在低信噪比区域与BP算法性能相近,而在较高信噪比区域改进后的算法与BP译码算法相比所需信噪比少约0.8 dB,并且显著减少了译码过程中的迭代次数。     

基于信道估计的LDPC仿真算法研究

研究有记忆信道上的LDPC译码算法,对高速数字通信系统具有重要意义.目前运用于有记忆信道上的LDPC迭代译码算法,如基于信道估计的BP迭代译码算法等,都存在算法复杂度较高、运算量较大的问题.针对隐马尔可夫噪声信道,首次将最小和(min-sum)算法引入到基于噪声软判决和信道估计的LDPC迭代译码算法,利用函数特性有效降低算法复杂度、减少运算量.仿真结果表明,此算法的性能不仅优于不考虑信道记忆特性的一般LDPC的迭代译码算法,也优于基于噪声硬判决和信道估计的BP迭代译码算法,在性能损失较小情况下,于译码性能和算法复杂度之间找到了一个很好的折衷,对实时通信系统具有重要意义.     

遗传优化神经网络算法在信道盲均衡中的应用

在信道盲均衡问题的研究中,根据BP神经网络的信道肓均衡算法存在收敛速度慢,易陷入局部极小值的缺陷,导致信道肓均衡效果差,信道误码率高.为克服BP神经网络的缺陷,提高均衡道肓均衡效果和降低误码率,利用遗传算法全局搜索能力强的优点对BP神经网络的缺陷进行改进,提出一种基于遗传神经网络的信道盲均衡算法.采用BP神经网络构建信道分类器,通过遗传算法优化神经网络权值,最终实现盲均衡.仿真结果表明,相对于传统BP神经网络盲均衡算法,遗传神经网络算法收敛速度快,误码率降低,能获得更好的收敛特性和均衡效果.     

改进GA-BP神经网络的无线信道预测方法

无线信道建模与仿真中,实现一种高效率、高准确性的无线信道预测方法是具有非常重要意义的。针对该需求,提出一种基于多种群遗传算法（Multi-population genetic algorithm, MPGA）-反向传播（Back propagation, BP）神经网络的无线信道预测方法。该方法通过改进遗传算法,优化BP神经网络中神经元的权值和阈值,以此改善BP神经网络预测精度差的问题,从而极大提高了BP神经网络的预测性能。将射线跟踪算法的理论值和BP神经网络结合,实现更高效的无线信道预测方法。通过对比遗传算法（Genetic algorithm, GA）-BP神经网络模型和MPGA-BP神经网络模型的预测误差,发现MPGA-BP神经网络模型的预测结果优于GA-BP神经网络模型,证明了所提出无线信道预测方法具有良好的精确度,可以更高效地进行无线信道预测。     

基于改进遗传算法的信道估计方案

为了提高通信系统信道估计的准确率,同时适应更大的数据量,进行更加复杂的数据计算,引入神经网络的方法进行信道估计,采用了BP和RBF神经网络进行实验对比,与传统信道估计方式相比有明显提升;在此基础上,进一步提出基于改进遗传算法优化的 RBF 神经信道估计方法,目的是帮助确定 RBF 网络的隐藏层参数, 使得网络的参数趋于全局最优解,信道估计器的性能从而得到提升。经过 MATLAB 仿真,改进后的RBF神经网络可以更好地解决信道估计问题,验证了此方法的可行性。     

神经网络模型压缩方法综述

深度神经网络模型被广泛应用在图像分类、物体检测等机器视觉任务中,并取得了巨大成功。然而,由于存储空间和功耗的限制,神经网络模型在嵌入式设备上的存储与计算仍然是一个巨大的挑战。模型压缩作为一种有效的解决方法,受到了越来越多研究者的关注。首先针对卷积神经网络模型进行了研究,分析了模型中存在的冗余信息;随后对国内外学者在神经网络模型压缩方面的研究成果整理,从参数剪枝,权重共享和权重矩阵分解等方面总结了神经网络压缩的主要方法;最后针对神经网络模型发展现状及目前面临的若干主要问题进行了讨论,指出了下一步的研究方向。     

改进PSO-BP神经网络对储层参数的动态预测研究

为提高BP神经网络的收敛速度和泛化能力,防止其陷入局部最优值,在前人工作基础上对传统粒子群算法进行了改进,具体包括：设定最大限制速度、改变惯性权重因子和改进适应度函数,并把改进粒子群算法应用于BP神经网络权值和阈值的优化。之后利用改进粒子群算法优化的BP神经网络实现对储层参数的动态预测,具体步骤为：确定神经网络的输入、输出神经元,定量化时间参数[T],利用训练样本构建神经网络模型并进行检验。最后通过平均训练误差对仿真过程进行分析,结果表明改进PSO-BP算法的收敛性与泛化能力均优于BP算法和PSO-BP算法。     

Attention-based neural joint source-channel coding of text for point to point and broadcast channel

In this work, we consider the transmissions of structured data such as text over a noisy channel and correlated texts over a broadcast channel. As the separate source-channel coding principle no longer holds in such scenarios, we propose a joint source-channel coding scheme which is based on deep learning architecture. In order to enhance the convergence speed, we adopt the bidirectional gated recurrent unit at the encoder. For the decoder, to improve the recovery quality, we propose the following two types of strategies: (1) After a unidirectional neural network based decoder is used, a generative adversarial network is applied to train the whole joint source-channel coding framework and pointwise mutual information is added to the objective function of beam search process; (2) Rather than using a unidirectional neural network-based decoder, we develop a bidirectional neural network based and bidirectional attention mechanism integrated decoder to utilize past and future information. Experiments under different types of channels show that our schemes are superior to the existing deep learning joint source-channel coding method and in the case of low bit budget, long sentence length and small channel signal to noise ratio, our models are significantly superior to those of separate source-channel coding. In addition, we extend the proposed unidirectional and bidirectional decoders to the broadcast channel. Additionally, to improve the performance of unidirectional decoding, we utilize not only the correlation between adjacent words in the same text but also the correlation between words in different languages with the same meaning in the beam search process.

     

基于BP神经网络的SCL译码研究

现存极化码译码算法仍然遭受非常高的复杂度.针对此问题,提出一种基于BP神经网络的SCL译码算法,该算法通过离线收集数据来搭建并训练一个合适的BP神经网络;借助已完成训练的BP神经网络,通过在线操作来寻找列表大小L的最优初始值;在此基础上,通过设计一种改进的SCL译码算法来降低复杂度.实验结果表明,与现存算法相比,新算法在低信噪比下能够显著降低平均译码复杂度.     

信噪比失配对LDPC码译码影响的分析

在加性高斯白噪信道条件下,采用置信度传播算法对LDPC码进行译码,需要精确估计信道信噪比用于计算接收比特的后验概率消息作为译码器的输入.信噪比值的错误估计称为信噪比失配.本文研究加性高斯白噪信道条件下信噪比失配对LDPC码译码的影响.通过对置信度传播算法校验节点更新方程的近似得到一个以信噪比为自变量的校正因子函数,基于...     

基于粒子群优化的深度神经网络分类算法

针对神经网络分类算法中节点函数不可导,分类精度不够高等问题,提出了一种基于粒子群优化(PSO)算法的深度神经网络分类算法.使用深度学习中的自动编码机,结合PSO算法优化权值,利用自动编码机对输入样本数据进行编解码,为提高网络分类精度,以编码机本身的误差函数和Softmax分类器的代价函数加权求和共同作为PSO算法的评价函数,使编码后的数据更加适应分类器.实验结果证明:与其他传统的神经网络相比,在邮件分类问题上,此分类算法有更高的分类精度.     

基于GPU的LDPC增强准最大似然译码器并行实现

增强准最大似然(EQML)译码器对于码长较短的低密度奇偶校验(LDPC)码的译码性能优于传统置信传播(BP)译码器,可较好满足5G移动通信的高可靠性要求,但由于其计算结构复杂导致译码速度大幅降低。为提高EQML译码器的译码速度,提出一种基于GPU的EQML译码器并行化加速方案,压缩并存储不规则LDPC码的奇偶校验矩阵,通过对传统BP译码算法进行重新排序以最大化利用Kernel中的线程,并对再处理过程中的每个阶段进行多码字并行译码,实现内存访问优化及流并行译码。实验结果表明,基于GPU的EQML译码器在保持纠错性能的同时,相比基于CPU的EQML译码器的译码速度约提升了2个数量级。     

基于卷积网络的灰度图像自动上色方法

随着深度学习的出现,灰度图像自动上色得到了快速的发展,出现了上色效果优秀的基于one-hot编码(独热编码)的方法,避免基于L2损失函数上色效果平淡的问题.沿用one-hot编码方法的基础思路,提出了一种卷积网络的灰度图像自动上色方法.该方法对编码器与解码器进行了改进和重新设计,重新设计了神经网络结构.通过使用高斯函数...     

Multitask bilateral learning for real‐time image enhancement

Nowadays, deep neural networks (DNNs) for image processing are becoming more complex; thus, reducing computational cost is increasingly important. This study highlights the construction of a DNN for real‐time image processing, training various image processing operators efficiently through multitask learning. For real‐time image processing, the proposed algorithm takes a joint upsampling approach through bilateral guided upsampling. For multitask learning, the overall network is based on an encoder‐decoder architecture, which consists of encoding, processing, and decoding components, in which the encoding and decoding components are shared by all the image processing operators. In the processing component, a semantic guidance map, which contains processing information for each image processing operator, is estimated using simple linear shifts of the shared deep features. Through these components, the proposed algorithm requires an increase of only 5% in the number of parameters to add another image processing operator and achieves faster and higher performance than that of deep‐learning‐based joint upsampling methods in local image processing as well as global image processing.     

Analog decoding using a gradient-type neural network

The problem of analog (soft) decision decoding of block codes by means of neural networks is addressed. The proposed solution is based on a recurrent high-order network implementing a special gradient-type system. Simulation results for two different codes are reported, showing improved performances over the classical hard decision decoder.