基于准循环神经网络的语音增强方法

在基于深度学习的语音增强模型中,长短时记忆网络能较好地解决序列语音增强问题,但该模型在处理大规模含噪语音数据时存在训练速度缓慢的问题.为此,提出一种基于准循环神经网络的语音增强方法.利用门函数和记忆单元确保含噪语音序列上下文的相关性,门函数的计算不再依赖上一时刻的输出,且该模型在含噪语音序列的输入和门函数的计算中都引入矩阵的卷积运算,使模型可以同时处理多个时刻的语音序列信息,从而增强模型并行计算的能力.实验结果表明,与长短时记忆网络相比,该方法能在保证语音增强性能的前提下,有效提高网络模型的训练速度.     

引入外部记忆的循环神经网络的口语理解

循环神经网络（RNN）越来越在口语理解（Spoken Language Understanding,SLU）任务中显示出优势。然而,由于梯度消失和梯度爆炸问题,简单循环神经网络的存储容量受到限制。提出一种使用外部存储器来提高记忆能力的循环神经网络。并在ATIS数据集上进行了实验,并与其他公开报道的模型进行比较。结果说明,在口语理解任务上,提出的引入外部记忆的循环神经网络在准确性、召回率和F1值都有较明显提高,优于传统循环神经网络及其变体结构。     

基于循环神经网络的电信行业容量数据预测方法

在电信运维的容量预测过程中,存在容量指标和部署业务种类繁多的问题.现有研究未考虑指标数据类型的差异,对所有类型的数据使用同种预测方法,使得预测效果参差不齐.为了提升指标预测效率,提出一种指标数据类型分类方法,利用该方法将数据类型分为趋势型、周期型和不规则型.针对其中的周期型数据预测,提出基于双向循环神经网络(BiRNN...     

基于一维卷积循环神经网络的深度强化学习算法

针对现有深度强化学习算法在状态空间维度大的环境中难以收敛的问题,提出了在时间维度上提取特征的基于一维卷积循环网络的强化学习算法;首先在深度Q网络(DQN,deep Q network)的基础上构建一个深度强化学习系统;然后在深度循环Q网络(DRQN,deep recurrent Q network)的神经网络结构基础上加入了一层一维卷积层,用于在长短时记忆(LSTM,long short-term memory)层之前提取时间维度上的特征;最后在与时序相关的环境下对该新型强化学习算法进行训练和测试;实验结果表明这一改动可以提高智能体的决策水平,并使得深度强化学习算法在非图像输入的时序相关环境中有更好的表现。     

基于双向循环神经网络的金融数据预测研究

近年来,越来越多的人加入到股票投资的队伍当中,金融学家和社会学家也将股票市场的发展作为衡量一个国家或者地区发展水平的一项重要标准.对于股民来讲,若可以准确预测股价变化,就可以及时采取措施达到较高的收益.为此,建立一种基于CBAM注意力机制的神经网络模型实现对未来股票价格的预测.通过与建立的其他模型预测结果对比发现,基于...     

口语理解中改进循环神经网络的应用

口语理解性能的提升对于口语对话系统的研究具有重要作用。为了提高口语理解性能,应用循环神经网络（RNN）及其变体（LSTM,GRU）方法。在此基础上,提出一种改进的循环神经网络（Modified-RNN）方法,该方法通过添加存储历史状态信息,能够存储更长时的信息,含有更少的参数,根据获取的更多信息提取特征信息增加获取信息的有效性,提高了口语理解的精准率和[F1],缩短了实验时间。在航空旅行信息数据库（ATIS）上的实验结果验证了该算法的有效性和可靠性。     

基于循环神经网络的通信卫星故障检测

随着现代航天事业的飞速发展,通信卫星的结构日益复杂,其故障也逐渐增多,通信卫星的故障检测已成为当前航天领域关注的重点问题。目前,各大航天机构对故障的检测仍以简单的上下限阈值检测为主,只能检测出少部分特定的故障。早期利用传统机器学习算法进行检测的研究也仅能检测出数量特征上的故障。针对传统的机器学习算法难以有效学习遥测数据趋势变化的问题,文中提出了基于长短时记忆(Long Short-term Memory,LSTM)网络的阈值化方法。通过LSTM预测模型来学习卫星遥测数据的趋势变化,同时以最大化相关系数与F1分数的方式为多维遥测数据的故障判定确定合适的阈值,此方式能够有效地通过卫星遥测数据的趋势变化来判断故障。实验数据采用某航天机构提供的时长为2年的24维通信卫星遥测数据,其核心模型LSTM网络在NVIDIA Corporation GP102[TITAN Xp]上训练,最终整体模型的准确率为99.34%,查准率为81.93%,查全率为94.62%。同时,与传统机器学习算法以及基于LSTM的非阈值方法进行对比,该模型的精度明显更高。实验结果表明,LSTM网络能够高效地学习到卫星遥测数据的...     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

基于门控单元循环神经网络的台风路径预测

传统的神经网络结构不能很好地处理序列问题。通过对历史台风数据库中的台风分类,提出基于门控单元网络的台风路径预测模型。利用历史台风的经纬度信息,分别用普通循环神经网络、长短时记忆网络和门控单元网络预测台风未来6小时位置信息。实验表明,在测试集上门控单元网络具有最小的平均绝对误差,能够有效提高路径预测精度,与稀疏循环神经网络预测方法相比,有更小的平均绝对误差。     

基于循环神经网络的缺陷报告分派方法

随着开源软件项目规模的不断增大,人工为缺陷报告分派合适的开发人员（缺陷分派）变得越来越困难.而不合适的缺陷分派往往会严重影响缺陷修复的效率,为此迫切需要一种缺陷分派辅助技术帮助项目管理者更好地完成缺陷分派任务.当前,大部分研究工作都基于缺陷报告文本以及相关元数据信息分析来刻画开发者的特征,忽略了对开发者活跃度的考虑,使得对具有相似特征的开发者进行缺陷报告分派预测时表现较差.本文提出了一个基于循环神经网络的深度学习模型DeepTriage,一方面利用双向循环网络加池化方法提取缺陷报告的文本特征,一方面利用单向循环网络提取特定时刻的开发者活跃度特征,并融合两者,利用已修复的缺陷报告进行监督学习.在Eclipse等四个不同的开源项目数据集上的实验结果表明,DeepTriage较同类工作在缺陷分派预测准确率上有显著提升.     

基于循环神经网络的语音识别模型

近年来基于隐马尔可夫模型（HMM）的语音识别技术得到了很大发展。然而HMM模型有着一定的局限性,如何克服HMM的一阶假设和独立性假设带来的问题一直是研究讨论的热点,在语音识别中引入神经网络的方法是克服HMM局限性的一条途径。该文将循环神经网络应用于汉语语音识别,修改了原网络模型并提出了相应的训练方法,实验结果表明该模型具有良好的连续信号处理性能,与传统的HMM模型效果相当,新的训练策略能够在提高训练速度的同时,使得模型分类性能有明显提高。     

基于PSO-BP神经网络的图像压缩算法

本文阐述了使用BP神经网络压缩图像的方法和粒子群算法(PSO)的原理.为提高BP算法的训练速度和图像重建质量,本文设计了一种利用PSO-BP网络进行图像压缩的算法,该算法结合了PSO算法和BP算法的优点,将BP网络的训练过程分为两个阶段.实验表明,利用该算法压缩图像,不仅速度较快,而且重建后的图像质量有明显提高.     

基于PSO—BP神经网络的图像压缩算法

本文阐述了使用BP神经网络压缩图像的方法和粒子群算法（PSO）的原理。为提高BP算法的训练速度和图像重建质量．本文设计了一种利用PSO—BP网络进行图像压缩的算法，该算法结合了PSO算法和BP算法的优点，将BP网络的训练过程分为两个阶段。实验表明，利用该算法压缩图像，不仅速度较快，而且重建后的图像质量有明显提高。     

Online Text Prediction with Recurrent Neural Networks

Arithmetic coding is one of the most outstanding techniques for lossless data compression. It attains its good performance with the help of a probability model which indicates at each step the probability of occurrence of each possible input symbol given the current context. The better this model, the greater the compression ratio achieved. This work analyses the use of discrete-time recurrent neural networks and their capability for predicting the next symbol in a sequence in order to implement that model. The focus of this study is on online prediction, a task much harder than the classical offline grammatical inference with neural networks. The results obtained show that recurrent neural networks have no problem when the sequences come from the output of a finite-state machine, easily giving high compression ratios. When compressing real texts, however, the dynamics of the sequences seem to be too complex to be learned online correctly by the net.     

深度神经网络的压缩研究

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案：首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5×和12.1×。 基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。     

多项式函数型回归神经网络模型及应用

文中利用回归神经网络既有前馈通路又有反馈通路的特点，将网络隐层中神经元的激活函数设置为可调多项式函数序列，提出了多项式函数型回归神经网络新模型，它不但具有传统回归神经网络的特点，而且具有较强的函数逼近能力，针对递归计算问题，提出了多项式函数型回归神经网络学习算法，并将该网络模型应用于多元多项式近似因式分解，其学习算法在多元多项式近似分解中体现了较强的优越性，通过算例分析表明，该算法十分有效，收敛速度快，计算精度高，可适用于递归计算问题领域，该文所提出的多项式函数型回归神经网络模型及学习算法对于代数符号近似计算有重要的指导意义。     

基于改进动态递归神经网络的发酵过程pH值辩识

酒精发酵的pH值具有非线性、时变性和动态性。利用常规辩识方法对pH值进行辩识,一方面,无法准确描述其动态特性;另一方面,由于常规神经网络的权值学习是梯度下降法,在训练过程易陷入局部极小,并且训练速度慢。针对这些问题,将改进的动态递归神经网络应用于pH值的辩识研究。通过实验验证了该算法不但能体现出发酵过程的动态特性,而且通过在动态递归神经网络的权值学习中引入滤波项,能有效地克服常规网络在权值学习过程中的问题。表明该算法对pH值辩识的有效性。     

语音编码中的递归神经网络技术研究

众所周知,线谱对(LSP-LinearSpectrumPair)系数是一种线性预测系数,它表征的是语音谱包络。在时域中它的谱插值性能良好,但是它的插值间隔一般都限制在20～30毫秒之间。为了解决这个问题,本文介绍一种使用递归神经神经网络(RNN-RecurrentNeuralNetworks)来对线谱对系数进行插值的算法。实验结果表明,使用递归神经网络可以使插值的间隔增加到100毫秒而不明显降低合成语音的质量。     

基于多层局部回归神经网络的多变量非线性系统预测控制

以罐式搅拌反应器为例,针对复杂多变量系统的强耦合性、非线性、时变性等问题,研究了多变量非线性系统的预测控制及改善控制性能的方法,采用多层局部回归神经网络离线建立预测模型,以偏差补偿和模型修正相结合的方式对预测模型进行误差补偿,以要线校正用于预测控制,通过对性能指标中的偏差项负指数加权,进一步改善预测控制性能,住址结果表明了控制算法的有效性。