基于深度学习的维吾尔语名词短语指代消解

针对维吾尔语名词短语指代现象,提出了一种利用栈式自编码深度学习算法进行基于语义特征的指代消解方法.通过对维吾尔语名词短语指称性的研究,提取出利于消解任务的13项特征.为提高特征对文本语义的表达,在特征集中引入富含词汇语义及上下文位置关系的Word embedding.利用深度学习机制无监督的提取隐含的深层语义特征,训练Softmax分类器进而完成指代消解任务.该方法在维吾尔语指代消解任务中的准确率为74.5%,召回率为70.6%,F值为72.4%.实验结果证明,深度学习模型较浅层的支持向量机更合适于本文的指代消解任务,对Word embedding特征项的引入,有效地提高了指代消解模型的性能.     

维吾尔语名词短语待消解项识别

针对维吾尔语名词短语待消解项识别任务,该文提出一种利用栈式非负约束自编码器(Stacked Nonnegative Constrained Autoencoder,SNCAE)完成基于语义特征的待消解项识别方法。为了提高自动编码器隐藏层激活度的稀疏性和重构数据的质量,利用NCAE非负约束算法,为连接权值施加非负性约束。通过分析维吾尔语名词短语语言指代现象,提取出15个特征,利用SNCAE提取出深层语义特征,引入Softmax分类器,进而完成待消解项识别任务。该方法在维吾尔语名词短语待消解项识别中,正例准确率和负例准确率分别比SVM高出8.259%和4.158%,比栈式自编码(SAE)高出1.884%和1.590%,表明基于SNCAE的维吾尔语名词短语待消解项识别方法比SVM和SAE更适合维吾尔文的待消解项识别任务。     

基于深度学习的维吾尔语人称代词指代消解

指代消解是自然语言处理技术的核心问题,该文结合维吾尔语语义特征,提出基于深度学习的维吾尔语人称代词指代消解方法。通过堆叠多层无监督RBM网络和一层有监督BP网络,构建DBN深度神经网络学习模型,RBM网络保证特征向量映射达到最优,BP网络对RBM网络的输出向量进行分类,实现维吾尔语人称代词指代消解。经过维吾尔语指代消解语料库测试, F值达到83.81%,比SVM方法高出2.88%。实验结果表明,同等条件下,该方法能有效提升维吾尔语人称代词消解的精度,有助于维吾尔语指代消解研究。     

CNN_BiLSTM双通道维吾尔语名词短语指代消解

提出了一种利用CNN_BiLSTM双重通道模型的维吾尔语名词短语指代消解。利用包含维语语言特点的Hand-crafted特征初步筛选先行语和照应语,减少不必要的负例,然后使用wordembedding将先行语和照应语向量化,并作为CNN_BiLSTM双重通道模型的输入,使用双通道模型提取空间语义特征和时间语义特征。两种特征融合之后训练softmax分类器,最终完成指代消解任务。上述方法在维吾尔语名词短语指代消解任务中的准确率为84.3召回率为78.1,F1值为81。实验结果表明,充分利用CNN和BiLSTM分别提取时间和空间双重特征的,可以有效提高维吾尔语名词短语指代消解的性能。     

基于深度置信网络的维吾尔语人称代词待消解项识别

针对维吾尔语人称代词指代消解研究忽略了待消解项识别而引入了噪声的问题,提出一种基于深度置信网络(Deep Belief Networks,DBN)的维吾尔语人称代词待消解项识别方法。在分析维吾尔语人称代词语法特征和语言规则的基础上,总结出包含10项特征的维吾尔语人称代词待消解项特征集。所提方法首先通过逐层贪婪地训练每一层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)网络,来保证特征向量映射到不同的特征空间,尽可能多地保留特征信息;并在最后一层设置BP网络,对RBM输出的特征向量进行分类,以有监督的方式训练整个网络并进行微调。实验结果表明,所提方法正确识别维吾尔语人称代词待消解项的准确率达到95.17%,比SVM算法提高了9%,从而验证了其有效性和可行性。     

基于深度降噪自编码神经网络的近红外光谱去噪

近红外光谱仪在数据采集时,由于受到多种因素的影响,光谱数据常常被一系列噪声所污染,对光谱建模与分析产生巨大的影响.在建模前必须要对数据进行预处理,本文提出一种基于栈式降噪自编码神经网络的光谱信号去噪方法,基于降噪自编码模型重构的思想来实现特征的自动提取,使用无监督逐层贪婪预训练和有监督微调的方法对深度自编码神经网络进行训练,对光谱信号具有良好的噪声滤除效果.与目前比较流行的小波去噪等相比,栈式降噪自编码神经网络有较好去噪性能.最后,本文基于实际光谱仪采集数据进行实验,实验结果验证了该方法的有效性.     

基于神经网络的端到端的事件指代消解研究

事件作为文本信息的关键语义组件,对篇章的理解具有重要意义。由于事件具有自身包含信息丰富、表达方式多样,以及在文本中分布稀疏等特点,使得事件指代消解成为自然语言处理领域的一个难点任务。在以往的事件指代消解任务中,多借助人工提取词匹配和句法结构等信息,再基于这些抽取的特征进行消解,然而这些特征并不能有效地处理具有复杂语义的事件任务。该文提出一种端到端的神经网络模型,通过多种词表征、双向循环神经网络和注意力机制来学习上下文的语义内容,从而完成事件的指代消解任务。在KBP2015、2016数据集上进行的事件指代消解实验验证了该文给出模型的有效性。实验结果表明,该神经网络模型能很好地理解文本语义信息,捕捉关键单词,提高事件指代消解任务的性能,最终端到端的事件指代消解性能在CoNLL评测标准下达到39.9%的F1值。     

基于Deep Belief Nets的维吾尔语句子级情感分析

针对维吾尔语句子情感信息：喜、怒、哀、乐和客观五分类任务,提出一种利用深度信念网络模型(Deep Belief Nets, DBN)的深度学习机制进行基于深层语义特征的句子级情感分析方法。该方法通过对维吾尔语情感句及语言特点的深入研究,提取出利于情感分析任务的8项情感特征。为了提高特征对文本语义的表达,将富含词汇深层语义和上下文信息的word embedding特征与情感特征进行融合,作为深度信念网络的输入。利用多层无监督的波尔兹曼机(RBM)训练并提取隐含的深层语义特征,通过有监督的后向传播算法对网络进行微调,进而完成情感分类任务。该方法在维吾尔语句子级情感分类任务中的准确率为83,35%,召回率为84.42%,F值为：83.88%. 实验结果证明,深度学习模型较浅层的学习模型更合适于本文的情感分类任务,对word embedding特征项的引入,有效的提高了情感分类模型的性能.     

基于ATT-IndRNN-CNN的维吾尔语名词指代消解

该文提出一种基于注意力机制(attention mechanism,ATT)、独立循环神经网络(independently recurrent neural network,IndRNN)和卷积神经网络(convolutional neural network,CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构,提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度,结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征,最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明,该方法优于传统模型,准确率为87.23%,召回率为88.80%,F值为88.04%,由此证明了该模型的有效性。     

基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

基于SDAE与RELM的EEG情感识别方法

针对情感识别中堆叠式自动编码器存在反向传播方法收敛速度慢和容易陷入局部最优的问题,提出一种基于堆叠式降噪自动编码器（SDAE）和正则化极限学习机（RELM）的情感状态识别方法。从脑电信号的时域、频域和时频域中提取表征情感状态的初始特征,使用SDAE进行无监督特征学习,提取初始特征的高层抽象表示。在网络的回归层,使用RELM进行情感分类。在DEAP数据集上的实验结果表明,与SDAE以及DT、KNN等传统基于机器学习的方法相比,该方法在实时性、准确性和泛化性能等方面均有明显提升。     

稀疏降噪自编码器在IR-BCI的应用研究

针对脑-机接口的特征提取问题,提出了一种基于非监督学习的稀疏降噪自编码器,对刺激诱发的脑电信号进行自主学习,构建原始数据的深层特征表达。该编码器引用稀疏自编码神经网络,通过加入噪声,增强其学习的泛化能力,增加了神经网络的鲁棒性。首先对多导联信号进行重新拼接,输入稀疏降噪自编码器,得到原始数据的稀疏特征表达;然后,采用支持向量机将学习到的特征进行分类;最后,同直接使用最优单通道相对比。实验结果为：稀疏降噪自编码器的分类准确率要优于单通道,表明该方法能够更好地学习到特征,并提高了“模拟阅读”脑-机接口的识别正确率,为脑-机接口系统的特征提取和分类提供了新思路。     

基于堆栈降噪自编码器改进的混合推荐算法

针对传统协同过滤算法仅利用评分信息作为推荐依据,没有利用用户评论和标签信息,无法准确反映用户对项目特征的偏好,推荐精确度低且容易过拟合等问题,提出一种基于堆栈降噪自编码（SDAE）改进的混合推荐（SDHR）算法。首先利用深度学习模型SDAE从用户自由文本标签中抽取项目的显式特征信息;然后,改进隐因子模型（LFM）算法,使用显式项目特征信息替换LFM中的抽象特征,进行矩阵分解训练;最后通过用户-项目偏好矩阵为用户提供推荐。在公开数据集MovieLens上的实验测试,与三组推荐模型（基于标签权重及协同过滤、基于SDAE和极限学习机、基于循环神经网络）比较,该算法推荐精确度分别提高了45.2%、38.4%和16.1%。实验结果表明,所提算法可以充分利用项目自由文本标签信息提高推荐性能。     

基于多注意力机制的维吾尔语人称代词指代消解

针对深度神经网络模型学习照应语和候选先行语的语义信息忽略了每一个词在句中重要程度,且无法关注词序列连续性关联和依赖关系等问题,提出一种结合语境多注意力独立循环神经网络(Contextual multi-attention independently recurrent neural network,CMAIR)的维吾尔...     

基于堆栈式自编码网络的电子线路分类算法

由于电子线路细节特征种类多且与背景细节特征相似度较高,基于图像颜色、纹理形状等低层特征的分类算法不能满足高精度分类的需求。针对是否具有数字背景的电子线路分类问题,利用深度学习方法堆栈式降噪自编码网络以及方向梯度直方图特征提取算法对1840张工业电子线路图片的分类进行研究。实验结果表明：对缩放到68*68大小的电子线路图像进行去均值、归一化及白化等预处理能有效降低不同光照强度的影响,同时降低了像素间的相关性,因此在后续训练过程中能得到更加具有分类代表性的特征使分类的准确率提高约6%;预处理后提取图片1152维的方向梯度直方图特征作为输入,通过两层隐含层降噪自编码训练及反向传播权值微调后能更加准确、稳定的区分出具有数字背景的电子线路。     

基于深度学习的蛋白质亚细胞定位预测

针对传统机器学习算法中仍需手工操作表示特征的问题,提出了一种基于堆栈式降噪自编码器（SDAE）深度网络的蛋白质亚细胞定位算法。首先,分别利用改进型伪氨基酸组成法（PseAAC）、伪位置特异性得分矩阵法（PsePSSM）和三联体编码法（CT）对蛋白质序列进行特征提取,并将这三种方法得到的特征向量进行融合,以得到一个全新的蛋白质序列特征表达模型;接着,将融合后的特征向量输入到SDAE深度网络里自动学习更有效的特征表示;然后选用Softmax回归分类器进行亚细胞的分类预测,并采用留一法在Viral proteins和Plant proteins两个数据集上进行交叉验证;最后,将所提算法的结果与mGOASVM、HybridGO-Loc等多种现有算法的结果进行比较。实验结果表明,所提算法在Viral proteins数据集上取得了98.24%的准确率,与mGOASVM算法相比提高了9.35个百分点;同时所提算法在Plant proteins数据集上取得了97.63%的准确率,比mGOASVM算法和HybridGO-Loc算法分别提高了10.21个百分点和4.07个百分点。综上说明所提算法可以有效提高蛋白质亚细胞定位预测的准确性。     

基于深度学习的蛋白质亚细胞定位预测

针对传统机器学习算法中仍需手工操作表示特征的问题，提出了一种基于堆栈式降噪自编码器（SDAE）深度网络的蛋白质亚细胞定位算法。首先，分别利用改进型伪氨基酸组成法（PseAAC）、伪位置特异性得分矩阵法（PsePSSM）和三联体编码法（CT）对蛋白质序列进行特征提取，并将这三种方法得到的特征向量进行融合，以得到一个全新的蛋白质序列特征表达模型；接着，将融合后的特征向量输入到SDAE深度网络里自动学习更有效的特征表示；然后选用Softmax回归分类器进行亚细胞的分类预测，并采用留一法在Viral proteins和Plant proteins两个数据集上进行交叉验证；最后，将所提算法的结果与mGOASVM、HybridGO-Loc等多种现有算法的结果进行比较。实验结果表明，所提算法在Viral proteins数据集上取得了98.24%的准确率，与mGOASVM算法相比提高了9.35个百分点；同时所提算法在Plant proteins数据集上取得了97.63%的准确率，比mGOASVM算法和HybridGO-Loc算法分别提高了10.21个百分点和4.07个百分点。综上说明所提算法可以有效提高蛋白质亚细胞定位预测的准确性。     

基于时空优化深度神经网络的AQI等级预测

针对现有空气质量预测方法精度偏低、对噪声敏感等问题,提出一种基于堆栈降噪自编码（Stacked Denoising Auto-Encoders,SDAE）模型的空气质量等级预测方法。首先以武汉市历史空气质量和气象监测数据为研究对象,建立SDAE模型逐层学习原始数据的特征表达,并将最后一层特征与分类器连接完成预测模型的调优。同时改进多参数网格搜索法,选取了最优的超参数组合。然后在测试集上进行预测,并用预测值与实际值之间的平均绝对误差和均方误差等指标作为预测性能评价标准。通过与其他网络模型的实验对比,证明了SDAE模型对于空气质量等级具有较优的预测性能。最后从时间、空间、时空三个角度对该模型输入进行优化,实验结果表明基于空间优化的SDAE模型预测性能提升最为明显,能够得到比传统方法更加精确的预测结果。     

改进ADASYN-SDA的入侵检测模型研究

针对传统入侵检测模型在高维数据且数据不均衡环境下检测性能较差的问题,提出了一种自适应过采样算法（ADASYN）与改进堆叠式降噪自编码器（SDA）结合的入侵检测模型。使用ADASYN算法进行数据过采样处理。使用Adam优化算法,以及Dropout正则化对SDA深度学习模型进行改进,提取出低维数、高鲁棒性的集成特征。在softmax分类器中进行入侵检测识别。实验结果表明,ADASYN-SDA模型相较于SDA、AE-DNN和MSVM模型,在平均准确率、检测率和误判率上均有一定程度的提高。