基于字的分布表征的汉语基本块识别

汉语的基本块识别是汉语句法语义自动分析中的重要任务之一。传统的方法大多数直接将汉语基本块识别任务转化成词层面的一个序列标注问题,采用CRF模型来处理。虽然,在许多评测中得到最好的结果,但基于词为标注单位,在实用中受限于自动分词系统以及汉语词特征的稀疏性。为此,该文给出了一种以字为标注单位,以字为原始输入层,来构建汉语的基本块识别的深层神经网络模型,并通过无监督方法,学习到字的C&W和word2vec两种分布表征,将其作为深层神经网络模型的字的表示层的初始输入参数来强化模型参数的训练。实验结果表明,使用五层神经网络模型,以[-3,3]窗口的字的word2vec分布表征,其准确率、召回率和F值分别达到80.74%,73.80%和77.12%,这比基于字的CRF高出约5%。这表明深层神经网络模型在汉语的基本块识别中是有作用的。     

词位标注汉语分词中特征模板定量研究

基于字的词位标注的方法能极大地提高汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,词位标注汉语分词中特征模板的设定至关重要,为了更加准确地设定特征模板,从多个角度进行了定量分析,并在国际汉语分词评测Bakeoff2005的PKU和MSRA两种语料上进行了封闭测试,得到如下结论:同等条件下,训练出的模型大小与扩展出的特征数成正比;不同的单字特征模板在同一语料中扩展出的特征数基本相同,单字特征模板对分词性能的贡献要比双字特征模板小得多;增加B特征模板之后,训练时间大大增加,模型大小基本不变,对分词性能都是正增长.     

基于一种改进禁忌搜索算法优化离散隐马尔可夫模型

隐马尔可夫模型(HMM,HiddenMarkovModel)是语音识别和手势识别中广泛使用的统计模式识别方法。文章提出了一种改进的禁忌搜索(ITS,ImprovedTabuSearch)优化HMM的参数。传统的TabuSearch(TS)与局部搜索算法(极大似然法)交替进行,从而加快了算法的收敛速度,并得到优化解。分别用TS及ITS训练隐马尔可夫模型进行动态手势识别。结果表明ITS可获得更高的识别率,且能达到全局优化。     

基于Dropout正则化的汉语框架语义角色识别

汉语框架语义角色识别是汉语框架语义分析的重要任务之一。该文基于汉语词语、词性等特征的分布式表示,使用一种多特征融合的神经网络结构来构建汉语框架语义角色识别模型。鉴于可用的训练语料规模有限,该文采用了Dropout正则化技术来改进神经网络的训练过程。实验结果表明,Dropout正则化的加入有效地缓解了模型的过拟合现象,使得模型的F值有了近7%的提高。该文进一步优化了学习率以及分布式表示的初始值,最终的汉语框架语义角色识别的F值达到70.54%,较原有的最优结果提升2%左右。     

融合上下文字符信息的泰语神经网络分词方法

自动分词是自然语言处理的关键基础技术。针对传统泰语统计分词方法特征模板复杂、搜索空间大的问题,提出融合上下文字符信息的泰语神经网络分词模型。该模型借助词分布表示方法,训练泰语字符表示向量,利用多层神经网络分类器实现泰语分词。基于InterBEST 2009泰语分词评测语料的实验结果表明,所提方法相较于条件随机场分词模型、Character-Cluster Hybrid 分词模型以及 GLR and N-gram 分词模型取得了更好的分词效果,分词准确率、召回率和F值分别达到了97.27%、99.26 %及98.26 %,相比条件随机场分词速度提高了112.78%。     

基于径向基函数神经网络的网络流量识别模型

提出了一种基于径向基函数神经网络的网络流量识别方法。根据实际网络中的流量数据,建立了一个基于RBF神经网络的流量识别模型。先介绍了RBF神经网络的结构设计及学习算法,针对RBF神经网络在隐节点过多的情况下算法过于复杂的缺点,采用了优化的算法计算隐含层节点。仿真实验证明,该模型具有较好的准确率、低复杂度、高识别效果和良好的自适应性。     

基于多层特征融合可调监督函数卷积神经网络的人脸性别识别

为了进一步提高性别识别的准确率,提出了一种基于多层特征融合与可调监督函数机制的结合的卷积神经网络（L-MFCNN）模型,并将之用于人脸性别识别。与传统卷积神经网络（CNN）不同,L-MFCNN将多个浅层中间卷积层特征输出与最后卷积层特征输出相结合,融合多层卷积层的特征,不仅利用了深层卷积的整体语义信息,还考虑了浅层卷积的细节局部纹理信息,使得性别识别更加准确。此外L-MFCNN还引入具有可调目标监督函数机制的Large-Margin Softmax Loss作为输出层,利用其调节不同的间隔（margin）的机制来有效引导深层卷积网络学习,使得同种性别间的类内间距更小,不同性别间的类间距更大,获得更好的性别识别效果。在多个人脸数据集上的性别识别实验结果表明,L-MFCNN的识别准确率要高于其他传统的卷积网络模型。L-MFCNN模型也为将来的人脸性别识别研究提供了新的思路与方向。     

基于ACNNC模型的中文分词方法

目前,现有中文分词模型大多是基于循环神经网络的,其能够捕捉序列整体特征,但存在忽略了局部特征的问题。针对这种问题,该文综合了注意力机制、卷积神经网络和条件随机场,提出了注意力卷积神经网络条件随机场模型(Attention Convolutional Neural Network CRF, ACNNC)。其中,嵌入层训练词向量,自注意力层代替循环神经网络捕捉序列全局特征,卷积神经网络捕捉序列局部特征和位置特征,经融合层的特征输入条件随机场进行解码。实验证明该文提出的模型在BACKOFF 2005测试集上有更好的分词效果,并在PKU、MSR、CITYU和AS上取得了96.2%、96.4%、96.1%和95.8%的F₁值。     

基于感知机模型藏文命名实体识别

藏文命名实体识别是藏文分词和标注系统中必须要解决的问题。通过对命名实体构词规律及分词歧义进行分析,提出基于音节特征感知机训练模型的藏文命名实体识别方案。重点研究了利用藏文紧缩格识别音节的方法,命名实体内部和边界音节的模型训练特征模板,训练模型,以及命名实体分类识别方法。提出的藏文命名实体识别方法在测试集上获得86.03%的F值,相对基于分词的基线系统高出10.5%个点。     

量子小波神经网络及其在漏钢预报中的应用

针对传统神经网络收敛速度慢,收敛精度低,以及用于模式识别泛化能力差的问题。提出了将量子神经网络与小波理论相结合的量子小波神经网络模型。该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,称之为多层小波激励函数,这样隐层神经元既能表示更多的状态和量级,又能提高网络收敛精度和速度。给出了网络学习算法。并以之在漏钢预报波形识别中的应用验证了该模型和学习算法的有效性。     

基于深度半监督的柬语句子级情感分类

针对柬语标注数据较少、语料稀缺,柬语句子级情感分析任务进步缓慢的问题,提出了一种基于深度半监督CNN(convolutional neural networks)的柬语句子级情感极性分类方法.该方法通过融合词典嵌入的分开卷积CNN模型,利用少量已有的柬语情感词典资源提升句子级情感分类任务性能.首先构建柬语句子词嵌入和词典嵌入,通过使用不同的卷积核对两部分嵌入分别进行卷积,将已有情感词典信息融入到CNN模型中去,经过最大延时池化得到最大输出特征,把两部分最大输出特征拼接后作为全连接层输入;然后通过结合半监督学习方法——时序组合模型,训练提出的深度神经网络模型,利用标注与未标注语料训练,降低对标注语料的需求,进一步提升模型情感分类的准确性.结果 证明,通过半监督方法时序组合模型训练,在人工标记数据相同的情况下,该方法相较于监督方法在柬语句子级情感分类任务上准确率提升了3.89％.     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。     

基于混合神经网络的恶意TLS流量识别研究

针对使用传统机器学习方法来识别恶意TLS流量受到专家经验的影响较大、识别与分类效果不理想的问题,提出了HNNIM（Hybrid Neural Network Identification Model）模型来进行识别与分类。模型由两层组成：第一层用于提取特征,第二层用于识别与分类。第一层中,提取的特征分为两部分,一部分特征由深度神经网络自动挖掘,另一部分特征根据专家经验选取,并由深度神经网络进一步筛选;第二层将第一层筛选出的特征进行聚合,采用全连接的深度神经网络进一步学习和拟合。通过分析大量TLS流量样本,最终选用TLS流量中的ClientHello与ServerHello消息报文与TCP协议交互信息这两部分来作为特征空间。实验的结果表明,HNNIM模型在恶意TLS流量的识别任务上关于恶意样本的F1值为0.989,较随机森林、SVM、XGBoost、卷积神经网络模型,在F1值上分别提升了0.016、0.016、0.019、0.043;在多分类任务上的平均准确率为89.28%,较随机森林、SVM、XGBoost、卷积神经网络模型分别提升了9.92%、9.09%、11.31%、7.03%。     

无池化层卷积神经网络的中文分词方法

在中文信息处理中,分词是一个十分常见且关键的任务。很多中文自然语言处理的任务都需要先进行分词,再根据分割后的单词完成后续任务。近来,越来越多的中文分词采用机器学习和深度学习方法。然而,大多数模型都不同程度的有模型过于复杂、过于依赖人工处理特征、对未登录词表现欠佳等缺陷。提出一种基于卷积神经网络（Convolutional Neural Networks,CNN）的中文分词模型--PCNN（Pure CNN）模型,该模型使用基于字向量上下文窗口的方式对字进行标签分类,具有结构简单、不依赖人工处理、稳定性好、准确率高等优点。考虑到分布式字向量本身的特性,在PCNN模型中不需要卷积的池化（Pooling）操作,卷积层提取的数据特征得到保留,模型训练速度获得较大提升。实验结果表明,在公开的数据集上,模型的准确率达到当前主流神经网络模型的表现水准,同时在对比实验中也验证了无池化层（Pooling Layer）的网络模型要优于有池化层的网络模型。     

基于LSTM网络的序列标注中文分词法

当前主流的中文分词方法是基于字标注的传统机器学习的方法。但传统机器学习方法需要人为地从中文文本中配置并提取特征,存在词库维度高且仅利用CPU训练模型时间长的缺点。针对以上问题,进行了研究提出基于LSTM（Long Short-Term Memory）网络模型的改进方法,采用不同词位标注集并加入预先训练的字嵌入向量（character embedding）进行中文分词。在中文分词评测常用的语料上进行实验对比,结果表明：基于LSTM网络模型的方法能得到比当前传统机器学习方法更好的性能;采用六词位标注并加入预先训练的字嵌入向量能够取得相对最好的分词性能;而且利用GPU可以大大缩短深度神经网络模型的训练时间;LSTM网络模型的方法也更容易推广并应用到其他自然语言处理（NLP）中序列标注的任务。     

基于内卷U-Net的医学图像分割模型

图像分割技术的主要对象为自然图像和医学图像,相对于自然图像而言,医学图像的语义分割通常需要较高的精度以进行下一步的临床分析、诊断和规划治疗。目前用于医学图像语义分割的深度神经网络模型由于仅考虑位置的平移不变性,存在局部感受野较小、无法表达长范围依赖关系的问题。设计一种面向医学图像的分割模型,基于内卷U-Net网络,使用内卷操作代替传统的卷积操作,并将内卷结构作为基本的网络结构,提升模型对医学图像局部特征的学习能力。在模型的瓶颈层引入注意力机制模块来学习图像长范围的依赖关系,以提高医学图像语义分割的精度。在肺部CT数据集上的实验结果表明,该模型的Dice系数为0.998,较基于卷积神经网络的分割模型约提高5%,并且大幅缩短Hausdorff距离,具有更高的分割准确度以及较好的稳健性。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

基于卷积神经网络的虫情图像分割和计数方法

为提高虫情图像的分割和计数的准确率,提出了一种基于卷积神经网络的虫情图像分割和计数方法。该方法基于U-Net模型构造了一种昆虫图像分割的模型Insect-Net,将完整的虫情图像和切割后的虫情图像分别输入模型后,提取两者特征进行融合。将融合后的特征输入1个1×1的卷积层得到最终分割结果,再将得到的结果二值化后,采用轮廓检测算法将昆虫目标与背景分离并计数。实验结果表明,该方法在虫情图像中取得了较高的分割正确率和计数正确率,分别为94.4%和89.2%。用深度学习和卷积神经网络的方法有效提高了虫情图像的计数精度,并且为昆虫识别分类提供了大量的无背景数据集。