一种基于深度神经网络的句法要素识别方法

为改进传统特征方法很难获取中文句子中结构信息的问题,提出一种基于深度神经网络的句法要素识别模型。采用Bi-LSTM网络从原始数据中自动抽取句子中的结构信息和语义信息,利用Attention机制自动计算抽象语义特征的分类权重,通过CRF层对输出标签进行约束,输出最优的标注序列。经过对比验证,该模型能有效识别句子中的句法要素,在标注数据集上F₁达到84.85%。     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

基于知识增强的图卷积神经网络的文本分类

针对文本分类问题,提出新的基于知识增强的图卷积神经网络（KEGCN）分类模型. KEGCN模型在整个文本集上构建了一个包含单词节点、文档节点、外部实体节点的文本图,不同类型节点之间使用不同的相似性计算方法;在文本图构建完成后将其输入到2层图卷积网络中学习节点的表示并进行分类. KEGCN模型引入外部知识进行构图,捕获长距离不连续的全局语义信息,是第1个将知识信息引入图卷积网络进行分类任务的工作. 在4个大规模真实数据集20NG、OHSUMED、R52、R8上进行文本分类实验,结果表明,KEGCN模型的分类准确率优于所有的基线模型. 将知识信息融入图卷积神经网络有利于学习到更精准的文本表示,提高文本分类的准确率.     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

医疗诊断系统专家知识的表达与获取方法

讨论了神经网络理论在智能医疗诊断系统方面的应用,在分析医疗诊断专家知识不完备性的基础上,研究了适应医疗诊断系统专家知识表达与获取的专家系统与神经网络集成方法。提出了采用单参数动态搜索算法训练神经网络,其效果明显优于传统的BP算法。设计了专家系统与神经网络集成的心血管疾病智能医疗诊断系统,在临床实践中取得了较好的效果,证明专家系统与神经网络的集成是医疗诊断系统专家知识表达与获取的有效方法。     

基于RBF -BP神经网络融合的医学数据分类研究

为改善传统的反向传播(BP)神经网络和径向基函数(RBF)神经网络的学习能力和分类性能的不足,提出一种融合RBF网络与BP网络的混合神经网络算法(HRBF -BP),并将其应用到医学数据分类问题中.在网络结构的实现上,将RBF隐藏层与BP隐藏层进行级联融合,即在连接BP网络输入层与隐藏层之间加入RBF核映射层; 在学习算法的实现上,先采用k-均值聚类算法来实现RBF核参数的估计,然后再使用基于随机梯度下降的BP算法实现级联BP网络的权值优化.将该算法与SGBP、KMRB、PFRBF等算法在不同的医学数据集上进行分类实验对比表明,该方法的网络训练精度以及测试精度均优于SGBP、KMRB、PFRBF算法; 因此,该方法对提高BP网络和RBF网络的学习能力和分类性能具有良好的参考价值.     

基于NRC和多模态残差神经网络的肺部肿瘤良恶性分类

针对深度卷积神经网络训练时的网络退化、特征表达能力不强等问题,提出一种基于非负表示分类和多模态残差神经网络的肺部肿瘤(residual neural network-non negative representation classification, resnet-NRC)良恶性分类方法。使用迁移学习将预训练残差神经网络模型初始化参数;分别用CT、PET和PET/CT 3个模态的数据集训练残差神经网络,提取全连接层的特征向量;采用非负表示分类器(non-negative representation classification, NRC)对特征向量进行非负表示,求解非负系数矩阵;利用残差相似度进行肺部肿瘤良恶性分类。通过AlexNet、GoogleNet、ResNet-18/50/101模型进行对比试验,试验结果表明,ResNet-NRC分类效果优于其它模型,且特异性和灵敏度等各项评价指标也较高,该方法具有较好的鲁棒性和泛化能力。     

基于NRC和多模态残差神经网络的肺部肿瘤良恶性分类

针对深度卷积神经网络训练时的网络退化、特征表达能力不强等问题,提出一种基于非负表示分类和多模态残差神经网络的肺部肿瘤(residual neural network-non negative representation classification, resnet-NRC)良恶性分类方法。使用迁移学习将预训练残差神经网络模型初始化参数;分别用CT、PET和PET/CT 3个模态的数据集训练残差神经网络,提取全连接层的特征向量;采用非负表示分类器(non-negative representation classification, NRC)对特征向量进行非负表示,求解非负系数矩阵;利用残差相似度进行肺部肿瘤良恶性分类。通过AlexNet、GoogleNet、ResNet-18/50/101模型进行对比试验,试验结果表明,ResNet-NRC分类效果优于其它模型,且特异性和灵敏度等各项评价指标也较高,该方法具有较好的鲁棒性和泛化能力。     

改进BP神经网络算法在机器人轨迹优化中的研究

针对未知的全局环境,将整体任务分解为环境信息已知的一系列中间任务,即将整个机器人的运动分解成一系列直线运动,降低神经网络函数复杂度,并且将障碍物封装为简单图形,以减少整个运动过程中的中间任务的个数,进一步降低神经网络函数复杂度．利用BP神经网络高速并行计算的优点,建立神经网络函数,提出一种实时性较高的求取函数的负梯度方向的方法,控制机器人快速高效地完成中间任务,从而驱使机器人到达目标点并进行仿真．     

采用多层卷积稀疏表示的红外与可见光图像融合

为提升光学图像在低照度条件下的可用性,对红外图像与可见光图像进行融合从而结合两者的优势是一种有效的技术手段。稀疏表示理论在红外与可见光图像融合领域已经得到了广泛的应用,然而基于稀疏表示理论的图像融合方法所采用的局部建模方式易于导致语义信息损失和对误匹配的低容忍度两大缺陷。卷积稀疏表示的全局建模能力对克服上述不足具有巨大的优势,本研究借鉴卷积神经网络的结构设计了一种前馈式基于多层卷积稀疏表示的红外与可见光图像融合网络,该网络包含5层:第1、2层为卷积稀疏层,通过预训练的字典滤波器获取源图像的卷积稀疏响应;第3层为融合层,通过活性图评价以获取融合结果;第4、5层为重建层,基于融合结果结合字典滤波器重建融合图像。实验结果表明,所提出的图像融合方法有效抑制了稀疏表示理论应用于图像融合的两大不足,在客观评价指标方面明显优于基于稀疏表示、基于单层卷积稀疏表示和基于卷积神经网络的图像融合算法,在算法的计算复杂度和运行时间方面优于基于稀疏表示和基于卷积神经网络的图像融合算法。     

基于空间注意力和卷积神经网络的视觉情感分析

为了解决现有基于深度学习方法的视觉情感分析忽略了图像各局部区域情感呈现的强度差异问题,提出一种结合空间注意力的卷积神经网络spatial attention with CNN, SA-CNN用于提升视觉情感分析效果。设计一个情感区域探测神经网络用于发现图像中诱发情感的局部区域;通过空间注意力机制对情感映射中各个位置赋予注意力权重,恰当抽取各区域的情感特征表示,从而有助于利用局部区域情感信息进行分类;整合局部区域特征和整体图像特征形成情感判别性视觉特征,并用于训练视觉情感的神经网络分类器。该方法在3个真实数据集TwitterⅠ、TwitterⅡ和Flickr上的情感分类准确率分别达到82.56%、80.23%、79.17%,证明利用好图像局部区域情感表达的差异性,能提升视觉情感分类效果。     

一种对称残差CNN的图像超分辨率重建方法

基于卷积神经网络的图像超分辨率重建方法具有很高的重建性能。但该类方法存在网络参数多、训练难度大,梯度消失和网络退化等问题。针对这些问题,提出一种基于对称残差卷积神经网络的图像超分辨率重建方法。通过将对称融入到残差块中,采用对称连接实现局部特征融合,提取尽可能多的有价值特征;残差块外采用跳跃连接实现全局特征融合,以提高图像的重建质量。该方法使用峰值信噪比和结构相似度作为评价指标,在Set5、Set14和BSD100标准数据集上进行2倍、3倍和4倍因子重建后的结果大部分优于比较方法,平均峰值信噪比和结构相似度值较比较方法均有提高。实验结果表明,该方法重建的图像纹理更清晰,细节更丰富,具有较好的主观视觉效果。     

Chinese text semantic representation for text classification

Text representation based on word frequency statistics is often unsatisfactory because it ignores the semantic relationships between words, and considers them as independent features. In this paper, a new Chinese text semantic representation model is proposed by considering contextual semantic and background information on the words in the text. The method captures the semantic relationships between words using Wikipedia as a knowledge base. Words with strong semantic relationships are combined into a word-package as indicated by a graph node, which is weighted with the sum of the number and frequency of the words it contains. The contextual relationship between words in different word-packages is stated by a directed edge, which is weighted with the maximum weight of its adjacent nodes. The model retains the contextual information on each word with a large extent. Meanwhile, the semantic meaning between words is strengthened. Experimental results of Chinese text classification show that the proposed model can express the content of a text accurately and improve the performance of text classification. Compared to Support Vector Machines, Text Semantic Graph-based Classification can improve the efficiency by 7.8％, reduce the error rate by 1/3, and show more stability.     

一种基于对抗训练的医疗问答匹配方法

相较于英文开放领域的问答匹配,中文专业医疗领域的问答匹配任务更具有挑战性。针对中文语义和医疗数据的复杂、多样,大多数研究人员都专注于设计繁杂的神经网络来探索更深层次的文本语义,工作思路较为单一,同时神经网络模型很容易因为微小扰动而误判,模型的泛化能力较差。为此,提出了一种基于对抗训练的问答匹配模型,利用双向预训练编码器来捕获问答句的语义信息,从而得到对应的向量表征;再通过在词嵌入表示上添加扰动因子生成对抗样本;最后将初始样本和对抗样本共同输入带有线性层的模型中进行分类预测。在cMedQA V2.0数据集上通过对比实验证明了对抗训练可以有效提升问答匹配模型的性能。     

基于PSO-ConvK卷积神经网络的肺部肿瘤图像识别

针对卷积核随机初始化以及梯度下降法训练卷积神经网络易陷入局部最值问题,提出粒子群算法优化卷积核(particle swarm optimization-convolution kernel, PSO-ConvK)的图像识别方法。使用参数迁移法构造卷积神经网络,并提取卷积核,利用PSO不断更新粒子的速度和位置,寻找全局最优值以初始化卷积核,将其传递到卷积神经网络,用肺部肿瘤数据训练卷积神经网络,结合梯度下降法修正网络权重,使得PSO算法的全局优化能力与梯度下降法的局部搜索能力相结合。试验通过批次大小、迭代次数以及网络层数3个角度验证方法的有效性,并与高斯函数优化卷积核进行对比。结果显示, PSO优化卷积核的识别率始终高于随机化卷积核和高斯卷积核,识别率最终达到98.3%,具有一定的可行性和优越性。     

融合知识图谱的医疗领域命名实体识别

为了改善通用预训练模型不适应医疗领域的命名实体识别任务这一不足，提出了一种融合医疗领域知识图谱的神经网络架构，该架构利用弹性位置和遮盖矩阵使预训练模型计算自注意力时避免语义混淆和语义干扰，在微调时使用多任务学习的思想，利用回忆学习的优化算法使预训练模型均衡通用语义表达和目标任务的学习，最终得到更为高效的向量表示并进行标签预测。实验结果表明：本文提出的命名实体识别架构在医疗领域上取得了优于主流预训练模型的效果，在通用领域也有较为良好的效果。该架构避免了重新训练针对某个领域的预训练模型和引入额外的编码结构从而精简了计算代价和模型大小。此外，通过消融实验对比，医疗领域对于知识图谱的依赖程度较通用领域依赖程度更大，这说明在医疗领域中融合知识图谱方法的有效性。通过参数分析，证明本文使用回忆学习的优化算法可以有效控制模型参数的更新，使模型可以保留更多的通用语义信息并得到更符合语义的向量表达。本文也通过实验分析说明了所提方法在实体数量少的种类上具有更优的表现。     

遥感图像语义分割空间全局上下文信息网络

为了解决卷积神经网络(CNN)在语义分割特征提取阶段容易丢失空间信息以及边界信息不明确的问题,基于U-Net基线网络提出空间全局上下文信息网络(NC-Net). 增加再编码阶段(ReEncoder),以增强空间信息识别能力. 在Decoder阶段输出多尺度特征,与ReEncoder阶段结合获取全局上下文信息. 保留边界损失函数,设计多尺度损失函数级联方法,优化整体网络. 在GID以及WHDLD数据集上的实验结果表明,该方法的总体准确度达到最好成绩,明显优于其他基线模型.     

基于传播概率矩阵的异构信息网络表示学习

根据元路径和可交换矩阵,结合节点一阶和二阶相似性得到最后的传播概率矩阵;利用降噪自动编码器对传播概率矩阵进行降维得到异构信息网络的节点表示;将异构信息网络的节点表示用梯度提升树（GBDT）分类,得到不同百分比训练集下的分类准确率,用聚类指标标准化互信息（NMI）评价聚类效果,用T-SNE展现可视化效果. 在数据集DBLP和AMiner上分别进行实验,相比DeepWalk、node2vec和metapath2vec方法,在应用任务节点分类上,所提出的基于传播概率矩阵的异构信息网络表示学习（HINtpm）的准确率与DeepWalk相比最高提升了24%,聚类指标NMI与DeepWalk相比最高提升了13%.     

基于神经网络和证据理论的液压系统故障诊断

针对液压系统故障多样性和复杂性等特点,基于信息融合原理,提出了一种基于神经网络和D-S（Dempster-Shafer）证据理论相结合的液压系统故障诊断方法。该方法通过构建多子神经网络分类模块进行局部诊断,利用各子神经网络的输出值作为证据理论中的基本可信度,经过证据理论的再次融合得出最终的诊断结果。实例表明,该方法通过简化神经网络结构,提高了局部诊断网络的诊断能力,通过对多源多特征参数的融合,充分利用各传感器的冗余和互补的故障信息,与单一故障特征的诊断相比,显著提高了故障诊断的准确率,降低了决策的不确定性。