基于规则推理网络的分类模型

为了缓解神经网络的“黑盒子”机制引起的算法可解释性低的问题,基于使用证据推理算法的置信规则库推理方法(以下简称RIMER)提出了一个规则推理网络模型.该模型通过RIMER中的置信规则和推理机制提高网络的可解释性.首先证明了基于证据推理的推理函数是可偏导的,保证了算法的可行性;然后,给出了规则推理网络的网络框架和学习算法,利用RIMER中的推理过程作为规则推理网络的前馈过程,以保证网络的可解释性;使用梯度下降法调整规则库中的参数以建立更合理的置信规则库,为了降低学习复杂度,提出了“伪梯度”的概念;最后,通过分类对比实验,分析了所提算法在精确度和可解释性上的优势.实验结果表明,当训练数据集规模较小时,规则推理网络的表现良好,当训练数据规模扩大时,规则推理网络也能达到令人满意的结果.     

融合机器学习与知识推理的可解释性框架

针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题, 提出了一种融合机器学习和知识推理两种途径的可解释性框架. 框架演进目标特征结果和推理结果, 在二者相同且都较为可靠的情况下实现可解释性. 目标特征结果通过机器学习模型直接得到, 推理结果通过子特征分类结果结合规则进行知识推理得到, 两个结果是否可靠通过计算可信度来判断. 使用面向液基细胞学检查图像的融合学习与推理的某类宫颈癌细胞识别案例对框架进行验证, 实验表明, 该框架能够赋予模型的真实决策结果以可解释性, 并在迭代过程中提升了分类精度. 这帮助人们理解系统做出决策的逻辑, 以及更好地了解结果可能失败的原因.     

基于胶囊网络的群智感知数据分类模型

针对群智感知平台中感知数据分类的准确度问题,提出了一种基于胶囊网络的感知数据分类模型。首先,构建了群智感知系统模型,结合感知数据构建了胶囊网络结构和样本数据,通过胶囊网络实现了样本数据和预测值之间的映射。然后,胶囊网络对样本数据的像素点特征矩阵进行拟合学习,使用动态路由算法更新胶囊网络的耦合系数。最后,结合间隔损失函数和重构损失函数,实现了对基于胶囊网络的感知数据分类模型参数的优化。仿真结果表明相对于残差网络的数据分类模型,所提模型有效提高了数据分类的准确度。     

基于多层注意力网络的可解释认知追踪方法

认知追踪是一种数据驱动的学习主体建模技术,旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来,在深度学习算法的加持下,深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性,决策过程或结果缺乏可解释性,难以提供学习归因分析、错因追溯等高价值教育服务等问题,提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息,建立一种包含题目元素、语义和记录等3层注意力的网络结构,利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特别是在损失函数中引入提升模型可解释性的正则化项与权衡因子,实现对模型预测性能与可解释强度的调控.同时,定义了预测结果可解释性度量指标——保真度,实现对认知追踪模型可解释性的量化评估.最后,在6个领域基准数据集上的实验结果表明:该方法有效提升了模型的可解释性.     

基于神经网络架构搜索的肺结节分类算法

肺结节分类是早期肺癌诊断的重要任务。基于深度学习的肺结节分类方法虽然能够取得良好的分类精度,但存在模型复杂和可解释性差的问题。为此,提出了一种基于神经网络架构搜索的肺结节分类算法。首先,将注意力残差卷积cell作为搜索空间的基本单元,并使用偏序剪枝方法作为搜索策略来构建神经网络架构以搜索3D分类网络,从而达到网络性能和搜索速度的平衡。其次,在网络中构建了多尺度通道和空间注意力模块来提高特征描述和类别推理的可解释性。最后,采用堆叠法将搜索到的网络架构进行多模型的融合,从而获取精准的肺结节良恶性分类预测结果。实验结果表明,在肺结节分类常用数据集LIDC-IDRI上,所提算法与最新肺结节分类算法相比具有较好的分类性能和较快的收敛,且所提算法的特异性和精确率分别达到95.37%和93.42%,能够实现良恶性肺结节的准确分类。     

面向文本分类的transformer-capsule集成模型

针对浅层的单模型文本分类算法不能很好地提取到文本序列多层次特征的问题,提出一种transformer-capsule集成模型,分别利用胶囊网络（capsule network）和transformer来提取文本的局部短语特征和全局语义特征,通过集成的形式更全面地得到文本序列的多层次特征表示。此外,针对传统胶囊网络动态路由时存在部分噪音胶囊干扰的问题,提出基于注意力机制的动态路由算法,赋给噪音胶囊较小的权重,减少传递给后续胶囊的干扰信息,实验证明该机制能有效提高分类性能。选取文本分类通用语料库中4个单标签数据集和1个多标签Reuters-21578数据集进行实验,取得了较好的实验结果,其中在Reuters-21578上F1值相比Capsule-B模型提升了3.6%,达到了89.4%。     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

基于自注意力胶囊网络的伪造人脸检测方法

当前以换脸为代表的伪造视频泛滥,给国家、社会和个人带来潜在威胁,有效检测该类视频对保护个人隐私和维护国家安全具有重要意义。为提高视频伪造人脸检测效果,基于可解释性好的胶囊网络,以Capsule-Forensics检测算法为基础,提出一种结合自注意力胶囊网络的伪造人脸检测方法。使用部分Xception网络作为特征提取部分,降低模型的参数量,在主体部分引入带注意力机制的胶囊结构,使模型聚焦人脸区域,将综合多维度的Focal Loss作为损失函数,提高模型对难分样例的检测效果。实验结果表明,与Capsule-Forensics算法相比,该方法能够减少模型参数量和计算量,在多种伪造类型数据集上均具有较高的准确率。     

一种模糊认知图分类器的研究*

通过使用模糊认知图来模拟分类过程,构造了一种模糊认知图分类器,提出了它的两种模糊认知图分类模型,并在此基础上给出了使用它进行分类的推理机制。实验证明,该方法具有良好的分类性能。     

基于特征融合方法的轻微认知衰退静息态脑电数据自动检测技术研究

轻微认知衰退是阿尔茨海默病的早期阶段,而利用脑电信号进行轻微认知衰退的特征提取与分类是诊断轻微认知衰退的重要方法。在基于脑电人工智能轻微认知衰退自动检测技术中,现有研究只提取脑电波信号中的某一个特征或简单地拼接多个特征,这会导致这些方法并不能较好地考虑特征之间的相关性,并且会引发维度灾难的问题;提出了一种基于卷积神经网络的轻微认知衰退静息态脑电数据自动检测算法,通过提取脑电的功率谱及脑网络特征,并通过矩阵运算的方式对这两种特征进行融合,利用卷积神经网络对融合后的特征进行分类。该方法在上海某医院采集的数据集上获得较高的准确率;此外,通过输入特征集的不同子集,该方法找到了对轻微认知衰退最有贡献的几组特征,从而还具有一定的可解释性。在本数据集上证明了功率脑网络对于轻微认知衰退自动诊断的优势。     

基于注意力的共享参数胶囊网络

针对传统胶囊网络特征信息的传播冗余性和解构低效性问题,提出一种共享参数的注意力胶囊网络.该网络的优点主要体现于以下两方面:1)提出注意力机制的动态路由方法,通过计算低级胶囊的相关性,使得在保留特征空间信息的同时更加关注相关性高的特征信息,并完成前向传播;2)在动态路由层提出共享转换矩阵,基于低级胶囊投票一致性对高级胶囊激活,并通过共享转换矩阵减少模型的参数量,同时实现改进胶囊网络的稳健性.首先,通过5个公开数据集的分类对比实验,表明所提出胶囊网络在Fashion-MNIST、SVHN和CIFAR10数据集上分别取得了5.17%、3.67%和9.35%的最好分类结果,而且在复杂数据集上具有显著的白盒对抗攻击鲁棒性;然后,通过在基于smallNORB和affNISH公开数据集的仿射变换对比实验,表明所提出的胶囊网络具有显著的仿射变换鲁棒性;最后,通过计算效率分析对比实验结果,表明所提出共享参数胶囊网络在不增加浮点运算的情况下,参数量比传统的胶囊网络减少4.9%,具有突出的计算量优势.     

多尺度3D胶囊网络高光谱图像分类

为解决有限训练样本下的高光谱遥感图像分类特征提取不充分的问题, 该论文提出了多尺度3D胶囊网络方法来助力高光谱图像分类. 相比传统的卷积神经网络, 所提出的网络具有等变性且输入输出形式都是向量形式的神经元而非卷积神经网络中的标量值, 有助于获取物体之间的空间关系及特征之间的相关性, 且在有限训练样本下能避免过拟合等问题. 该网络通过3种不同尺度的卷积核操作对输入图像进行特征提取来获取不同尺度的特征. 然后3个分支分别接不同的3D胶囊网络来获取空谱特征之间的关联. 最后将3个分支得到的结果融合在一起, 采用局部连接并通过间隔损失函数得到分类结果. 实验结果表明, 该方法在开源的高光谱遥感数据集上具有很好的泛化性能, 且相比其他先进的高光谱遥感图像分类方法具有较高的分类精度.     

基于胶囊网络的动态路由研究与改进

胶囊网络具有弥补卷积神经网络空间信息丢失和旋转不变性差的优点,已被广泛应用于图像分类、目标检测以及文本检测等多个领域,但胶囊网络仍存在参数量大且分类精确度低的问题。提出基于点乘注意力图卷积路由的胶囊网络分类模型。在同级胶囊之间构建连通图,通过注意力机制获取胶囊间的依赖关系,利用影响因素大的预测胶囊进行特征聚类,改变使用迭代更新高低胶囊层间耦合系数的动态路由方式,降低参数量并提升模型的分类准确率。此外,在特征提取部分加入残差网络提取更高维的特征以优化胶囊质量,在提升模型特征表达能力的同时可抑制模型过大。实验结果表明,在参数量小于多个胶囊网络变体的情况下,该模型在MNIST、FashionMNIST、CIFAR10和SVHN数据集上的精度分别达到99.74%、95.02%、91.78%和95.65%,均高于MS-CapsNet、TextCaps、AR CapsNet、FSc-CapsNet、DA-CapsNet等对比模型。     

基于测度递进的模糊认知图及其应用

模糊认知图(fuzzy cognitive map,FCM)具有简单的推理机制和较强的因果关系表达能力,已得到广泛关注和研究,但FCM对专家经验知识具有较强的依赖性,故而限制了在复杂动态系统建模中的应用.基于此,提出了一种测度递进策略的模糊认知图学习方法.利用线性回归算法,学习得到模糊认知图权重矩阵粗模型;将神经网络的权值调整算法应用于权重矩阵粗模型的细化过程,将该模糊认知图模型应用在股票市场,实现对股票日均值的预测.实验结果表明了该建模方式是有效的.     

融合文本图卷积和集成学习的文本分类方法

为了提高文本分类的准确率并解决文本图卷积神经网络对节点特征利用不足的问题,提出了一种新的文本分类模型,其内在融合了文本图卷积和Stacking集成学习方法的优点。该模型首先通过文本图卷积神经网络学习文档和词的全局表达以及文档的语法结构信息,再通过集成学习对文本图卷积提取的特征进行二次学习,以弥补文本图卷积节点特征利用不足的问题,提升单标签文本分类的准确率以及整个模型泛化能力。为了降低集成学习的时间消耗,移除了集成学习中的k折交叉验证机制,融合算法实现了文本图卷积和Stacking集成学习方法的关联。在R8、R52、MR、Ohsumed、20NG等数据集上的分类效果相对于传统的分类模型分别提升了1.5%、2.5%、11%、12%、7%以上,该方法在同领域的分类算法比较中表现优异。     

一种深度小波过程神经网络及在时变信号分类中的应用

针对多通道非线性时变信号分类问题,提出一种基于稀疏自编码器的深度小波过程神经网络(SAE-DWPNN)。通过构建一种多输入/多输出的小波过程神经网络(WPNN),实现对时变信号的多尺度分解和对过程分布特征的初步提取;通过在WPNN隐层之后叠加一个SAE深度网络,对所提取的信号特征进行高层次的综合和表示,并基于softmax分类器实现对时变信号的分类。SAE-DWPNN将现有过程神经网络扩展为深度结构,同时将深度SAE网络在信息处理机制上扩展到时间域,扩展了两类模型的信息处理能力。该网络可提取多通道时序信号的分布特征及其结构特征,并保持样本特征的多样性,提高了对信号时频特性和结构特征的分析能力。文中分析了SAE-DWPNN的性质,给出了综合训练算法。以基于12导联ECG信号的7种心血管疾病分类诊断为例,实验结果验证了模型和算法的有效性。     

融合多重注意力机制的卷积神经网络文本分类设计与实现

针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类.在池化层采用平均池化和最大池化相结合的方法,从而减少特征图的尺寸,避免过拟合现象的发生,最后使用softmax函数进行分类.本文在三个不同的中英文数据集上进行实验,同时设计注意力机制重要性对比实验,分析自注意力机制与CNN结合对文本分类效果提升的重要性,结果表明该分类模型有效地提高了分类的准确性.     

基于时序二维化和卷积特征融合的表面肌电信号分类方法

针对传统模式识别方法在表面肌电信号(sEMG)分类时容易忽略非线性、时序性等特征的问题,文中提出基于时序二维化和卷积特征融合的分类方法.通过格拉姆角场转换实现时序二维化,保留sEMG原始时间序列的时间依赖性和相关性.为了在突出局部信息的同时充分保留细节信息,引入胶囊网络与卷积神经网络共同提取特征,并进行特征融合,实现不同条件下的手势识别.对比多种分类方法的实验表明,文中方法可以有效增强电极偏移情况和面向新对象时手部动作的整体识别水平,具有较强的鲁棒性.     

基于BG-CN联合网络的文本情感分析

针对传统卷积神经网络只提取局部短语特征而忽略了上下文的句子特征,影响了文本分类效果这一问题,提出一种基于BiGRU网络和胶囊网络的文本情感分析模型.采用联合神经网络,利用Glove模型预训练词向量,将其输入到双向门限循环单元(BiGRU)模型进行序列化学习得到上下文特征;添加胶囊网络(capsule network)模...