一种结构自适应的径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该模型中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,分别作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

基于改进直方图映射和均值移位目标跟踪算法

提出了一种改进直方图映射和均值移位结合的目标跟踪算法，根据目标模型各成分直方图比例系数建立索引表，索引号为颜色值，索引内容为颜色对应的归一化目标模型直方图，在索引表中查询输入图像颜色值构建反映目标出现概率灰度图；均值移位算法在生成灰度图中快速定位目标位置。对比实验结果表明，改进的直方图映射算法从根本上抑止模型背景干扰，均值移位算法准确定位目标；系统能实时准确跟踪运动目标。     

一种结构自适应径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该网络中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

融合知识图谱和图注意力网络的引文推荐算法

针对传统协同过滤（CF）中的数据稀疏和冷启动问题，以及元路径、随机游走算法没有充分利用节点信息的问题，提出融合知识图谱和图注意力网络的引文推荐算法（C-KGAT）。首先，使用TransR算法将知识图谱信息映射为低维稠密向量，以获取节点的嵌入特征表示；其次，利用图注意力网络通过多通道融合机制聚合邻居节点信息以丰富目标节点的语义，并捕获节点间高阶连通性；接着，在不影响网络的深度或宽度的情况下，引入动态卷积层动态地聚合邻居节点信息以提升模型的表达能力；最后，通过预测层计算用户和引文的交互概率。在公开数据集AAN(ACL Anthology Network)和计算机科学文献库（DBLP）上的实验结果表明，所提算法的效果优于所有对比模型，所提算法的MRR(Mean Reciprocal Rank)相较于次优模型NNSelect分别提升了6.0和3.4个百分点，所提算法的精确率和召回率指标也有不同程度的提升，验证了算法的有效性。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

自监督深度残差函数映射网络的3维模型对应关系计算

目的 针对传统非刚性3维模型的对应关系计算方法需要模型间真实对应关系监督的缺点,提出一种自监督深度残差函数映射网络（self-supervised deep residual functional maps network,SSDRFMN）。方法 首先将局部坐标系与直方图结合以计算3维模型的特征描述符,即方向直方图签名（signature of histograms of orientations,SHOT）描述符;其次将源模型与目标模型的SHOT描述符输入SSDRFMN,利用深度函数映射（deep functional maps,DFM）层计算两个模型间的函数映射矩阵,并通过模糊对应层将函数映射关系转换为点到点的对应关系;最后利用自监督损失函数计算模型间的测地距离误差,对计算出的对应关系进行评估。结果 实验结果表明,在MPI-FAUST数据集上,本文算法相比于有监督的深度函数映射（supervised deep functional maps,SDFM）算法,人体模型对应关系的测地误差减小了1.45;相比于频谱上采样（spectral upsampling,SU）算法减小了1.67。在TOSCA数据集上,本文算法相比于SDFM算法,狗、猫和狼等模型的对应关系的测地误差分别减小了3.13、0.98和1.89;相比于SU算法分别减小了2.81、2.22和1.11,并有效克服了已有深度函数映射方法需要模型间的真实对应关系来监督的缺点,使得该方法可以适用于不同的数据集,可扩展性大幅增强。结论 本文通过自监督深度残差函数映射网络训练模型的方向直方图签名描述符,提升了模型对应关系的准确率。本文方法可以适应于不同的数据集,相比传统方法,普适性较好。     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。     

小波卷积增强的对比学习推荐算法

推荐算法是一种用于解决信息过载问题的方法,序列化推荐通过建模用户购买的物品序列预测下一个物品。现有的序列化推荐算法通常忽视用户行为序列中的噪声、跨序列信息和物品间的组合依赖等问题,导致推荐性能受限。为此,提出一种小波卷积增强的对比学习推荐算法WCLR。利用数据的内在相关性获得自监督信号,并根据预训练的方法来增强数据表示。给出3个辅助的自监督学习任务,利用信息最大化原理学习属性、物品、序列与邻居序列的相关性,通过互信息最大化提供一种统一的方式描述不同类型数据间的相关性。由于小波卷积网络能提取物品的组合依赖,降低用户交互序列中的噪声,设计一个多核小波卷积模块,通过多尺寸用户序列多方面捕获用户的潜在兴趣,将自监督学习和小波卷积融入到推荐算法模型中,降低序列数据稀疏性和噪声,提高推荐精度。在LastFM、Beauty和Toys 3个数据集上的实验结果表明,与8个序列化推荐模型相比,WCLR算法的命中率、归一化折损累计增益和平均倒数秩分别提升了3.30%、1.47%和2.17%。     

基于BSCWEformer的退火炉内分组式辊速序列预测

退火炉内带钢的长度受到温度、张力等因素的影响而变化, 导致辊的转速改变以及焊缝位置的不确定, 从而威胁生产安全. 为了准确预测辊的转速以计算焊缝的实时位置, 本文提出基于带状稀疏柯西自注意力的BSCWEformer (banded sparse Cauchy weight enhanced Transformer)模型. 模型采用带状稀疏的、使用基于相对位置计算的柯西分布权重值增强的自注意力结构, 在提高相邻输入序列的重要性的同时, 将自注意力的复杂度由二次方降低为线性. 通过实际生产数据进行实验, 并与LogSparse Transformer、Transformer、RNMT+等模型进行对比, 得出本文所提出的BSCWEformer模型在退火炉内分组式辊速序列预测任务上具有较高的预测精度.     

基于多层注意力机制—柔性AC算法的机器人路径规划

针对行动者—评论家（AC）算法存在的经验学习样本维度高、策略梯度模型鲁棒性低等问题,依据多代理系统的信息协作优势,构建注意力机制网络并作为代理体,引入多层并行注意力机制网络模型对AC算法进行改进,提出一种基于多层并行注意力机制的柔性AC算法。将其用于解决动态未知环境下的机器人路径规划问题,可增强行动者的策略梯度鲁棒性并降低评论家的回归误差,实现机器人路径规划最优方案的快速收敛。实验结果表明,该算法有效克服机器人路径规划的局部最优,具有计算速度快、稳定收敛的优点。     

基于条件卷积与极化自注意力的单目深度与位姿估计

基于运动恢复结构与视图合成的自监督范式，引入条件卷积与极化自注意力，提出新的单目深度与位姿估计模型。条件卷积对不同输入数据进行多组动态的卷积权重赋值，所有权重在经过加权整合后共享一次卷积操作，在不显著增加计算量的情况下实现模型容量的提升。图像信息完整性对深度估计任务的性能有极大影响，极化自注意力通过极化滤波使数据在通道或空间维度上保持高分辨率，防止图像的细粒度信息或结构信息丢失；同时压缩与通道或空间正交的维度，减小计算量，并通过非线性函数对压缩过程中损失的特征强度范围进行增强与动态映射。自注意力机制可以实现数据在各维度上的长距离建模。在KITTI数据集上进行实验，证明了所提出模型在自监督单目深度与位姿估计任务中有优异的性能表现。     

基于近端凸差分方法的多层卷积变换学习算法

卷积变换学习(CTL)结合了无监督学习与卷积神经网络的优点,通过无监督的方式训练卷积核,是一种新兴的稀疏表示方法.现有的单层CTL模型仅通过一层稀疏编码,不仅难以有效提取输入信号的深层语义信息,并且,基于l₀范数的CTL模型得到的稀疏解虽然稀疏度强,但它的求解是一个NP-hard难题,而基于l₁范数的CTL模型则存在稀疏度不足和参数过度惩罚的问题.针对以上问题,本文提出了一种基于log正则化函数的多层CTL模型(CTLlog):为了提取输入信号更具鉴别性与丰富语义的稀疏特征,对单层的CTL模型进行多层拓展,同时使用稀疏度强,偏差性小的非凸log正则化函数作为CTL模型的稀疏约束方法.通过使用近端凸差分方法对模型的非凸优化问题进行优化求解,开发出基于近端凸差分方法的多层卷积变换学习算法.实验表明,本文提出的基于近端凸差分方法的多层卷积变换学习算法所使用的log正则化稀疏约束效果优于现有的CTL模型,且多层CTL-log的特征提取效果相较于单层取得了提升,在支持向量机(SVM)分类器的分类精度提升了2个百分点左右.     

基于Bi-LSTM和自注意力的恶意代码检测方法

针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法。采用Bi-LSTM自动学习恶意代码样本字节流序列,输出各时间步的隐状态;利用自注意力机制计算各时间步隐状态的线性加权和作为序列的深层特征;通过全连接神经网络层和Softmax层输出深层特征的预测概率。实验结果表明该方法切实可行,相较于次优结果,准确率提高了12.32%,误报率降低了66.42%。     

一种基于时空稀疏注意力的时空图挖掘算法

当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构，这些静态的图结构往往依赖于主观先验知识构建，并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务，提出一种基于时空稀疏注意力的时空图挖掘算法（STSAN）。构造空间稀疏注意力层，通过对每个时间片上节点间的关系进行度量生成稀疏图，并在各个稀疏图结构上使用注意力机制完成节点空间（纵向）特征的提取。时间稀疏注意力层通过类似的方式完成节点时序（横向）特征的提取。在此基础上，将空间稀疏注意力层和时间稀疏注意力层堆叠为时空稀疏Transformer模块，完成时空依赖关系建模。实验结果表明，与DCRNN、STGCN等方法相比，该算法在2个公开的交通数据集上能够获得2.65%～16.35%的性能提升，将所提出的空间稀疏注意力层直接用于替换现有算法的空间特征模块，能够在原算法基础上获得平均3.18%～9.14%的性能提升。     

基于动态结构模型的两轮机器人平衡控制研究

针对无监督学习网络模型对于特定的映射空间,期望产生特定的影响具有一定的局限性,提出了有监督的可生长结构的动态结构模型;该模型将动态结构模型与径向基函数网络结构有机结合,采用的是需要时生长的自组织生长算法,通过插入新的神经元、改变竞争层神经元间的连接以及调整层与层的连接权值,达到模型输出的精度要求,有效地解决了在输入特定的网络数据时,能产生期望的输出;该模型应用于两轮平衡机器人的平衡控制,经过仿真实验表明,该动态结构模型能够实现对两轮平衡机器人的平衡控制,且有一定的抗干扰性和实用价值。     

智能车辆深度强化学习的模型迁移轨迹规划方法

针对智能驾驶车辆传统路径规划中出现车辆模型跟踪误差和过度依赖问题,提出一种基于深度强化学习的模型迁移的智能驾驶车辆轨迹规划方法.首先,提取真实环境的抽象模型,该模型利用深度确定性策略梯度(DDPG)和车辆动力学模型,共同训练逼近最优智能驾驶的强化学习模型;其次,通过模型迁移策略将实际场景问题迁移至虚拟抽象模型中,根据该环境中训练好的深度强化学习模型计算控制与轨迹序列;而后,根据真实环境中评价函数选择最优轨迹序列.实验结果表明,所提方法能够处理连续输入状态,并生成连续控制的转角控制序列,减少横向跟踪误差;同时通过模型迁移能够提高模型的泛化性能,减小过度依赖问题.     

基于稳态非线性模型和线性ARX模型组合的非线性预测控制

通过点集映射来表示非线性系统的稳态模型,用系统的稳态增益来修正具有外界输入的线性自回归（AutoRegressive with eXternal input, ARX）模型的动态增益,提出了一种基于稳态非线性模型和线性ARX模型组合的非线性预测控制算法．该算法用递归最小二乘法在线辨识系统的动态模型参数,用序列二次规划算法求解目标函数．最后通过对典型化工非线性对象pH中和过程的仿真对本算法进行了验证．结果表明,本算法比广义预测控制算法具有更好的设定值跟踪性能和抗干扰能力．     

自监督学习HOG预测辅助任务下的车位检测方法

针对智能车位管理系统中，光照变化、车位遮挡等因素导致车位预测的精度下降、有效性变差的问题，提出一种自监督学习方向梯度直方图（HOG）预测辅助任务下的车位检测方法。首先，设计预测图像遮挡部分HOG特征的自监督学习辅助任务，利用MobileViTBlock(light-weight, general-purpose, and Mobile-friendly Vision Transformer Block)综合图像全局信息，使模型更充分地学习图像的视觉表征，并提高模型的特征提取能力；其次，改进SE(Squeeze-and-Excitation)注意力机制，使模型在更低的计算开销上达到甚至高于原始SE注意力机制的效果；最后，将辅助任务训练的特征提取部分应用于下游的分类任务进行车位状态预测，在PKLot和CNRPark的混合数据集上进行实验。实验结果表明，所提模型在测试集上的准确率达到了97.49%，相较于RepVGG，遮挡预测准确率提高了5.46个百分点，与其他的车位检测算法相比进步较大。     

融合注意力机制的药用植物文本命名实体识别

药用植物文本的命名实体识别对中医药领域的信息抽取和知识图谱构建起着重要作用。针对药用植物属性文本存在长序列语义稀疏的问题,提出一种基于注意力机制的双向长短时记忆网络(BiLSTM)和条件随机场(CRF)模型相结合的疾病实体识别方法（BiLSTM+ATT-CRF,BAC）。首先对药用植物属性文本进行预处理和半自动化标注构建数据集,并进行预训练得到低维词向量;然后将这些低维词向量输入BiLSTM网络中,得到双向语义依赖的特征向量;Attention层把注意力集中到与当前输出特征高度相关的信息上;最后通过条件随机场（CRF）算法获取最优的标签序列并解码输出。实验结果表明,BAC方法针对药用植物属性文本的长序列语义稀疏问题,疾病命名实体识别效果较传统方法更优。利用BAC方法训练好的模型从1680条文本句子中识别疾病命名实体,共抽取出1422个疾病实体。与药用植物名称进行匹配,共抽取出4316个药用植物治疗疾病的三元组数据。