融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明, MSTTF模型与传统时空Transformer相比, MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型, MAE平均降低了1.24%,能取得更好的预测效果.     

融合一致性社交关系的协同相似嵌入推荐模型

为了解决推荐系统中新用户评级预测冷启动和数据稀疏等问题,提出了一种融合一致性社交关系的协同相似嵌入推荐模型(collaborative similarity embedding recommendation model incorporating consistent social relationships, CSECSR)。首先,模型通过预热层对图形嵌入进行等权重传播和聚合;其次,采样具有一致性的社交关系邻居,并利用关系注意力机制对这些关系进行聚合;最后,利用用户和项目最终嵌入值的内积进行评分预测,设计具有自适应裕度的BPR损失和相似性损失的损失函数对模型进行优化。在Ciao、Epinions和FilmTrust数据集上与其他代表性的推荐模型进行了对比,实验结果表明所提推荐模型预测误差明显优于其他模型,证明了所提推荐模型的有效性。     

基于哈希自注意力端到端网络的三维模型草图检索

为了提高草图和三维模型视图嵌入特征的聚类性,提出一种结合自注意力和哈希正则化约束的特征提取算法.首先将三维模型渲染得到二维视图集,并通过边缘检测在草图和视图之间建立统一的特征描述空间;然后在共享权重网络中嵌入自注意力层,通过结构信息自相关性编码提高草图和视图的聚类性,避免局部差异性对结果的影响;最后对特征进行哈希编码,...     

基于注意力机制的场感知点击率预测模型

点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络（FAENN）模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。     

基于混合深度神经网络的就业推荐方法

针对就业推荐中交互数据极其稀疏的问题,提出一个基于多头自注意力机制和特征交叉网络的混合深度神经网络模型.对学生行为序列属性进行定义,将学生基本属性、学生行为序列属性、职业基本属性、职业描述属性的独立嵌入作为模型输入;使用多头自注意力机制挖掘学生行为序列属性与职业描述属性中的序列特征;分别使用特征交叉网络和深度神经网络实...     

基于图嵌入与支持向量机的社交网络节点分类方法

针对无属性社交网络的节点分类问题,提出了一种基于图嵌入与支持向量机,利用社交网络中节点之间关系特征,对节点进行分类的方法.首先,通过DeepWalk、LINE等多种图嵌入模型挖掘节点隐含关系特征的同时,将高维的社交网络数据转换为低维embedding向量.其次,提取节点度、聚集系数、PageRank值等特征信息,组合构成节点的特征向量.然后,利用支持向量机构建节点分类预测模型对节点进行分类预测.最后,在三个公开的社交网络数据集上实验,与对比方法相比,提出的方法在社交网络节点分类任务中能取得更好的分类效果.     

融合用户社交关系的自适应图卷积推荐算法

为了缓解推荐系统中不同用户社交空间与兴趣空间的内在信息差异和忽视高阶邻居的问题,提出了一种融合用户社交关系的自适应图卷积推荐算法（adaptive graph convolutional recommendation algorithm integrating user social relationships,AGCRSR）。首先,模型在嵌入层使用映射矩阵将初始特征向量转换为自适应嵌入;其次,引入注意力机制聚合不同方面的用户嵌入,通过图卷积网络来线性学习用户和项目的潜在表示;最后,通过自适应模块聚合用户表示并利用内积函数预测用户对项目的最终推荐结果。在数据集LastFM和Ciao上与其他基线算法进行了对比实验,实验结果表明AGCRSR的推荐效果较其他算法有显著提升。     

融合多重注意力机制的卷积神经网络文本分类设计与实现

针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类.在池化层采用平均池化和最大池化相结合的方法,从而减少特征图的尺寸,避免过拟合现象的发生,最后使用softmax函数进行分类.本文在三个不同的中英文数据集上进行实验,同时设计注意力机制重要性对比实验,分析自注意力机制与CNN结合对文本分类效果提升的重要性,结果表明该分类模型有效地提高了分类的准确性.     

融合实体特征及多种类注意力机制的领域关系抽取模型

基于远程监督的关系抽取方法可以明显地减少人工标注数据集的成本,已经被广泛应用于领域知识图谱的构建任务中.然而,现有的远程监督关系抽取方法领域针对性不强,同时也忽略了对领域实体特征信息的利用.为了解决上述问题,提出了一种融合实体特征和多种类注意力机制的关系抽取模型PCNN-EFMA.模型采用远程监督和多实例技术,不再受限于人工标注.同时,为了减少远程监督中噪声的影响,模型使用了句子注意力和包间注意力这两类注意力,并在词嵌入层和句子注意力中融合实体特征信息,增强了模型的特征选择能力.实验表明,该模型在领域数据集上的PR曲线更好,并在P@N上的平均准确率优于PCNN-ATT模型.     

联合注意力与卷积网络的知识超图链接预测

知识超图（KHG）是超图结构的知识图谱。知识超图链接预测旨在通过已知实体和关系预测缺失的关系。然而,现有最优的基于嵌入模型的知识超图链接预测方法 HypE虽然实体嵌入时考虑了位置信息,但关系嵌入时忽略了不同实体的贡献有差异,且实体嵌入蕴含信息不够充足。关系嵌入考虑实体贡献度并补足实体嵌入的信息含量,可以较大地提升模型的预测能力。因此,提出了一种基于注意力与卷积网络的链接预测方法（LPACN）,采用改进的注意力机制将实体的注意力信息融入到关系嵌入中;并且将同元组内相邻实体个数信息融入卷积网络,进一步补足了实体卷积向量的信息含量。针对LPACN的梯度消失问题,将改进的残差网络（ResidualNet）融入LPACN,并引入多层感知器（MLP）提升了模型的非线性学习能力,得到LPACN的改进算法LPACN+。真实数据集上的大量实验验证了LPACN的预测性能均优于Baseline方法。     

基于自注意力机制的局部与全局特征融合的评分预测算法

为了完全挖掘异质信息网络中节点的特征并且更好地融合这些特征,提高推荐算法的性能,提出一种基于自注意力机制的局部与全局特征融合的评分预测算法（rating prediction algorithm based on self-attention mechanism and fusion of local & global features,AMFL&GRec）。首先基于LeaderRank算法提取目标节点的全局序列,基于元路径带偏置的随机游走算法提取节点的局部序列,通过skip-gram模型分别学习节点的全局特征与局部特征;通过自注意力机制学习目标节点对局部与全局特征的偏好,从而得到在单一元路径下节点的特征表示;再通过自注意力机制融合不同元路径下同一节点的表示,从而得到节点在不同元路径下的最终的特征表示;最后基于多层感知器实现评分预测任务。在两个真实数据集进行了大量实验,实验结果验证了AMFL&GRec算法不仅能够捕获具有密集连通节点的微观（局部）结构,而且还能够捕获该节点在网络中的全局结构,从而使其得到的节点特征得以体现节点的整体（局部+全局）特征。同时,实验结果也证明了AMFL&GRec算法评分预测性能优于对比算法,从而证明利用自注意力机制考虑异质信息网络中节点对于局部、全局特征以及元路径的偏好能够提高评分预测的准确性。     

基于时空融合图的共享单车需求预测系统

作为一种新的城市公共交通方式,共享单车的出现给人们的日常出行带来了极大的便利性;但由于其使用的过程中存在动态不均衡的性质,用户常会面临无车可借和无桩可还的现象,因此需要一个精确的需求预测模型,来解决共享单车的调度问题;为此提出一种新的基于时空融合图的注意力网络模型,该模型将不同时间片的相同车站节点进行连接,从而形成一张大的时空融合图;得益于时空融合图下的自注意力机制,模型在时间相关性和空间相关性之外,还可以捕获局部时空相关性和全局时空相关性;在Divvy数据集上的实验表明,该模型的预测精度优于以往的时空数据预测模型,预测结果与真实结果曲线相吻合,可为实际中共享单车需求预测系统提供有效参考。     

片段抽取型机器阅读理解算法研究

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.     

基于动态偏好机制的学生群体演化合作研究

社交网络具有随机性和复杂性的特点,针对大学生群体中社交关系的异质性以及动态变化情况,构建博弈模型并设计动态偏好机制用于模拟和促进学生在交互网络中的合作行为。在该机制中,首先构建了加权网络用于描述学生交互网络的异质性;然后通过学生动态的交互关系,模拟学生的社交偏好。仿真结果表明,该机制能够有效促进合作者密度。为了进一步验证该机制在学生群体交互中的有效性,通过线下社交网络收集系统收集学生群体的交互行为信息并构建交互网络,通过数据分析发现学生群体在动态偏好机制下更愿意与其他个体进行交流。研究结果对学生合作行为演化具有参考作用。     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高,还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型(MB-LGCA)。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

TCN-KT：个人基础与遗忘融合的时间卷积知识追踪模型

智慧教育的热门领域知识追踪（KT）被视为序列建模任务,其主要关注点和解决方式都集中在循环神经网络（RNN）上。但RNN通常会面临梯度消失或者梯度爆炸等问题,且训练时间和设备要求都过于严苛,针对以上问题,提出融合学习者个人先验基础和遗忘因素的时间卷积知识追踪模型（TCN-KT）。首先利用RNN模型计算得到学生个人先验基础,然后使用梯度稳定、内存占用率更低的时间卷积网络（TCN）预测学生下一题正误的初始概率,最后融合基于学生基础的遗忘因素得到最终结果。实验验证,TCN-KT预测性能最佳并减少了计算时间。     

一种基于图注意力的双分支社会关系识别方法

从图像中挖掘人物间的社会关系在刑侦、隐私防护等领域有重要的作用。现有的图建模方法通过创建人际关系图或构建知识图谱来学习人物关系,取得了良好的效果。但基于图卷积神经网络（GCN）的方法一定程度上忽略了不同特征对特定关系的不同程度的重要性。针对上述问题,提出了一种基于图注意力的双分支社会关系识别模型（GAT-DBSR）,第一个分支提取人物区域以及图像全局特征作为节点,核心是通过图注意力网络和门控机制去更新这些节点以学习人物关系的特征表示。第二个分支通过卷积神经网络提取场景特征来增强对人物关系的识别。最终对两个分支的特征进行融合并分类得到所有的社会关系。该模型在PISC数据集的细粒度关系识别任务上的mAP达到了74.4%,相比基线模型提高了1.2%。在PIPA数据集上的关系识别准确率也有一定的提升。实验结果表明了该模型具有更优越的效果。     

Social-path embedding-based transformer for graduation development prediction

As the education of students attracts more and more attention, the task of graduation development prediction has gradually become a hot topic in academia and industry. The task of graduation development prediction aims to predict the employment category of students in advance via academic achievement data, which can help administrators understand students’ learning status and set up a reasonable learning plan. However, existing research ignores the potential impact of social relationships on students’ graduation development choices. To fully explore social relationships among students, we propose a Social-path Embedding-based Transformer Neural Network (SPE-TNN) for the task of graduation development prediction in this paper. Specifically, SPE-TNN is divided into the Social-path selection layer, the Social-path embedding layer, the Transformer layer, and the Multi-layer projection layer. Firstly, the Social-path selection layer is designed to find social relationships that impact graduation development and embed them into the student’s performance features through the Social-path embedding layer. Secondly, the Transformer layer is adopted to balance the weights of the students’ features. Finally, the Multi-layer projection layer is used to achieve the student graduation development prediction. Experimental results on the real-world datasets show that SPE-TNN outperforms the existing popular approaches.

     

融合状态关系的知识追踪模型

知识追踪模型建模学习者对每个知识点的状态推断其知识总状态,预测其未来的学习表现。但现有研究在建模知识总状态时,没有融合知识点状态之间的关系,影响了最终的预测效果。针对这一问题,提出一种融合知识点状态关系的知识追踪模型。首先向量化表示数据集中的知识点,构建知识点表示图;其次将知识点表示图扩散至潜式空间以反映其内在结构和本质信息;融合当前时刻的习题与知识点作为引导向量,从知识点表示图的潜式表示中提取知识点状态图;以知识点状态图为基础,推导知识总状态,预测当前习题的表现。通过在三个数据集上对比四个相关模型的实验证明,提出的模型在AUC、ACC和表示质量方面均取得了一定的优势。其中,在 ASSISTments2009数据集上表现最佳,与对比模型中的最优值和最低值比较,AUC分别提升了1.17%、10.57%,ACC分别提升了3.23%、12.17%,表示质量分别提升了1.95%、10.40%。进一步地,可视化地展示了知识点状态及其关系的内部推导过程,以及它们与真实答题结果之间的对应关系,说明模型具备一定的可解释性。同时,将该模型应用于三门课程以预测学生的表现,与相关模型对比取得了更好的结果,说明模型具备一定的实用性。     

LBSN协作式个性化链接预测算法

在基于位置的社交网络中用户链接与位置链接之间具有一定的内在关联,而且不同的用户在社交网络中的表现也存在差异,因此对于以上问题提出一种协作式个性化链接预测算法。针对用户的个性化特征,采用核密度估计方式对用户在时间和空间维度建模,基于兴趣组对用户进行重叠社团划分,并通过社团、好友以及签到关系进行个性化用户链接预测;基于个性化用户链接预测结果,利用从社团重启的随机游走预测用户的个性化位置链接;协作式个性化链接预测算法通过用户链接预测和位置链接预测的迭代使得两者性能相互提升。实验结果表明,所提算法相比于现有算法具有更好的预测性能。