面向交通流量预测的多头注意力时空卷积图网络模型

为了充分获取交通流量数据中隐藏的复杂动态时空相关性,提高交通流量预测精度,提出一种多头注意力时空卷积图网络模型MASCGN。首先,采用多头注意力机制为路网中的交通传感器节点自动分配注意力权重,实现对不同邻居节点的权值自适应匹配,充分获取空间相关性;其次,采用带有门控和注意力机制的时空卷积网络充分提取时间序列相关性,并使用残差块结构实现时空卷积层之间的连接,使得模型更具有泛化能力;最后,分别提取周相关、日相关、邻近时间的序列数据,输入三个并行的时空组件以挖掘周、日、邻近三个时间窗口间的时间周期相关性,并通过全连接层获取最终的交通流量预测结果。利用高速公路交通数据集PEMSO4、PEMSO8进行了15 min、30 min、45 min和60 min的交通流量预测实验。实验结果表明MASCGN模型与现有基线模型相比,在未来短期和长期的交通流量预测任务上都具有更优的建模能力。     

面向部件分割的PointNet注意力加权特征聚合网络

为解决PointNet最大池化损失次要特征导致部件分割精度降低的问题,提出一种面向部件分割的PointNet注意力加权特征聚合网络,能够充分利用点云的不同特征进行部件分割。首先利用多层感知机提取点云的空间几何特征,将特征乘以共享权重矩阵,以获取每个点的每一个特征的注意力分数;接着把归一化的分数作为权重乘以对应的全局特征并求和,得到聚合的全局特征;最后使用多层感知机将聚合的特征映射到部件分割结果。实验结果表明,相比于传统PointNet方法,该方法提升了部件分割的总平均交并比,同时在网络鲁棒性和计算复杂度方面具有显著优势。该方法有效优化了PointNet。     

区分交互意图的图卷积协同过滤算法

近几年提出了一些基于图卷积网络的协同过滤推荐模型,然而大部分模型将邻域权重视为常量且不区分用户和物品间的交互关系,无法获取令用户满意的推荐列表。因此,为了得到用户和物品更准确的嵌入表示,提出一种区分交互意图的图卷积协同过滤推荐算法MiGCCF(multi-intention graph convolutional collaborative filtering)。该算法将交互关系进行分解,细粒度分析用户与物品间的交互意图,并引入注意力机制,在消息传播过程中赋予邻域可学习的注意力权重,挖掘用户对于不同交互物品的喜爱度。在Gowalla与Amazon-book上的实验表明,该算法相比于基准算法,在两个数据集上的HR@50和NDCG@50指标分别提高了12.5%和8.5%,具有更好的性能表现。     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

融合位置信息的观点三元组情感分析模型

方面级情感分析主要有两大类任务：a)抽取任务,旨在抽取出语句中的方面词及观点词;b)分类任务,旨在分析情感极性。在这两种复合任务的基础上,针对目前方面词与观点词耦合性较差,导致分类任务出错这一问题,提出了融合位置信息的观点三元组情感分析模型OTPM。该模型利用双向长短时记忆网络获得文本表示,接着利用自注意力机制来增强方面词与情感词之间的关联性,之后在多任务框架中进行观点三元组的抽取,同时将抽取出的表示与位置信息进行加权融合,最后利用biaffine评分器分析加权后的方面词与观点词之间的情感依赖关系,并利用stop-on-non-I算法对三元组进行解码输出三元组。在Lap14、Rest14、Rest15、Rest16四个数据集上进行大量实验,结果表明所提模型优于一系列基线模型。     

基于通道注意力机制和U-net的医学图像分割方法

随着人工智能和医学大数据的发展,基于深度学习的医学图像分割技术因具有重要的应用价值和前景,已经成为目前的研究热点.为了增强特征图的语义信息,在U-net网络的基础上引入通道注意力机制,对U-net生成的特征逐通道进行压缩,将压缩后的特征逐通道计算权重,然后将该权重与原始特征相乘得出最终的特征.通过在两个不同器官的医学图像数据集上进行实验,Dice系数相较于原始U-net网络分别提高了2.7％和1.8％,验证了该方法的可行性和有效性.     

LFSCA-UNet：基于空间与通道注意力机制的肝纤维化区域分割网络

目的 肝纤维化是众多慢性肝脏疾病的常见表现,如不及时治疗可发展为肝硬化甚至引发肝癌。肝纤维化的准确评估对临床治疗和预后评估等至关重要。目前,肝纤维化的诊断通过肝穿活检判断,有创且有并发症危险。为此,基于影像学的无创诊断方法越来越受到关注。本文提出一种基于通道注意力与空间注意力机制改进的用于肝纤维化区域的自动化分割U-Net （liver fibrosis region segmentation network based on spatial and channel attention mechanisms,LFSCA-UNet）。方法 依据Attention U-Net的改进方式,围绕U-Net的跳跃连接结构进行基于注意力的改进,在AG （attention gate）的基础上,加入以ECA （efficient channel attention）模块为实现方式的通道注意力机制,依据加入ECA的位置,LFSCA-UNet分为A、B、C共3个子型。结果 在肝数据集上与其他实验网络进行评估对比,本文提出的LFSCA-UNet网络结构平均Dice系数达到了93.33%,相比原始U-Net的Dice系数提高了0.539 6%。结论 本文方法将空间注意力机制与通道注意力机制进行结合,有效提高了肝纤维化区域的分割精度,对空间注意力模块使用通道注意力模块优化输入和输出,增加了网络的稳定性,提升了网络的整体效果。     

3D多尺度深度卷积神经网络肺结节检测

目的 肺结节是肺癌的早期存在形式。低剂量CT（computed tomogragphy）扫描作为肺癌筛查的重要检查手段,已经大规模应用于健康体检,但巨大的CT数据带来了大量工作,随着人工智能技术的快速发展,基于深度学习的计算机辅助肺结节检测引起了关注。由于肺结节尺寸差别较大,在多个尺度上表示特征对结节检测任务至关重要。针对结节尺寸差别较大导致的结节检测困难问题,提出一种基于深度卷积神经网络的胸部CT序列图像3D多尺度肺结节检测方法。方法 包括两阶段：1）尽可能提高敏感度的结节初检网络;2）尽可能减少假阳性结节数量的假阳性降低网络。在结节初检网络中,以组合了压缩激励单元的Res2Net网络为骨干结构,使同一层卷积具有多种感受野,提取肺结节的多尺度特征信息,并使用引入了上下文增强模块和空间注意力模块的区域推荐网络结构,确定候选区域;在由Res2Net网络模块和压缩激励单元组成的假阳性降低网络中对候选结节进一步分类,以降低假阳性,获得最终结果。结果 在公共数据集LUNA16（lung nodule analysis 16）上进行实验,实验结果表明,对于结节初检网络阶段,当平均每例假阳性个数为22时,敏感度可达到0.983,相比基准ResNet + FPN（feature pyramid network）方法,平均敏感度和最高敏感度分别提高了2.6%和0.8%;对于整个3D多尺度肺结节检测网络,当平均每例假阳性个数为1时,敏感度为0.924。结论 与现有主流方案相比,该检测方法不但提高了肺结节检测的敏感度,还有效地控制了假阳性,取得了更优的性能。     

基于决策场理论的公交出行多阶段动态决策

针对城市公交出行决策问题,采用改进决策场模型从心理微观偏好进化的角度对两阶段出行决策行为进行了研究.提取了不同公交方式的同质属性构建属性矩阵;结合出行者个体特征和交通属性状态的波动构建注意力权重矩阵,同时优化了注意力转移概率的计算方法.通过问卷调查与计算机仿真相结合的方式对偏好进化过程进行分析,结果显示:出行者存在偏好震荡现象,且在短时思考时间内更加明显;在出行过程中进行决策时,换乘行为的触发需要更多的偏好进化时间;同一时刻下,个人对不同的交通方式的属性注意力是独立分布的;反馈矩阵中的记忆效应和方案竞争性对决策的形成时间有显著影响,强记忆效应和弱竞争性下的偏好进化速度更快.决策场模型可对公交出行动态决策行为进行描述.     

基于AM-LSTM的风电场内多点位风电功率预测

为了提高大型风电场的风电功率预测的准确性,构建基于多点位的注意力机制(AM)和长短期记忆神经网络(LSTM)混合预测模型.对于风电功率影响因素特征提取模块,利用属性简约方法,在保证不影响原有的分类效果上,去掉多余属性,大幅度提高预测效率.对于风电功率预测模块,首先,利用15分钟数据间隔,不同高度的风速等作为模型输入,然后通过LSTM处理输入的时间序列与风电功率之间的非线性关系,接下来通过AM进一步优化LSTM的权重,最终得到风电功率的预测结果.通过国外某电场数据的验证:将数据集按照季度分开,各个模型预测结果最为优的是第四季度,对于基于多点位的注意力机制和长短期记忆混合预测模型的均方根误差和平均绝对误差分别比前馈神经网络预测模型降低48.8％和17.4％,比单一长短期记忆神经网络预测模型降低37.2％和7.8％.