基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

改进Informer网络的风电功率短期预测

准确预测风电功率对于提高电力系统的效率和安全性具有重要意义, 而风能的间歇性和随机性特点导致风电功率难以准确预测. 因此, 提出一种改进Informer的风电功率预测模型PCI-Informer (PATCH-CNN-IRFFN-Informer). 将序列数据划分为子序列级补丁, 并进行特征提取和整合, 提高模型对序列数据的处理能力和效果; 采用多尺度因果卷积自注意力机制, 实现多尺度局部特征融合, 提高模型对局部信息的理解和建模能力; 引入反向残差前馈网络 (IRFFN), 增强模型对局部结构信息的提取和保留能力. 某风电场数据实验结果表明, 与主流预测模型相比, PCI-Informer模型在不同预测步长下均取得了更好的预测效果, 在MAE指标上相比Informer模型平均降低了11.1%, 有效提高了短期风电功率的预测精度.     

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题, 提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法. 首先提出了一个全局层注意力机制(global layer attention, GLA), 利用层注意力机制加权融合不同层级的全局特征, 建模低分辨率与高分辨率图像特征间的长期依赖关系. 同时, 设计了跨尺度局部注意力机制(cross-scale local attention, CSLA), 在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁, 并融合不同尺度的补丁特征, 以优化模型对图像细节信息的恢复能力. 最后, 提出一种局部信息感知损失函数来指导图像的重建过程, 进一步提高了重建图像的视觉质量和细节保留能力. 在UC-Merced数据集上的实验结果表明, 本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法, 并在视觉效果方面展现出更高的质量和更好的细节保留能力.     

改进YOLOv7的视频监控小目标检测

小目标检测作为目标检测中一项极具挑战性的项目, 广泛分布于日常生活中, 在视频监控场景中, 距离摄像头约20 m远处的行人人脸就可以被认为是小目标. 由于人脸可能相互遮挡并容易受到噪声和天气光照条件的影响, 现有的目标检测模型在这类小目标上的性能劣于中大型目标. 针对此类问题, 本文提出了改进后的YOLOv7模型, 添加了高分辨率检测头, 并基于GhostNetV2对骨干网络进行了改造; 同时基于BiFPN和SA注意力模块替换PANet结构, 增强多尺度特征融合能力; 结合Wasserstein距离改进了原来的CIoU损失函数, 降低了小目标对锚框位置偏移的敏感性. 本文在公开数据集VisDrone2019以及自制的视频监控数据集上进行了对比实验. 实验表明, 本文提出的改进方法mAP指标在VisDrone2019数据集上提高到了50.1%, 在自制视频监控数据集上高于现有方法1.6个百分点, 有效提高了小目标检测的能力, 并在GTX1080Ti上达到了较好的实时性.     

基于渐进式分解架构的风电时间序列预测

准确预测风电机组各项指标对准确管控机组和调控电网的供需有着重要意义. 预测指标任务可抽象为风电时间序列预测任务. 目前时间序列预测模型主要采用深度学习模型, 但是风电时间序列具有较强的波动性和随机性, 导致绝大部分模型不能较好挖掘风电时间序列的复杂演化特性. 为解决上述问题, 提出了一种基于渐进式分解架构的风电时间序列预测方法, 该方法首先应用神经网络池化分解方法将复杂的依赖关系简化并应用注意力机制学习长期趋势, 然后运用多变量融合捕捉模块增强了网络整体的多变量关联挖掘能力, 最后, 融合趋势项和周期项对风电时间序列做出准确的预测. 实验结果表明, 该方法在风电时间序列的多步预测中均方误差相比基线模型至高可提升24%, 在多尺度预测长度下表现出预测性能稳定提升的同时, 计算效率显著优于同类模型.     

跨模态融合的双注意力脑肿瘤分割算法

针对脑肿瘤多模态信息融合不充分以及肿瘤区域细节信息丢失等问题,提出了一种跨模态融合的双注意力脑肿瘤图像分割网络(CFDA-Net).在编码器-解码器的基础结构上,首先在编码器分支采用密集块与大内核注意力并行的新卷积块,可以使全局和局部信息有效融合且可以防止反向传播时梯度消失的问题;其次在编码器的第2、3和4层的左侧加入多模态深度融合模块,有效地利用不同模态间的互补信息;然后在解码器分支使用Shuffle Attention注意力将特征图分组处理后再聚合,其中分组的子特征一分为二地获取空间与通道的重要注意特征.最后使用二进制交叉熵(binary cross entropy, BCE)、Dice Loss与L2 Loss组成新的混合损失函数,缓解了脑肿瘤数据的类别不平衡问题,进一步提升分割性能.在BraTS2019脑肿瘤数据集上的实验结果表明,该模型在整体肿瘤区域、肿瘤核心区域和肿瘤增强区域的平均Dice系数值分别为0.887、0.892和0.815.与其他先进的分割方法 ADHDC-Net、SDS-MSA-Net等相比,该模型在肿瘤核心区域和增强区域具有更好的分割效果.     

基于YOLO的钢缆表面损坏检测

为了解决检测钢缆表面损坏时检测设备资源有限、时间过长等问题,将深度学习的先进技术以及卷积神经网络(CNN)应用于钢缆表面损坏检测.提出了一种基于YOLO的缺陷检测网络模型,将GhostNet融入主干网络,并基于ShuffleNet及注意力机制提出了新的特征提取模块(ShuffleC3),再对Head部分进行剪枝改进.实验结果表明,改进后网络相比基线YOLOv5s的平均精度提高1.1%,参数量和计算量分别降低了43.4%和31%,模型大小减少了42.3%.可以在降低网络计算成本的同时,保持较高的识别精确度,更好地满足了对钢缆材料表面损坏检测的要求.     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

跨层协同注意和通道分组注意的细粒度图像分类

细粒度图像分类的主要挑战在于类间的高度相似性和类内的差异性. 现有的研究多数基于深层的特征而忽略了浅层细节信息, 然而深层的语义特征由于多次卷积和池化操作往往会丢失大量的细节信息. 为了更好地整合浅层和深层的信息, 提出了基于跨层协同注意和通道分组注意的细粒度图像分类方法. 首先, 通过ResNet50加载预训练模型作为骨干网络提取特征, 由最后3个阶段提取的特征以3个分支的形式输出, 每一个分支的特征通过跨层的方式与其余两个分支的特征计算协同注意并交互融合, 其中最后一个阶段的特征经过通道分组注意模块以增强语义特征的学习能力. 模型训练可以高效地以端到端的方式在没有边界框和注释的情况下进行训练, 实验结果表明, 该算法在3个常用细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft上的准确率分别达到了89.5%、94.8%和94.7%.     

融合双分支动态偏好的会话推荐

针对基于会话的推荐算法仅对用户单一偏好进行静态建模而无法捕捉用户受环境影响偏好产生的波动, 从而降低推荐准确性的问题. 提出融合双分支动态偏好的会话推荐方法: 首先, 通过异构超图来建模不同类型信息, 设计双分支聚合机制获取以及整合异构超图中信息并且学习多类型节点之间的关系, 再用价格嵌入增强器来加强类别和价格之间关系; 其次, 设计双层偏好编码器, 其中采用多尺度时序Transformer提取用户动态价格偏好, 利用软注意机制和反向位置编码学习用户动态兴趣偏好; 最后, 用门控机制融合用户多类型动态偏好, 向用户进行推荐. 通过在Cosmetics和Diginetica-buy两个数据集上进行实验, 结果证明与其他对比算法相比在Precision和MRR评价指标中有显著的提升.