跨模态融合的双注意力脑肿瘤分割算法

针对脑肿瘤多模态信息融合不充分以及肿瘤区域细节信息丢失等问题,提出了一种跨模态融合的双注意力脑肿瘤图像分割网络(CFDA-Net).在编码器-解码器的基础结构上,首先在编码器分支采用密集块与大内核注意力并行的新卷积块,可以使全局和局部信息有效融合且可以防止反向传播时梯度消失的问题;其次在编码器的第2、3和4层的左侧加入多模态深度融合模块,有效地利用不同模态间的互补信息;然后在解码器分支使用Shuffle Attention注意力将特征图分组处理后再聚合,其中分组的子特征一分为二地获取空间与通道的重要注意特征.最后使用二进制交叉熵(binary cross entropy, BCE)、Dice Loss与L2 Loss组成新的混合损失函数,缓解了脑肿瘤数据的类别不平衡问题,进一步提升分割性能.在BraTS2019脑肿瘤数据集上的实验结果表明,该模型在整体肿瘤区域、肿瘤核心区域和肿瘤增强区域的平均Dice系数值分别为0.887、0.892和0.815.与其他先进的分割方法 ADHDC-Net、SDS-MSA-Net等相比,该模型在肿瘤核心区域和增强区域具有更好的分割效果.     

基于YOLO的钢缆表面损坏检测

为了解决检测钢缆表面损坏时检测设备资源有限、时间过长等问题,将深度学习的先进技术以及卷积神经网络(CNN)应用于钢缆表面损坏检测.提出了一种基于YOLO的缺陷检测网络模型,将GhostNet融入主干网络,并基于ShuffleNet及注意力机制提出了新的特征提取模块(ShuffleC3),再对Head部分进行剪枝改进.实验结果表明,改进后网络相比基线YOLOv5s的平均精度提高1.1%,参数量和计算量分别降低了43.4%和31%,模型大小减少了42.3%.可以在降低网络计算成本的同时,保持较高的识别精确度,更好地满足了对钢缆材料表面损坏检测的要求.     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

跨层协同注意和通道分组注意的细粒度图像分类

细粒度图像分类的主要挑战在于类间的高度相似性和类内的差异性. 现有的研究多数基于深层的特征而忽略了浅层细节信息, 然而深层的语义特征由于多次卷积和池化操作往往会丢失大量的细节信息. 为了更好地整合浅层和深层的信息, 提出了基于跨层协同注意和通道分组注意的细粒度图像分类方法. 首先, 通过ResNet50加载预训练模型作为骨干网络提取特征, 由最后3个阶段提取的特征以3个分支的形式输出, 每一个分支的特征通过跨层的方式与其余两个分支的特征计算协同注意并交互融合, 其中最后一个阶段的特征经过通道分组注意模块以增强语义特征的学习能力. 模型训练可以高效地以端到端的方式在没有边界框和注释的情况下进行训练, 实验结果表明, 该算法在3个常用细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft上的准确率分别达到了89.5%、94.8%和94.7%.     

融合双分支动态偏好的会话推荐

针对基于会话的推荐算法仅对用户单一偏好进行静态建模而无法捕捉用户受环境影响偏好产生的波动, 从而降低推荐准确性的问题. 提出融合双分支动态偏好的会话推荐方法: 首先, 通过异构超图来建模不同类型信息, 设计双分支聚合机制获取以及整合异构超图中信息并且学习多类型节点之间的关系, 再用价格嵌入增强器来加强类别和价格之间关系; 其次, 设计双层偏好编码器, 其中采用多尺度时序Transformer提取用户动态价格偏好, 利用软注意机制和反向位置编码学习用户动态兴趣偏好; 最后, 用门控机制融合用户多类型动态偏好, 向用户进行推荐. 通过在Cosmetics和Diginetica-buy两个数据集上进行实验, 结果证明与其他对比算法相比在Precision和MRR评价指标中有显著的提升.     

基于改进YOWO算法的学生课堂行为识别

当前,大部分的学生课堂行为识别工作主要基于单帧图像进行,忽略了行为的连贯性,因此不能充分利用视频信息来对学生的课堂行为进行准确刻画.所以,本文提出一种改进的YOWO算法模型,有效利用视频信息对学生课堂行为进行识别.首先,本文采集某高校真实课堂教学中的授课录像,制作出包含5类学生课堂行为的AVA格式视频数据集;其次,采用时移模块TSM (temporal shift module),用来增强模型获取时间上下文信息的能力;最后,采用非局部操作模块non-local来提高模型提取关键位置信息的能力.实验结果表明,通过对YOWO模型的优化,使得网络的识别性能更佳.在学生课堂行为数据集上,改进后的算法的mAP值为95.7%,相较于原YOWO算法在mAP值上提高了4.6%;模型参数量为81.97×10⁶,计算量为22.6 GFLOPs,参数量和计算量分别降低32.3%和9.6%;检测速度为24.03 f/s,提升了约3 f/s.     

计及负荷转移需求响应的低碳数据中心光储容量优化配置

为了解决高耗能数据中心低碳化转型问题,提出一种计及负荷转移需求响应的低碳数据中心光储容量配置方法。根据延时特性将数据中心负载分为交互性负载与延时性负载,通过比特-瓦特变换与数据中心电能使用效率得出负载与数据中心能耗之间的关系,以总净现值成本最低为目标函数,考虑清洁能源高渗透率水平、数据流需求响应管控约束,获得数据中心的光储容量配置结果。算例验证了所提方法的有效性。     

基于知识蒸馏与改进ViT网络的花卉图像细粒度分类

由于自然条件下拍摄的花卉图像背景复杂,而且其存在类内差异性大和类间相似性高的问题,现有主流方法仅依靠卷积模块提取花卉的局部特征难以实现准确的细粒度分类。针对上述问题,本文提出了1种高精度、轻量化的花卉分类方法(ConvTrans-ResMLP),通过结合Transformer模块和残差MLP(multi-layer perceptron)模块实现对花卉图像的全局特征提取,并在Transformer模块中加入卷积计算使得模型仍保留提取局部特征的能力;同时,为了进一步将花卉分类模型部署到边缘设备中,本研究基于知识蒸馏技术实现对模型的压缩与优化。实验结果表明,本文所提出的方法在Oxford 17、Oxford 102和自制的Flowers 32数据集上的准确率分别达98.62%、97.61%和98.40%;知识蒸馏后本文的轻量化模型的大小约为原来的1/18,而准确率仅下降2%左右。因此,本研究能较好地提升边缘设备下花卉细粒度分类的效率,对促进花卉培育的自动化发展具有切实意义。     

融合注意力线性特征多样化的DR分级模型

糖尿病视网膜病变(diabetic retinopathy, DR)是目前人类的主要致盲疾病之一。针对DR数据集中样本类间差异小和类分布不均衡等制约分级性能提高的问题,本文提出一种融合注意力线性特征多样化(fusion of attention linear feature diversification, FALFD)的分级算法。该算法首先用改进的Res2Net残差网络作为模型骨干来增大感受野,进一步提高网络捕捉特征信息的能力;其次引入自适应特征多样化模块(adaptive feature diversification module, AFDM)对眼底图像可分辨的微小病理特征进行识别,获得具有高语义信息的局部特征,避免单一特征区域的限制,进而提高分级准确度;再后利用双线性注意力融合模块(bilinear attention fusion module, BAFM)增加可判别区域特征的网络权重占比;最后采用正则化焦点损失(focal loss, FL)进一步提升算法的分类性能。在IDRID数据集上,灵敏度和特异性分别为94.20%和97.05%,二次加权系数为87.83%;在APTO...     

基于多尺度一致性与注意力机制的视网膜血管分割网络

针对现有的视网膜血管分割方法存在对微血管和毛细血管的分割能力不足,导致血管断连和末端血管漏分,造成视网膜血管分割性能不佳的问题,本文提出一种基于多尺度一致性与注意力机制的视网膜血管分割网络(multi-scale consistency and attention mechanism U-Net, MCAU-Net)。首先,该网络在瓶颈特征层嵌入注意力细化模块(attention refinement module, ARM),能有效细化瓶颈层冗余的特征,抑制背景等无关像素的权值。其次,将上下文特征融合模块(context fusion module, CFM)与传统的跳跃连接相结合,以此补充在特征提取过程中逐渐丢失的信息,加强网络对微血管和毛细血管的构建能力。最后,基于网络的多尺度输出设计了一种多尺度一致性的训练方式,以增强网络对不同尺度特征的敏感性。在DRIVE和CHASE＿DB1公开数据集上进行的对比实验表明本文网络具有良好的分割性能。