时空图卷积网络与注意机制的视频目标分割

目的 从大量数据中学习时空目标模型对于半监督视频目标分割任务至关重要,现有方法主要依赖第1帧的参考掩膜（通过光流或先前的掩膜进行辅助）估计目标分割掩膜。但由于这些模型在对空间和时域建模方面的局限性,在快速的外观变化或遮挡下很容易失效。因此,提出一种时空部件图卷积网络模型生成鲁棒的时空目标特征。方法 首先,使用孪生编码模型,该模型包括两个分支：一个分支输入历史帧和掩膜捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩膜。其次,构建时空部件图,使用图卷积网络学习时空特征,增强目标的外观和运动模型,并引入通道注意模块,将鲁棒的时空目标模型输出到解码模块。最后,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。结果 在DAVIS（densely annotated video segmentation）-2016和DAVIS-2017两个数据集上与最新的12种方法进行比较,在DAVIS-2016数据集上获得了良好性能,Jacccard相似度平均值（Jaccard similarity-mean,J-M）和F度量平均值（F measure-mean,F-M）得分达到了85.3%,比性能最高的对比方法提高了1.7%;在DAVIS-2017数据集上,J-M和F-M得分达到了68.6%,比性能最高的对比方法提高了1.2%。同时,在DAVIS-2016数据集上,进行了网络输入与后处理的对比实验,结果证明本文方法改善了多帧时空特征的效果。结论 本文方法不需要在线微调和后处理,时空部件图模型可缓解因目标外观变化导致的视觉目标漂移问题,同时平滑精细模块增加了目标边缘细节信息,提高了视频目标分割的性能。     

实时视觉目标跟踪与视频对象分割多任务框架

目的 针对视觉目标跟踪（video object tracking,VOT）和视频对象分割（video object segmentation,VOS）问题,研究人员提出了多个多任务处理框架,但是该类框架的精确度和鲁棒性较差。针对此问题,本文提出一个融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架。方法 文中提出的架构使用了由空洞深度可分离卷积组成的更加多尺度的空洞空间金字塔池化模块,以及具备帧间信息的帧间掩模传播模块,使得网络对多尺度目标对象分割能力更强,同时具备更好的鲁棒性。结果 本文方法在视觉目标跟踪VOT-2016和VOT-2018数据集上的期望平均重叠率（expected average overlap,EAO）分别达到了0.462和0.408,分别比SiamMask高了0.029和0.028,达到了最先进的结果,并且表现出更好的鲁棒性。在视频对象分割DAVIS（densely annotated video segmentation）-2016和DAVIS-2017数据集上也取得了有竞争力的结果。其中,在多目标对象分割DAVIS-2017数据集上,本文方法比SiamMask有更好的性能表现,区域相似度的杰卡德系数的平均值J_M和轮廓精确度的F度量的平均值F_M分别达到了56.0和59.0,并且区域和轮廓的衰变值J_D和F_D都比SiamMask中的低,分别为17.9和19.8。同时运行速度为45帧/s,达到了实时的运行速度。结论 文中提出的融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架,充分捕捉了多尺度上下文信息并且利用了视频帧间的信息,使得网络对多尺度目标对象分割能力更强的同时具备更好的鲁棒性。     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

自注意力融合调制的弱监督语义分割

目的 现有图像级标注的弱监督分割方法大多利用卷积神经网络获取伪标签,其覆盖的目标区域往往过小。基于Transformer的方法通常采用自注意力对类激活图进行扩张,然而受其深层注意力不准确性的影响,优化之后得到的伪标签中背景噪声比较多。为了利用该两类特征提取网络的优点,同时结合Transformer不同层级的注意力特性,构建了一种结合卷积特征和Transformer特征的自注意力融合调制网络进行弱监督语义分割。方法 采用卷积增强的Transformer （Conformer）作为特征提取网络,其能够对图像进行更加全面的编码,得到初始的类激活图。设计了一种自注意力层级自适应融合模块,根据自注意力值和层级重要性生成融合权重,融合之后的自注意力能够较好地抑制背景噪声。提出了一种自注意力调制模块,利用像素对之间的注意力关系,设计调制函数,增大前景像素的激活响应。使用调制后的注意力对初始类激活图进行优化,使其覆盖较多的目标区域,同时有效抑制背景噪声。结果 在最常用的PASCAL VOC 2012（pattern analysis,statistical modeling and computational learning visual object classes 2012）数据集和COCO 2014 （common objectes in context 2014）数据集上利用获得的伪标签进行分割网络的训练,在对比实验中本文算法均取得最优结果,在PASCAL VOC验证集上,平均交并比（mean intersection over union,mIoU）达到了70.2%,测试集上mIoU值为70.5%,相比对比算法中最优的Transformer模型,其性能在验证集和测试集上均提升了0.9%,相比于卷积神经网络最优方法,验证集上mIoU提升了0.7%,测试集上mIoU值提升了0.8%。在COCO 2014验证集上结果为40.1%,与对比算法中最优方法相比分割精度提高了0.5%。结论 本文提出的弱监督语义分割模型,结合了卷积神经网络和Transformer的优点,通过对Transformer自注意力进行自适应融合调制,得到了图像级标签下目前最优的语义分割结果,该方法可应用于三维重建、机器人场景理解等应用领域。此外,所构建的自注意力自适应融合模块和自注意力调制模块均可嵌入到Transformer结构中,为具体视觉任务获取更鲁棒、更具鉴别性的特征。     

SA-TF-UNet：基于空间注意力机制和Transformer的MRI海马体分割

目的 海马体内嗅皮层的像素体积较小，这些特征给医学影像的分割任务带来很大挑战。综合海马体的形态特点以及医生的分割流程，提出一种新的海马体分割方法，以实现在临床医学影像处理中对海马体的精确分割，辅助阿尔兹海默症的早期诊断。方法 提出一个基于自注意力机制与空间注意力机制的U型网络模型SA-TF-UNet （hippocampus segmentation network based on Transformer and spatial attention mechanisms）。该网络为端到端的预测网络，输入任意大小的3维MRI （magnetic resonance imaging）影像，输出类别标签。SA-TF-UNet采用编码器—解码器结构，编码器采用纯Transformer模块，不包含卷积模块。多头自注意力机制为Transformer模块中的特征提取器，自注意力模块基于全局信息建模，并提取特征。因此，使用Transformer提取特征符合医生分割海马体的基本思路。解码器采用简单的卷积模块进行上采样。使用AG （attention gate）模块作为跳跃连接的方式，自动增加前景的权重，代替了传统网络中的直接连接。为了验证AG的有效性，分别做了只在单层加入AG的实验，与在4层网络中全部加入AG的实验结果进行对比。为了进一步探讨AG模块中门控信号的来源，设计了两个SA-TF-UNet的变体，它们的网络结构中AG门控信号分别为比AG中的特征图深两层的Transformer模块输出和深3层的Transformer模块输出。结果 为了验证SA-TF-UNet在临床数据集中分割海马体的有效性，在由阿尔兹海默症患者的MRI影像组成的脑MRI数据集上进行实验。4层网络全部加入AG，且AG的门控信号是由比AG特征图更深一层的Transformer模块输出的SA-TF-UNet模型分割效果最好。SA-TF-UNet对于左海马体、右海马体的分割Dice系数分别为0.900 1与0.909 1，相较于对比的语义分割网络有显著提升，Dice系数提升分别为2.82%与3.43%。结论 加入空间注意力机制的以纯Transformer模块为编码器的分割网络有效提升了脑部MRI海马体的分割精度。     

时序特征融合的视频实例分割

目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。     

互注意力机制驱动的轻量级图像语义分割网络

目的 在图像语义分割中,细节特征和语义特征的融合是该领域的一个难点。一些在特定网络架构下设计的专用融合模块缺乏可扩展性和普适性,自注意力虽然可以实现全局的信息捕获,但不能实现不同特征的融合,其他的注意力机制在进行掩码计算时缺少可解释性。本文根据特征图之间的关联度进行建模,提出一种互注意力机制驱动的分割模块。方法 该模块获取不同阶段的细节特征图和语义特征图,建立细节特征图上任一点和语义特征图之间的关联模型,并在关联模型的指导下对语义特征图上的特征进行聚合,作为细节特征图上该特征点的补充,从而将语义特征图上的信息融合到细节特征图上,并进一步采用相同的操作将细节特征图上的信息融合到语义特征图上,实现来自不同阶段特征图的相互融合。结果 选取5个语义分割模型进行实验,实验结果表明,在使用替换方式对BiSeNet V2（bilateral segmentation network）进行修改之后,浮点运算量、内存占用量和模型参数数量分别下降了8.6%,8.5%和2.6%,但是平均交并比却得到了提升。在使用插入方式对另外4个网络进行修改后,所有网络的平均交并比全部得到了不同程度的提高。结论 本文提出的互注意力模块可普遍提升模型的语义分割准确度,实现不同网络模型的即插即用,具有较高的普适性。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

基于多层级并行神经网络的多模态脑肿瘤图像分割框架

目的 在脑肿瘤临床诊疗过程中,由于医疗资源稀缺与诊断效率偏低,迫切需要高精度的医学图像分割工具进行辅助诊疗。目前,使用卷积神经网络进行脑肿瘤图像分割已经成为主流,但是其对于脑肿瘤信息的利用并不充分,导致精度与效率并不完善,而且重新设计一个全新且高效的深度神经网络模型是一项成本高昂的任务。为了更有效提取脑肿瘤图像中的特征信息,提出了基于多层级并行神经网络的多模态脑肿瘤图像分割框架。方法 该框架基于现有的网络结构进行拓展,以ResNet（residual network）网络为基干,通过设计多层级并行特征提取模块与多层级并行上采样模块,对脑肿瘤的特征信息进行高效提取与自适应融合,增强特征信息的提取与表达能力。另外,受U-Net长连接结构的启发,在网络中加入多层级金字塔长连接模块,用于输入的不同尺寸特征之间的融合,提升特征信息的传播效率。结果 实验在脑肿瘤数据集BRATS2015（brain tumor segmentation 2015）和BRATS2018（brain tumor segmentation 2018）上进行。在BRATS2015数据集中,脑肿瘤整体区、核心区和增强区的平均Dice值分别为84%、70%和60%,并且分割时间为5 s以内,在分割精度和时间方面都超过了当前主流的分割框架。在BRATS2018数据集中,脑肿瘤整体区、核心区和增强区的平均Dice值分别为87%、76%和71%,对比基干方法分别提高8%、7%和6%。结论 本文提出多层级并行的多模态脑肿瘤分割框架,通过在脑肿瘤数据集上的实验验证了分割框架的性能,与当前主流的脑肿瘤分割方法相比,本文方法可以有效提高脑肿瘤分割的精度并缩短分割时间,对计算机辅助诊疗有重要意义。     

设计特征向加工特征转换的扫体重构法

针对同时需要铣削和车削加工的零件,提出一种基于扫体的从设计特征向加工特征转换的统一方法.采用扫体方式重构零件和毛坯模型,并将毛坯与零件之间的差体沿着这些扫体扫掠路径拆分出各种新的加工扫体,最后将这些加工扫体依照它们之间的邻接关系和加工特征形状结构选择合并成加工特征.该方法实现了同一零件中直扫体和回转扫体2种特征的统一转换,能够产生对应各种不同加工方法和方向的加工特征,有利于工艺优化.文中方法已应用于一个CAPP系统,其结果证明了该方法的可靠性.     

一种基于分布的形状特征描述子

形状特征描述在基于内容的图像检索与识别研究中具有重要地位,文中对图像检索及识别中常用的形状描述进行了介绍。提出一个新的基于区域中心分布的方案来对图像形状特征进行描述,该描述子以待识别对象的区域二值图像的中心点为圆心,将各点到圆心的距离进行规范化处理,统计落入以区域中心为圆心的各环内的点数与总像素点数n的比例,从而形成一个基于中心分布的形状特征向量。经过数学证明该描述方案提取的形状特征具有缩放、旋转和平移不变性。文中通过使用该方案提取的图像特征进行图像识别检索实验,取得了理想的实验结果,说明了它是一个有效的图像区域形状描述子。     

基于实体模型的产品形状特征识别

依据实体造型的特点,从模型空间的特征层入手,搜寻模型空间中的简单形状特征,并根据造型特点获取单个特征在零件模型上的几何拓扑关系,从而实现形状特征的自动识别.通过分析特征实体造型,提出一种基于实体模型的产品形状特征识别方法,并结合微波器件产品开发特征参数提取模块,实现复杂零件模型形状特征的自动识别与提取.该方法为快速建立企业零件库提供途径,也为网络环境下的协同设计和数据共享奠定基础.     

Boosted cascade of scattered rectangle features for object detection

This paper presents a variant of Haar-like feature used in Viola and Jones detection framework,called scattered rectangle feature,based on the common-component analysis of local region feature. Three common components,feature filter,feature structure and feature form,are extracted without concern-ing the details of the studied region features,which cast a new light on region feature design for spe-cific applications and requirements: modifying some component(s) of a feature for an improved one or combining different components of existing features for a new favorable one. Scattered rectangle feature follows the former way,extending the feature structure component of Haar-like feature out of the restriction of the geometry adjacency rule,which results in a richer representation that explores much more orientations other than horizontal,vertical and diagonal,as well as misaligned,detached and non-rectangle shape information that is unreachable to Haar-like feature. The training result of the two face detectors in the experiments illustrates the benefits of scattered rectangle feature empirically; the comparison of the ROC curves under a rigid and objective detection criterion on MIT CMU upright face test set shows that the cascade based on scattered rectangle features outperforms that based on Haar-like features.     

语义特征造型系统中特征模型转换的研究

通过对新一代的语义特征模型的分析,参考Bidarra等人的研究成果,运用有效性标准,确立语义特征造型中特征转换的方法,在采用数学方法基础上,提出了怎样在数学模型中把设计特征表示转换成加工特征表示。设计过程中的设计特征由一组具有几何特征的面和一组属性（包括维数和具体特征）表示。加工过程中的加工特征由许多面和这些加工操作中面面之间有意义的关系来表示。特征转换中采用数学方法,能够在集合运算中形成加工特征,特征相交这种困难问题也可用数学描述,并且理论上能够转换,从而提高产品模型的可编辑性和易编辑性。     

基于局部特征识别的特征有效性维护方法

缺乏特征模型的有效性维护功能已经成为目前特征造型系统存在的一个严重而亟待解决的问题.在对特征有效性条件进行深入分析的基础上,提出了一个基于扩展属性邻接图（extended attributed adjacency graph,简称EAAG）的特征有效性表示方法,特别是提出了基于局部特征识别的特征有效性维护新方法.该方法不仅能够自动判别特征的有效性是否被破坏,而且能确定导致特征无效的原因和遭破坏后特征的状态,从而能够根据用户的意图自动维持特征模型的有效性.     

混合加工特征识别方法

介绍一种集成了自动特征识别和用户交互特征定义的混合特征识别方法，该方法采用基于广义痕迹的特征识别建立零件的加工特征模型，通过交互特征定义对已建立的加工特征模型进行局部修改和再解释，在交互特征定义中，用户只需通过选取要修改的特征面定义自己的特征，剩余的面则调用自动特征识别算法处理，特征参数由系统提供的统一算法计算，从而减少了交互的工作量，这种混合特征识别方法有助于提高加工特征识别系统的实用性和健壮性。     

根据工艺需要进行设计特征模型调整的方法

保持不同领域特征模型的一致性是多领域特征建模的一个核心问题。为有效地维护特征模型的一致性，提出一种根据对加工特征模型的修改要求自动确定设计特征模型调整方案的方法。该方法从加工特征修改所涉及的拓扑元素出发，通过搜索拓扑元素约束关系图找出相关的拓扑元素约束链，并以此为基础，利用有关准则自动确定设计特征调整的最优方案。该方法从加工的需求出发调整设计模型，保证设计与加工特征模型的一致性，可用于支持面向制造的设计。     

面向三维变量设计的可变特征模型

本文提出了一个面向三维变量设计的产品形状可变特征模型，其中包括特征树，特征表有特征约束关系图等新概念，用于描述设计过程中的形体模型和特征间的相互内在联系，从而不仅可作参数化设计，还支持更广泛意义上的变量设计。     

一种基于图的人脸特征提取方法

当前主流特征提取方法主要从全局特征或局部特征出发实现降维。为了能充分反映样本的全局特征和局部特征,提出基于图的人脸特征提取方法。该方法首先通过对训练样本进行学习得到最佳投影方向,该方向保证投影后的样本类内紧密而类间松散;然后将测试样本映射到最佳投影方向上并利用最近邻分类器进行样本类属判定。标准人脸库上的比较实验结果证明了所提方法的有效性。