基于深度估计置信度的聚焦形貌恢复

聚焦形貌恢复是非接触式三维重建领域中的重要技术手段。由于环境的影响和相机本身的限制,图像采集过程中会不可避免地产生噪声信息,影响重建精度。针对该问题,提出一种高精度、抗噪声的聚焦形貌恢复算法。使用聚焦评价函数对离焦序列图像进行评价,得到聚焦评价序列图像,并使用高斯拟合峰值法定位像素聚焦位置获得初始深度图。在此基础上,通过像素的聚焦评价曲线与灰度曲线之间的相似度衡量深度估计置信度,生成初始深度图的置信图,并将置信图作为引导图对初始深度图进行引导滤波,得到优化后的深度图。使用多组仿真离焦序列图像与真实显微离焦序列图像对所提方法进行性能验证,实验结果表明：所提方法在仿真与真实离焦序列中均能表现出优良的三维重建效果,在真实数据实验中,所提方法的所有指标均优于基于深度图优化的方法,与传统方法相比均方根误差分别降低64.8%和47.3%以上,相关系数分别提高2.18%和6.35%以上,具有更高的精度和更强的抗噪性,能有效提高聚焦形貌恢复精度。     

基于改进全局—局部注意网络的室内场景识别方法

由于卷积神经网络(CNN)大多侧重于全局特征学习,忽略了包含更多细节的局部特征信息,使得室内场景识别的准确率难以提高。针对这一问题,提出了基于改进全局—局部注意网络(GLANet)的室内场景识别方法。首先,利用GLANet捕捉场景图像的全局特征和局部特征,增加图像特征中的细节信息;然后,在局部网络中引入non-local注意力模块,通过注意力图和特征图的卷积来进一步保留图像的细节特征,最后融合网络不同阶段的多种特征进行分类。通过在MIT Indoor67和SUN397数据集上的训练和验证,所提方法的识别准确率与LGN方法相比分别提高了1.98%和3.07%。实验结果表明,该算法能够有效捕获全局语义信息和精细的局部细节,显著提高了识别准确率。     

基于语义引导自注意力网络的换衣行人重识别模型

针对换衣行人重识别（ReID）任务中有效信息提取困难的问题，提出一种基于语义引导自注意力网络的换衣ReID模型。首先，利用语义信息将图像分割出无服装图像，和原始图像一起输入双分支多头自注意力网络进行计算，分别得到衣物无关特征和完整行人特征。其次，利用全局特征重建模块（GFR），重建两种全局特征，得到的新特征中服装区域包含换衣任务中鲁棒性更好的头部特征，使得全局特征中的显著性信息更突出；利用局部特征重组重建模块（LFRR），在完整图像特征和无服装图像特征中提取头部和鞋部局部特征，强调头部和鞋部特征的细节信息，并减少换鞋造成的干扰。最后，除了使用行人重识别中常用的身份损失和三元组损失，提出特征拉近损失（FPL），拉近局部与全局特征、完整图像特征与无服装图像特征之间的距离。在PRCC(Person ReID under moderate Clothing Change)和VC-Clothes(Virtually Changing-Clothes)数据集上，与基于衣物对抗损失（CAL）模型相比，所提模型的平均精确率均值（mAP）分别提升了4.6和0.9个百分点；在Celeb-reID和Cele...     

融合全局和局部特征的下一个兴趣点推荐方法

随着海量移动数据的积累,下一个兴趣点推荐已成为基于位置的社交网络中的一项重要任务.目前,主流方法倾向于从用户近期的签到序列中捕捉局部动态偏好,但忽略了历史移动数据蕴含的全局静态信息,从而阻碍了对用户偏好的进一步挖掘,影响了推荐的准确性.为此,提出一种基于全局和局部特征融合的下一个兴趣点推荐方法.该方法利用签到序列中的顺序依赖和全局静态信息中用户与兴趣点之间、连续签到之间隐藏的关联关系建模用户移动行为.首先,引入两类全局静态信息,即User-POI关联路径和POI-POI关联路径,学习用户的全局静态偏好和连续签到之间的全局依赖关系.具体地,利用交互数据以及地理信息构建异构信息网络,设计关联关系表示学习方法,利用相关度引导的路径采样策略以及层级注意力机制获取全局静态特征.然后,基于两类全局静态特征更新签到序列中的兴趣点表示,并采用位置与时间间隔感知的自注意力机制来捕捉用户签到序列中签到之间的局部顺序依赖,进而评估用户访问兴趣点概率,实现下一个兴趣点推荐.最后,在两个真实数据集上进行了实验比较与分析,验证了所提方法能够有效提升下一个兴趣点推荐的准确性.此外,案例分析表明,建模显式路径有助于提...     

结合双流网络和金字塔映射的步态识别

目前,基于深度学习的步态识别方法虽然取得了一定的进展,但数据采集和步态外观的变化仍然是实现精确步态识别所面临的挑战。为了提高网络对时空步态信息的捕捉能力,提出了一种基于步态轮廓流和步态特征差分流的双流网络结构。步态轮廓流以步态轮廓图作为输入,用来提取步态序列中包含的空间步态信息;步态特征差分流则是以步态特征差分图作为输入,用来捕获相邻步态图之间的动态信息。同时,为了充分利用步态序列中的全局和局部信息,提出了多尺度金字塔映射（multi-scale pyramid mapping,MPM）模块,并插入到各单流网络中以增强网络对全局和局部步态信息的提取能力。所提方法在步态数据集CASIA-B和OU-MVLP上的平均识别精度分别达到了87.0%和85.5%,这表明双流网络架构和MPM模块可以有效地捕获步态序列中的时空步态信息。     

三维时频变换视角的智能微观三维形貌重建方法

基于图像聚焦信息的三维形貌重建方法通常对微观物体的景深图像序列采用统一的聚焦评价标准,这类重建方法往往会忽视图像序列之间的联系,难以修正图像纹理稀疏或低对比度导致的连续帧深度误差.鉴于三维数据特有的多维度信息关联特性,本文将微观物体的不同景深图像序列视为三维数据,在重建过程中引入全部图像序列之间的关联关系,从三维数据时频变换的视角构造了以多视角分析、稳定性聚类、选择性融合逻辑耦合的微观三维形貌重建框架.首先从理论上分析三维数据相较于传统二维图像处理重建问题的优势,通过构造三维时频变换实现三维数据到不同尺度、区域和方向深度图像之间的映射;然后从增强深度图像特征的角度构建基于多模态纹理特征的局部稳定性聚类算法,实现同质性较好深度图像的自适应选择;最后提出选择性深度图像融合的策略,通过构造层筛过滤平衡树对滤除离散噪声后的多层深度图像进行融合,实现微观物体高精度的三维形貌重建.模拟数据与真实场景数据均验证了本文方法的有效性.三维时频变换视角的智能微观三维重建方法为基于图像聚焦信息的三维形貌重建提供一个崭新的研究视角,在精密制造、亚微米级工业测量等领域具有重要的理论意义和应用价值.     

基于小波分析的显微视觉景深扩展

光学显微视觉系统的主要特点在于景深短,难以获取反映显微场景的全面信息。为解决该问题,提出基于小波分析的光学显微视觉系统景深扩展策略,分为局部清晰图像获取和多聚焦图像融合两个阶段：首先,以定义的小波系数活性水平为依据,构造了新型清晰度评价函数和聚焦曲线全局极值搜索策略来实现快速自动聚焦、获取局部显微场景信息的目的;然后,为实现多局部聚焦显微图像的融合,设计了小波系数活性水平选择型融合规则来融合获取的多个局部显微场景信息。实验表明,提出方法可有效扩展光学显微镜的景深。     

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet (network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。     

基于自注意力机制的局部与全局特征融合的评分预测算法

为了完全挖掘异质信息网络中节点的特征并且更好地融合这些特征,提高推荐算法的性能,提出一种基于自注意力机制的局部与全局特征融合的评分预测算法（rating prediction algorithm based on self-attention mechanism and fusion of local & global features,AMFL&GRec）。首先基于LeaderRank算法提取目标节点的全局序列,基于元路径带偏置的随机游走算法提取节点的局部序列,通过skip-gram模型分别学习节点的全局特征与局部特征;通过自注意力机制学习目标节点对局部与全局特征的偏好,从而得到在单一元路径下节点的特征表示;再通过自注意力机制融合不同元路径下同一节点的表示,从而得到节点在不同元路径下的最终的特征表示;最后基于多层感知器实现评分预测任务。在两个真实数据集进行了大量实验,实验结果验证了AMFL&GRec算法不仅能够捕获具有密集连通节点的微观（局部）结构,而且还能够捕获该节点在网络中的全局结构,从而使其得到的节点特征得以体现节点的整体（局部+全局）特征。同时,实验结果也证明了AMFL&GRec算法评分预测性能优于对比算法,从而证明利用自注意力机制考虑异质信息网络中节点对于局部、全局特征以及元路径的偏好能够提高评分预测的准确性。     

离焦图像多视角模糊特征自动补偿仿真研究

传统离焦图像多视角模糊特征自动补偿方法存在着图像信息丢失率大、图像补偿完整度低的弊端,为了解决上述问题,提出离焦图像多视角模糊特征自动补偿方法研究。为了得到更好的模糊特征补偿效果,对离焦图像形成过程进行分析,以此为基础,对离焦图像多视角模糊模型进行构建,以构建的离焦图像多视角模糊模型为工具,采用聚类算法对离焦图像模糊特征进行相应的提取,以提取的离焦图像多视角模糊特征为基础,采用补偿算法对离焦图像多视角模糊特征进行处理,实现了离焦图像多视角模糊特征的自动补偿。通过仿真对比实验得到,与现有的三种离焦图像多视角模糊特征自动补偿方法相比较,提出的离焦图像多视角模糊特征自动补偿方法极大的降低了图像信息丢失率,提升了图像补偿完整度,充分说明提出的离焦图像多视角模糊特征自动补偿方法具备更好的补偿性能。     

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块（CoAM）以及双向自注意力模块（BiAM）中进行信息相互表征;最后,将图像区域掩码模型（MRM）以及图像对匹配（IPM）两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比（mIoU）,相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。     

基于对比超图转换器的会话推荐

针对会话推荐本身存在的噪声干扰和样本稀疏性问题，提出一种基于对比超图转换器的会话推荐（CHT）模型。首先，将会话序列建模为超图；其次，通过超图转换器构建项目的全局上下文信息和局部上下文信息。最后，在全局关系学习上利用项目级（I-L）编码器和会话级（S-L）编码器捕获不同级别的项目嵌入，经过信息融合模块进行项目嵌入和反向位置嵌入融合，并通过软注意力模块得到全局会话表示，而在局部关系学习上借助权重线图卷积网络生成局部会话表示。此外，引入对比学习范式最大化全局会话表示和局部会话表示之间的互信息，以提高推荐性能。在多个真实数据集上的实验结果表明，CHT模型的推荐性能优于目前的主流模型。相较于次优模型S2-DHCN(Self-Supervised Hypergraph Convolutional Networks)，在Tmall数据集上，所提模型的P@20最高达到了35.61%,MRR@20最高达到了17.11%，分别提升了13.34%和13.69%；在Diginetica数据集上，所提模型的P@20最高达到了54.07%,MRR@20最高达到了18.59%，分别提升了0.76%和0.43%，验...     

摄像机参数固定的全局离焦深度恢复

利用2维离焦图像恢复景物的3维深度信息是计算机视觉中一个重要的研究方向。但是,在获取不同程度的离焦图像时,必须改变摄像机参数,例如,调节摄像机的焦距、像距或者光圈大小等。而在一些需要高倍放大观测的场合,使用的高倍精密摄像机的景深非常小,任何摄像机参数的改变都会对摄像机产生破坏性的后果,这在很大程度上限制了当前许多离焦深度恢复算法的应用范围。因此,提出了一种新的通过物距变化恢复景物全局深度信息的方法。首先,改变景物的物距获取两幅离焦程度不同的图像,然后,利用相对模糊度及热辐射方程建立模糊成像模型,最后,将景物深度信息的计算转化成一个动态优化问题并求解,获得全局景物深度信息。该方法不需改变任何摄像机参数或者计算景物的清晰图像,操作简单。仿真试验和误差分析结果表明,该方法可以实现高精度的深度信息恢复,适合应用于微纳米操作、高精度快速检测等对摄像机参数改变较为敏感的场合。     

一种过渡光滑的图像浏览方法

浏览图像时，需要了解图像中不同的局部图像之间的联系。当图像较大时，用户往往把很多精力和时间耗费在来回切换局部图像上。该文通过分析虚拟相机在图像空间中的运动轨迹，构造了一条连接两个局部图像域的最优路径，用该路径作为控制参数提取出两个域之间的图像信息，生成一组过渡平滑的图像序列显示给用户。实验结果表明，该方法生成的图像序列过渡自然、光滑，能够使用户快速、准确地获取需要的信息。     

基于局部感知的车辆重识别算法

针对车辆重识别技术中难以通过全局外观特征准确识别不同车辆之间细微差异性的问题,提出一种基于局部感知的车辆重识别算法(local-aware based vehicle re-identification,LVR)。获取全局宏观特征以保留图像的上下文信息;利用空间变换网络的对齐模块对车辆图像进行分块,获取车辆局部细节信息;采用由粗到细的关键点检测方法获取局部关键点特征。在两个大型车辆数据集(即VeRi和VehicleID)上的评估结果表明,该算法具有较好的重识别效果。     

基于移位窗口金字塔Transformer的遥感图像目标检测

目标检测任务是计算机视觉领域中基础且备受关注的工作,遥感图像目标检测任务因在交通、军事、农业等方面具有重要应用价值,也成为研究的一大热点。相比自然图像,遥感图像由于受到复杂背景的干扰,以及天气、小型和不规则物体等诸多因素的影响,遥感图像目标检测任务要实现较高的精度是极具挑战性的。文中提出了一种新颖的基于移位窗口Transformer的目标检测网络。模型应用了移位窗口式Transformer模块作为特征提取的骨干,其中,Transformer的自注意力机制对于检测混乱背景下的目标十分有效,移位窗口式的模式则有效避免了大量的平方级复杂度计算。在获得骨干网络提取的特征图之后,模型使用了金字塔架构以融合不同尺度、不同语义的局部和全局特征,有效地减少了特征层之间的信息丢失,并捕捉到固有的多尺度层级关系。此外,文中还提出了自混合视觉转换器模块和跨层视觉转换器模块。自混合视觉转换器模块重新渲染了深层特征图以增强目标特征识别和表达,跨层视觉转换器模块则依据特征上下文交互等级重新排列各特征层像素的信息表达。模块融入到自下而上和自上而下双向特征路径之中,以充分利用包含不同语义的全局和局部信息。所提网络模型...     

基于自适应模糊映射图估计的离焦靶标图像盲复原

为解决靶标图像全局和局部离焦模糊问题,提出一种基于自适应模糊映射图估计的快速盲复原方法。首先,根据尺度空间图像边缘的连续性,自适应选择二次模糊量参考矩阵,并对离焦模糊靶标图像进行二次模糊,然后基于图像边缘差比计算稀疏模糊映射图,利用引导滤波进行插值获取模糊映射图,最后基于光学离焦退化模型建立模糊映射图和模糊退化图像之间的物理关系,实现离焦模糊靶标图像快速复原。实验结果表明,本文方法能够有效恢复离焦模糊靶标图像,增强靶标图像边缘特征,在算法运行效率上有极大优势,避免了迭代算法的高时耗问题,适合实际工业应用。     

基于BERT的双特征融合注意力的方面情感分析模型

方面情感分析旨在预测句子或文档中一个特定方面的情感极性，现阶段大部分的研究都是使用注意力机制对上下文进行建模。然而，目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时，大多未根据不同的语境背景考虑上下文信息，导致建模后的特征缺乏上下文的语境信息。同时，方面词的重要性未能得到充分的重视而影响模型整体分类的性能。针对上述问题，提出双特征融合注意力方面情感分析模型（DFLGA-BERT），分别设计了局部与全局的特征抽取模块，充分捕捉方面词和上下文的语义关联。并将一种改进的“准”注意力添加到DFLGA-BERT的全局特征抽取器中，使模型学习在注意力的融合中使用减性注意力以削弱噪声产生的负面影响。基于条件层规泛化（CLN）设计了局部特征和全局特征的特征融合结构来更好地融合局部和全局特征。在SentiHood和SemEval 2014 Task 4数据集上进行了实验，实验结果表明，与基线模型相比该模型在融入了上下文语境特征后取得了较明显的性能提升。     

集成注意力增强和双重相似性引导的多模态脑部图像配准

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet）,结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块（integrated attention augmentation module,IAAM）,通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息（normalized mutual information,NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration）,在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。