采用上下文金字塔特征的场景分类

为了能有效地表述场景图像的语义特性,提出一种基于图像块上下文信息的场景图像分类框架.首先用规则网格将图像分块,并提取每个块的SIFT特征;然后用K均值算法对训练图像的块特征聚类,形成块类型的码本;再根据此码本对图像块进行量化,得到图像的视觉词汇表示,形成视觉词汇图,并在其上建立2类视觉词汇模型:相邻共现的不同视觉词汇对模型和连续共现的相同视觉词汇群模型;最后应用空间金字塔匹配建立视觉词汇的上下文金字塔特征,并采用SVM分类器进行分类.实验结果证明,在常用的场景图像库上,文中方法比已有的典型方法具有更好的场景分类性能.     

融合上下文信息的多尺度贝叶斯图像分割

提出了一种融合上下文信息的多尺度贝叶斯图像分割算法,基于多尺度MRF图像模型,将模型中各结点的邻域结点类别信息抽象为上下文,求得结点的后验边缘概率之后,在各尺度融合表征了同一尺度内及相邻尺度的邻域信息的上下文,结点在相邻结点信息的指导下,得到的分割结果在均匀区域内部及区域边界都大为改善,而且没有增加模型的复杂度,算法仍然是快速的、非迭代的．融合过程中的参数采用EM算法估计．分析和实验结果表明算法是有效的．     

移动机器人基于多传感器信息融合的室外场景理解

本文研究了移动机器人多传感器信息融合技术,提出一种融合激光测距与视觉信息的实时室外场景理解方法．基于三维激光测距数据构建了高程图描述场景地形特征,同时利用条件随机场模型从视觉信息中获取地貌特征,并以高程图中的栅格作为载体,应用投影变换和信息统计方法将激光信息与视觉信息进行有效融合．在此基础上,对融合后的环境模型分别在地形和地貌两个层面进行可通过性评估,从而实现自主移动机器人实时室外场景理解．实验结果和数据分析验证了所提方法的有效性和实用性．     

基于多尺度Markov模型的SAR图像上下文融合分割方法

在多尺度Markov模型的基础上,提出了一种新的用于SAR图像无监督分割的上下文融合分割方法。该方法充分考虑了SAR图像分布的统计特性,用基于混合Rayleigh分布的多尺度Markov模型对待分割图像建模,并直接根据待分割图像用迭代条件估计算法来训练模型的参数。然后以上下文向量的形式提出了四种不同的上下文模型,并用这四种上下文模型分别对待分割图像的多尺度图像信息进行自上而下的融合,最终得到四种不同的分割结果。实验表明,该方法进一步提高了SAR图像分割结果的精度。     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar, SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module, CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module, FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果显示,该网络分割结果的总体精度(overall accuracy, OA)、平均精度(average accuracy, AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90...     

基于上下文信息的口语意图检测方法

近年来,随着人工智能的发展与智能设备的普及,人机智能对话技术得到了广泛的关注。口语语义理解是口语对话系统中的一项重要任务,而口语意图检测是口语语义理解中的关键环节。由于多轮对话中存在语义缺失、框架表示以及意图转换等复杂的语言现象,因此面向多轮对话的意图检测任务十分具有挑战性。为了解决上述难题,文中提出了基于门控机制的信息共享网络,充分利用了多轮对话中的上下文信息来提升检测性能。具体而言,首先结合字音特征构建当前轮文本和上下文文本的初始表示,以减小语音识别错误对语义表示的影响;其次,使用基于层级化注意力机制的语义编码器得到当前轮和上下文文本的深层语义表示,包含由字到句再到多轮文本的多级语义信息;最后,通过在多任务学习框架中引入门控机制来构建基于门控机制的信息共享网络,使用上下文语义信息辅助当前轮文本的意图检测。实验结果表明,所提方法能够高效地利用上下文信息来提升口语意图检测效果,在全国知识图谱与语义计算大会(CCKS2018)技术评测任务2的数据集上达到了88.1%的准确率(Acc值)和88.0%的综合正确率(F1值),相比于已有的方法显著提升了性能。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于结构上下文的模糊神经网络自动目标检测方法

提出了一种基于结构上下文的模糊神经网络(SCFNN)自动目标检测方法。模糊神经网络方法既具有神经网络的自适应性、并行性、鲁棒性、容错性、优化等优点，又集成了模糊集理论运用知识、规则描述解决系统不确定性的优点，因此成为图像处理和模式识别的一种强有力工具。使用模糊测度作为神经网络的目标函数可以有效地描述像素类别的不确定性，从而通过使其最小实现图像分类优化。对网络神经元加权过程进行结构上下文信息约束可以充分减小图像信息尤其是目标边缘等特性包含丰富信息的损失，有效地保持目标的轮廓和形状等属性，改善目标检测的误检率。针对目标遥感图像的实验，验证了SCFNN方法具有很好的自动目标检测能力，而相对于传统神经网络方法，具有有效的不确定性解决能力和更好的目标形状保持能力。     

一种残差置乱上下文信息的场景图生成方法

场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示,同时减少数据集偏差的影响,提出了一个新的场景图生成框架RSSQ(residual shuffle sequence model).该框架由目标解码、残差置乱和位置嵌入3部分构成.残差置乱模块由随机置乱和残差连接的双向LSTM的基本结构叠加而成,利用迭代方式实现随机打乱双向LSTM的隐藏状态以减少数据集偏差影响,利用残差连接提取共享的全局上下文信息.在位置嵌入模块中,通过对目标的相对位置和面积比例的编码则可以增强目标对之间的空间关系.在数据集Visual Genome的3个不同层次子任务的实验中,证明了提出的RSSQ方法因全局上下文改善和空间关系增强,在Recall@50和Recall@100指标评价下,相对于现有方法能生成更好的场景图.     

视频图像理解的一般性框架研究*

视频图像理解侧重于对视频序列进行解释,既涉及到图像的空间特性,也涉及到视频序列的时间特性,是目前计算机视觉领域的一个研究热点。回顾了视频图像理解方法的研究现状,提出视频图像理解的一般性框架,包括层次结构、涉及的技术领域和应用的系统结构,并以一个实际应用作为示例解释该框架的层次结构。     

“目标-场景”语境关联的生成图模型分析

图像场景分析是目前计算机视觉领域的研究热点,体现了场景与目标之间的包含关系。在分析过程中合理的使用基于上下文关系的知识可以提高场景分析模型的适用性和目标识别的准确率。从"图像集——场景——目标——部分——视觉词汇"这种层次的角度进行场景分析,将全局上下文信息和局部上下文信息同时融入到基于HDP的生成图模型中,在场景层和目标层这两个不同的层次上,共同作用于场景分析。场景分析的结果可以用来约束目标识别,目标识别的结果可以反馈作用于场景分析。     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知...     

利用空间信息的核模糊C均值聚类算法

模糊聚类,特别是模糊C均值聚类算法（FCM）广泛地运用到图像的分割中。但是传统的算法未对数据对特征进行优化,亦未考虑图像的空间信息,对噪声图像分割不理想。在FCM目标函数中引入核函数,用内核引导距离代替传统的欧式距离,同时考虑到邻近象素的影响,增加了空间约束项,提出了利用空间信息的核FCM算法。通过对模拟图和仿真脑部MR图像的分割实验证明,该算法可以有效的分割含有噪声图像。     

基于结合空间信息的FCM聚类的分水岭图像分割

提出了一种分水岭变换和结合空间信息的FCM聚类相结合的图像分割方法。方法采用基于图论的结合区域特征信息和空间信息的距离度量,以分水岭变换得到的图像分割小区域为节点构建一个连通加权图,通过计算图上不同节点之间的最短路径来度量不同区域之间的相似程度,从而实现过分割小区域的合并。该方法综合考虑了区域的特征之间的差异和空间位置的差异,与传统的FCM聚类方法在特征空间进行聚类相比,具有较强的噪声抑制能力。图像分割的实验结果证明了该算法的可行性和有效性。     

多特征组合的深度图像分割算法

深度图像直接反映景物表面的三维几何信息,且不受光照、阴影等因素的影响,对深度图像处理、识别、理解是目前计算机视觉领域研究的热点和重点之一。针对深度图像信息单一且噪声较大的特点,提出一种基于组合特征的阈值分割算法,实现对深度图像数据的有效分割。算法首先通过梯度特征对图像进行Otsu阈值分割;在此基础上,分别在不同分割区域内利用深度特征进行Otsu多阈值分割,得到候选目标;然后,在空域上利用像素的位置特征对候选目标进行分割、合并与去噪,最终得到图像分割的结果。实验结果表明,该方法能有效克服深度图像中噪声的影响,得到的分割区域边界准确,分割质量较高,为以后的室内对象识别和场景理解工作奠定了较好的基础。     

自适应加权空间信息的FCM医学图像分割

提出了改进的mFCM算法,该算法引入自适应加权系数控制邻域像素对中心像素的影响程度,充分利用像素的邻域特性对Chen聚类算法的目标函数进行改进。为了实现快速聚类,该算法的开始使用快速FCM确定初始聚类中心。实验结果表明,相对于标准FCM和FCM_S1算法,改进算法既能快速有效地分割图像,又能提高对噪声的鲁棒性。     

结合局部线性嵌入与种子信息流的交互式图像分割算法

交互式图像分割是指在分割过程中引入少量的用户指引分割出目标对象,是图像处理最基本的任务之一。现有方法通常需要构建非二次能量函数,并且普遍存在缺乏唯一解、分割精度低等问题。为进一步提高分割质量,提出一种结合局部线性嵌入和种子信息的交互式图像分割算法（seed information combined with local linear embedding,SILLE）。该算法考虑像素点的局部信息以及先验信息,将标记种子点的信息融入到新构建的能量函数中,以一种有效且快速的最小化方案得到能量函数的唯一且最优解,从而获得更加准确的分割结果。最后在不同数据集上,与不同方法进行多种指标的对比,验证了算法的有效性和可行性。     

提取全局语义信息的场景图生成算法

目的 场景图能够简洁且结构化地描述图像。现有场景图生成方法重点关注图像的视觉特征,忽视了数据集中丰富的语义信息。同时,受到数据集长尾分布的影响,大多数方法不能很好地对出现概率较小的三元组进行推理,而是趋于得到高频三元组。另外,现有大多数方法都采用相同的网络结构来推理目标和关系类别,不具有针对性。为了解决上述问题,本文提出一种提取全局语义信息的场景图生成算法。方法 网络由语义编码、特征编码、目标推断以及关系推理等4个模块组成。语义编码模块从图像区域描述中提取语义信息并计算全局统计知识,融合得到鲁棒的全局语义信息来辅助不常见三元组的推理。目标编码模块提取图像的视觉特征。目标推断和关系推理模块采用不同的特征融合方法,分别利用门控图神经网络和门控循环单元进行特征学习。在此基础上,在全局统计知识的辅助下进行目标类别和关系类别推理。最后利用解析器构造场景图,进而结构化地描述图像。结果 在公开的视觉基因组数据集上与其他10种方法进行比较,分别实现关系分类、场景图元素分类和场景图生成这3个任务,在限制和不限制每对目标只有一种关系的条件下,平均召回率分别达到了44.2%和55.3%。在可视化实验中,相比...