基于多特征融合与CELM的场景分类算法

场景分类对于场景图像的语义解译至关重要,是遥感领域近期的主要研究课题之一。针对大部分图像分类方法中提取的特征结构单一,依赖于大量人工标记的数据以及分类器的训练过程缓慢等问题,提出了一种基于多特征融合与约束极限学习机（constrained extreme learning machines,CELM）的场景图像分类方法。该方法采用三种不同结构的预训练卷积神经网络,利用特定数据集对其进行微调,将微调后网络提取到的三种特征进行融合并送入CELM分类器进行分类,最终得到图像的类别标签。以SIRI-WHU、WHU-RS19与UC-Merced数据集作为实验数据集,在预训练卷积神经网络、单一特征和传统分类器上进行的对比实验表明,基于多特征融合与CELM相结合的方法产生了较好的分类效果,三种数据集上的总分类精度分别高达99.25%、98.26%与97.70%。     

融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

虚实融合场景中的深度感知研究综述

混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结果和虚拟摄像机位置实时绘制虚拟内容并将其叠加在真实环境中,用户通过虚实融合场景中渲染的图形化线索和虚拟物体特征感知其深度信息,但存在用于指导虚实融合场景绘制的视觉规律和感知理论匮乏、图形化线索可提供的绝对深度信息缺失和虚拟物体的渲染维度和特征指标不足等问题。本文分析了面向虚实融合场景绘制渲染的视觉规律,从用户感知的角度出发,围绕虚实融合场景中图形化线索绘制和虚拟物体渲染等展开综述,并对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。     

基于配对特征融合的声学场景分类方法

在近些年的研究中,单设备的声音场景分类已经取得不错的效果,然而多设备声音场景分类的进展缓慢。为了解决多设备分类时样本数量差异大的问题,提出了一种配对特征融合算法。通过计算每一对配对样本在频谱图上的差异,将这些差异累加后取平均,可以获得各个设备的平均频谱特征,用于设备样本的转换。该算法在增加设备样本数量的同时有效提升了模型的泛化能力。同时,为了获取全局信息,提出了一种轻量级注意力模块,通过对输入特征在频域上压缩后进行自注意力操作,可以在减少计算量的基础上使模型专注于整个声音序列信息的训练,实验结果表明所提算法在模型大小和分类精度方面与其他方法相比具有较好的优势。     

核协同表示下的多特征融合场景识别

针对复杂场景识别中单一特征提供信息不充分这一问题情况,提出一种多尺度远距离点差值统计变换特征。通过Gabor滤波获得图像的多尺度特征信息,在像素图和滤波图上分别提取改进的远距离点差值统计变换特征,从而生成多尺度描述子,最后将多尺度统计变换特征和视觉词袋模型特征通过核协同表示融合后进行场景分类。该方法充分考虑了尺度信息和远距离点信息,解决了单一特征区分度低的问题。算法在两个标准数据集上进行对比实验,结果表明所提算法取得了较好的识别效果。     

图像场景分类中视觉词包模型方法综述

目的关于图像场景分类中视觉词包模型方法的综述性文章在国内外杂志上还少有报导,为了使国内外同行对图像场景分类中的视觉词包模型方法有一个较为全面的了解,对这些研究工作进行了系统总结。方法在参考国内外大量文献的基础上,对现有图像场景分类(主要指针对单一图像场景的分类)中出现的各种视觉词包模型方法从低层特征的选择与局部图像块特征的生成、视觉词典的构建、视觉词包特征的直方图表示、视觉单词优化等多方面加以总结和比较。结果回顾了视觉词包模型的发展历程,对目前存在的多种视觉词包模型进行了归纳,比较常见方法各自的优缺点,总结了视觉词包模型性能评价方法,并对目前常用的标准场景库进行汇总,同时给出了各自所达到的最高精度。结论图像场景分类中视觉词包模型方法的研究作为计算机视觉领域方兴未艾的热点研究领域,在国内外研究中取得了不少进展,在计算机视觉领域的研究也不再局限于直接应用模型描述图像内容,而是更多地考虑图像与文本的差异。虽然视觉词包模型在图像场景分类的应用中还存在很多亟需解决的问题,但是这丝毫不能掩盖其研究的重要意义。     

基于多特征的视频场景分类*

针对视频检测效率低下问题,提出了一种基于多特征融合及特征阈值的视频场景分类方法—阈值判定分类法。首先,提取场景视频的平均关键帧。然后,根据其结构化特征以及不同空间结构对场景识别的贡献度对平均关键帧进行划分与重组,得到感兴趣区域及次感兴趣区域;接着,分别提取这两个区域的场景特征,并利用多特征融合技术分别得到两者的综合特征。最后,根据综合特征并利用特征阈值,进行场景动态分类。实验结果表明,该方法充分利用了视频的结构化特征,实验准确率达到80%,在一定程度上证明了该分类方法的有效性。     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。     

基于视觉显著性特征的快速场景配准方法

视觉显著性特征是模拟生物视觉注意力选择机制的一种具有较好的鲁棒性与不变性的视觉特征。基于视觉显著性特征提出了一种快速的场景配准方法。该方法采用调幅傅里叶变换构造视觉显著性映射;通过对显著特征局部极值特性以及信息丰度的分析,实现显著点的粗定位、预选择与可信度排序;通过图像形态学操作,实现了显著场景区域的生长与合并。在此基础上,提出了SSIFT(saliency scale invariant feature transform）算法,从而减少了场景分类算法的计算量。利用本文方法对美国南加州大学的场景数据库进行测试,实验结果表明这种方法提取的SSIFT特征对于图像的平移、旋转以及光照等变化具有良好的不变性;与经典SIFT算法相比,该方法在计算速度上具有明显的优势,并在识别率上也略优于SIFT算法。     

恶劣场景下视觉感知与理解综述

恶劣场景下采集的图像与视频数据存在复杂的视觉降质,一方面降低视觉呈现与感知体验,另一方面也为视觉分析理解带来了很大困难。为此,系统地分析了国际国内近年恶劣场景下视觉感知与理解领域的重要研究进展,包括图像视频与降质建模、恶劣场景视觉增强、恶劣场景下视觉分析理解等技术。其中,视觉数据与降质建模部分探讨了不同降质场景下的图像视频与降质过程建模方法,涵盖噪声建模、降采样建模、光照建模和雨雾建模。传统恶劣场景视觉增强部分探讨了早期非深度学习的视觉增强算法,包括直方图均衡化、视网膜大脑皮层理论和滤波方法等。基于深度学习模型的恶劣场景视觉增强部分则以模型架构创新的角度进行梳理,探讨了卷积神经网络、Transformer 模型和扩散模型等架构。不同于传统视觉增强的目标为全面提升人眼对图像视频的视觉感知效果,新一代视觉增强及分析方法考虑降质场景下机器视觉对图像视频的理解性能。恶劣场景下视觉理解技术部分探讨了恶劣场景下视觉理解数据集和基于深度学习模型的恶劣场景视觉理解,以及恶劣场景下视觉增强与理解协同计算。论文详细综述了上述研究的挑战性,梳理了国内外技术发展脉络和前沿动态。最后,根据上述分析展望了恶劣场景下视觉感知与理解的发展方向。     

视觉感知式场景文字检测定位方法

针对自然场景中复杂背景干扰检测的问题,本文提出一种基于视觉感知机制的场景文字检测定位方法。人类视觉感知机制通常分为快速并行预注意步骤与慢速串行注意步骤。本文方法基于人类感知机制提出一种场景文字检测定位方法,该方法首先通过两种视觉显著性方法进行预注意步骤,然后利用笔画特征以及文字相互关系实现注意步骤。本文方法在ICDAR 2013与场景汉字数据集中均取得较有竞争力的结果,实验表明可以较好地用于复杂背景的自然场景英文和汉字的检测。     

基于移动端的场景分类模型

对移动神经网络进行研究,在此基础上提出一种端到端的高效运行于移动端的场景分类模型。在同一个网络中使用多分辨率输入的方法进行训练,在预测时只将原图处理到指定分辨率,不进行multi-crop预测;将网络在中层提取的局部信息和在高层提取的全局信息进行融合;根据提出的相似类知识迁移的模型压缩方法对网络进行训练。实验结果表明,与现有的移动神经网络相比,该模型的识别准确率更高。与端到端的场景分类模型相比,该模型能在模型大小只有其1%的情况下取得同等或更高的识别准确率。     

基于分块潜在语义的场景分类方法

提出了一种基于分块潜在语义的场景分类方法。该方法首先对图像进行均匀分块并使用分块内视觉词汇的出现频率来描述每一个分块,然后利用概率潜在语义分析（PLSA）方法从图像的分块集合中发现潜在语义模型,最后利用该模型提取出潜在语义在图像分块中的出现情况来进行场景分类。在13类场景图像上的实验表明,与其他方法相比,该方法具有更高的分类准确率。     

基于多尺度特征提取的多导联心跳信号分类

心电图(ECG)是临床上诊断心脏疾病的重要依据,从中提取关键、有效的特征是自动诊断系统的关键.而现今多数研究仅使用单导联或双导联数据,提取的特征不够全面,无法很好地区分不同心跳中的细微差别.为了获得更加全面的特征和更优异的分类表现,本文提出了基于多尺度特征提取的多导联心跳信号分类方法(MSNet).首先,该方法接收多导...     

基于视觉感知的运动目标跟踪算法

针对运动目标跟踪问题, 为解决跟踪过程中因遮挡、目标尺度变化等易造成跟踪失败的现象, 提出一种基于视觉感知的跟踪算法。该算法以神经元响应为视觉特征, 首先从自然图像中学习初级视皮层细胞感受野; 然后计算背景图像和视频序列图像的神经元响应并得出差值, 与动态阈值比较, 识别出运动目标, 通过迭代实现目标跟踪。多类别实验结果表明, 该算法实现了运动目标稳定跟踪, 目标跟踪准确率达93. 5%且鲁棒性增强, 与典型算法Camshift和SIFT相比, 提高了跟踪算法的准确性和鲁棒性。     

融合多特征的视频帧间篡改检测算法

传统的视频帧间被动取证往往依赖单一特征,而这些特征各自适用于某类视频,对其他视频的检测精度较低。针对这种情况,提出一种融合多特征的视频帧间篡改检测算法。该算法首先计算视频的空间信息和时间信息值并对视频进行分组,接着计算视频帧间连续性VQA特征,然后结合SVM–RFE特征递归消除算法对不同特征排序,最后利用顺序前向选择算法和Adaboost二元分类器对排序好的特征进行筛选与融合。实验结果表明,该算法提高了篡改检测精度。     

基于人眼视觉感知驱动的井下图像增强算法

为解决传统的对比度增强方法在对井下图像进行处理时不能兼顾压缩动态范围、调整亮度以及增强图像对比度等问题,提出一种基于人眼视觉感知特性的井下图像对比度增强算法。首先根据人眼亮度掩蔽特性对图像进行区域划分,然后基于非线性亮度映射模型,对图像的不同区域进行不同尺度的非线性调整,最后再将亮度调整后的不同区域组合成新的图像。实验结果表明,该方法能有效增强井下低照度图像的对比度,提升图像的视觉效果。     

基于GBVS改进的Object Bank场景分类方法

Object bank (OB) representation is a novel image representation for high-level visual tasks, which encodes semantic and spatial information of the objects within an image. However, the poor precision of the object detectors in OB method influences the extraction effect of high-level image feature. In order to solve this problem, a new OB method improved by Graph-Based Visual Saliency (GBVS) is proposed. Firstly, GBVS saliency model is utilized to process the image and detect the saliency regions and extract better high-level feature. The experiments results show that the proposed method performs better in classification and increases the classification accuracy of 4%.     

一种基于图像区域系综分类的室外场景理解方法

多层感知机分类器是一种有效的数据分类方法，但其分类性能受训练样本空间的限制。通过多层感知机分类器系综提高室外场景理解中图像区域的分类性能，提出了一种自动识别室外场景图像中多种景物所属概念类别的方法。该方法首先提取图像分割区域的低层视觉特征，然后基于系综分类方法建立区域视觉特征和语义类别的对应关系，通过合并相同标注区域，确定图像中景物的高层语义。对包含5种景物的150幅图像进行测试，识别率达到了87％。与基于多层感知机方法的实验结果相比，本文提出的方法取得了更好的性能，这表明该方法适合于图像区域分类。此外，系综方法还可以推广到其他的分类问题。