基于多分辨率时频特征融合的声学场景分类

声学场景分类是计算机听觉中最难的任务之一,在单一特征条件下采用基本的卷积神经网络相对于传统的分类方法精度已经有所提升,但是效果依然不够理想。针对这一问题,在卷积神经网络框架下,提出了一种基于时频特征融合的声学场景分类方案。在分类模型构建方面,提出一种多分辨率卷积池化方案,构造多分辨率卷积神经网络,以更好地适应提取特征的时频结构;在特征选取方面,融合低层次包络特征对数——Mel子带能量和高层次结构特征——非负矩阵分解系数矩阵,把两种二维特征堆叠为三维特征送入分类模型。在2017年和2018年声学场景分类和事件检测挑战赛的开发数据集上进行了训练和测试。实验结果表明,文中提出方案比基线系统的分类精度分别提高7.5%和10.3%,可有效改善分类效果。     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

融合配准的多站室外大场景激光点云分割

针对室外场景范围广、分割难度大、识别效果不显著等问题,提出了一种融合多站点云配准的室外大场景分割方法.首先,根据室外场景视野大、点云数据量庞大特点,选取多个视角下重叠区域较多的建筑场景点集,结合SAC-IA和ICP方法进行点云自动配准,从而构建出点云密度相对均匀的室外大场景完整结构;然后,选用公共数据集Semantic...     

多分辨率多特征融合自适应相关滤波跟踪算法

核相关滤波算法跟踪过程中仅采用单一特征,目标尺度不能自适应变化,未对不同分辨率视频做相应预处理,导致跟踪性能不佳.针对核相关滤波算法存在的缺陷,提出了一种多分辨率、融合多种特征信息和自适应调整跟踪框的相关滤波跟踪算法.该算法融合方向梯度直方图特征、颜色属性特征和灰度特征,提高了对目标的表征能力,并利用主成分分析技术降维保证算法效率;计算尺度滤波器与尺度金字塔的响应得分,自适应确定跟踪框的最佳尺寸;提出多分辨率多分段预处理策略,对不同视频分辨率的跟踪目标进行尺寸缩放.实验结果表明,本算法在OTB2015数据集上的一次通过评估的精确度和成功率分别比核相关滤波算法提高了6.3%和10.3%,跟踪速度达到了38.16 FPS,满足实时性要求,而且跟踪精度和鲁棒性均优于其它8种主流算法.     

三维点云分割研究综述

点云是在三维空间层面完整表达周围环境的重要数据形式.传统的自主移动机器人通过激光雷达或者RGBD相机等传感器可以获取点云数据.点云分割是认知与理解点云数据中所携带的信息的重要方法.本文对点云分割,包括传统点云分割、点云语义分割、点云实例分割等的发展现状进行了分析与阐述.     

融合多尺度特征的光场图像超分辨率方法

光场相机作为新一代的成像设备,能够同时捕获光线的空间位置和入射角度,然而其记录的光场存在空间分辨率和角度分辨率之间的制约关系,尤其子孔径图像有限的空间分辨率在一定程度上限制了光场相机的应用场景。因此本文提出了一种融合多尺度特征的光场图像超分辨网络,以获取更高空间分辨率的光场子孔径图像。该基于深度学习的网络框架分为三大模块：多尺度特征提取模块、全局特征融合模块和上采样模块。网络首先通过多尺度特征提取模块学习4D光场中固有的结构特征,然后采用融合模块对多尺度特征进行融合与增强,最后使用上采样模块实现对光场的超分辨率。在合成光场数据集和真实光场数据集上的实验结果表明,该方法在视觉评估和评价指标上均优于现有算法。另外本文将超分辨后的光场图像用于深度估计,实验结果展示出光场图像空间超分辨率能够增强深度估计结果的准确性。     

融合特征分类和独立字典训练的超分辨率重建

超分辨率重建技术在重构图像细节、改善图像视觉效果方面具有重要作用。为进一步提高图像的重建质量,提出了一种有效的超分辨率重建方法。首先提取图像块的几何特征来构造决策树,以期通过监督的方式进行图像块分类。然后针对不同类型的图像块训练集,分别基于K-SVD独立训练相应的高分辨率字典和低分辨率字典。最后为了保证图像块的准确和快速重建,对高分辨率训练集和低分辨率训练集的系数求解映射矩阵,其用于在重建阶段将低分辨率稀疏系数映射为高分辨率稀疏系数以达到重建目的。实验结果表明,本文的方法与其他经典的超分辨率重建方法相比,在重建效果方面具有明显提高。

     

大规模点云选择及精简

点云选择与精简是三维扫描系统中应对背景数据、冗余采样、分布不均匀等问题的必要后处理步骤.针对定制低成本三维扫描系统的需求,传统方法仍有很多局限性.这是由于研究领域未提供支持套索UI接口的点云选择算法;传统点云精简方法侧重曲率自适应分布,无法保证平坦区域的均衡分布.论文提出一种支持套索UI接口的点云选择算法,通过构建套索形状矩形覆盖与点云八叉树剔除大部分点在多边形内的判断;提出一种基于Poisson-disk采样的均衡分布的点云精简算法,并以采样点邻域球布尔交运算来定义曲面上的圆盘半径度量,具有保持尖锐边特征及边界的性质.实验结果表明,论文方法能够较好满足低成本三维扫描系统中点云删减处理的需求.     

基于小波变换的图像特征点提取方法

图像教据的无序激增使得基于内容的图像检索技术成为一个研究热点。为克服普通颜色特征不考虑颜色的空间分布的缺点,提出一种基于小波变换的图像多分辨率分块特征点提取方法。     

基于深度学习的舰船辐射噪声多特征融合分类

为了改善分类系统的性能,进一步提高舰船辐射噪声分类的正确率,该文提出了一种基于深度神经网络的多特征融合分类方法。该方法首先提取舰船辐射噪声几种不同的特征,将提取的特征同时用于训练具有多个输入分支的深度神经网络,使网络直接在多种特征参数上进行联合学习,通过神经网络的输入分支和连接层实现特征融合,再对舰船辐射噪声进行分类。为了特征深度学习提取了舰船辐射噪声的频谱特征、梅尔倒谱系数和功率谱特征,并将多特征融合分类方法与在一种特征上进行深度学习分类方法的正确率进行对比。实验结果表明,基于深度学习的多特征融合分类方法可以有效地提高舰船辐射噪声分类的正确率,是一种可行的分类方法。     

基于多传感器两级特征融合的滚动轴承故障诊断方法

针对单个传感器获取信息有限导致诊断精度不足的问题,提出一种基于多传感器两级特征融合的故障诊断方法,并将其应用于不同工况下的滚动轴承故障诊断中。首先,在第一阶段特征融合中,通过变分模态分解计算每个传感器振动信号的本征模态函数(intrinsic mode function, IMF),消除噪声等冗余信息;再根据IMF提取时域、频域和多尺度熵特征,在一维特征层面融合成一个多域特征集。其次,在第二阶段特征融合中,首先构建基于Swish激活函数和log(cosh)损失函数改进的深度自编码网络,在此基础上进一步融合多域特征集并进行故障分类。将所提模型应用于不同工况下的滚动轴承故障诊断数据集,试验结果表明,与现有方法相比,所提方法具有更高的分类准确率和鲁棒性。     

引入反馈注意力的并行式多分辨率语义分割算法

目的 为了进一步提升语义分割精度,解决当前语义分割算法中特征图分辨率低下,低级信息特征随意丢弃,以及上下文重要信息不能顾及等问题,文中尝试提出一种融合反馈注意力模块的并行式多分辨率语义分割算法。方法 该算法提出一种并行式网络结构,在其中融合了高低分辨率信息,尽可能多地保留高维信息,减少低级信息要素的丢失,提升分割图像的分辨率。同时还在主干网络中嵌入了带反馈机制的感知注意力模块,从通道、空间、全局3个角度获得每个样本的权重信息,着重加强样本之间的特征重要性。在训练过程中,还使用了改进的损失函数,降低训练和优化难度。结果 经实验表明,文中的算法模型在PASCAL VOC2012、Camvid上的MIOU指标分别为77.78%、58.67%,在ADE20K上的也有42.52%,体现了出较好的分割性能。结论 文中的算法模型效果相较于之前的分割网络有一定程度的提升,算法中的部分模块嵌入别的主干网络依旧表现出较好的性能,展现了文中算法模型具备一定的有效性和泛化能力。     

基于多分辨率分析和分水岭的图像分割方法

提出了一种基于小波多分辨率分析和分水岭算法的图像分割方法.在小波分解后的低分辨率图像上进行分水岭分割,提高了分割的速度;由低分辨率图像返回到高分辨率图像时,采用了一种基于边缘信息的合并函数,避免了边缘信息的丢失,保证了分割的准确性.此外预处理过程中,在梯度图像上基于Rayleigh分布采用阈值处理的方法,有效抑制了高斯噪声对梯度图像的影响,避免了过分割.实验结果证明,本文所提出的基于小波多分辨率分析的图像分水岭分割算法能够很好地兼顾算法的效率和分割的准确性.     

基于多特征融合的背景建模方法

为了构建鲁棒的背景模型和提高前景目标检测的准确性, 综合考虑视频图像在同一位置上像素点的时间相关性和邻域像素的空间相关性, 本文提出一种基于多特征融合的背景建模方法, 用单帧图像中像素的邻域相关性快速建立初始背景模型, 利用视频图像序列像素值、频数、更新时间和自适应敏感度更新背景模型, 有效改善了ghost现象, 减少运动目标的孔洞和假前景。通过多组数据测试, 表明本算法提高了对动态背景、复杂背景的适应性和鲁棒性。     

融合空间掩膜预测与点云投影的多目标跟踪

针对自动驾驶目标跟踪领域中,目标遮挡引起特征点损失,从而导致丢失跟踪目标的问题,本文提出了一种融合空间掩膜预测与点云投影的多目标跟踪算法,以减少遮挡产生的不利影响。首先,通过实例分割掩膜提取模型处理时序图像数据,获得基掩膜数据。其次,将获取掩膜数据输入跟踪器,通过预测模型获取后续序列图像掩膜输出,并利用验证器进行对比分析,以获得准确的目标跟踪输出。最后,将获取的二维目标跟踪数据投影到对应的点云图像中,获得最终的三维目标跟踪点云图像。本文在多个数据集上进行仿真实验,实验结果表明本文算法的跟踪效果优于其他同类算法。此外,在实际道路上进行测试,对于车辆的检测精度达到81.63%,验证了本文算法也可以满足实际路况下目标跟踪的实时性需求。     

基于双分支多尺度融合网络的毫米波SAR图像多目标语义分割方法

在毫米波合成孔径雷达(SAR)安检成像违禁品的检测与识别中,存在着目标尺寸过小、目标被部分遮挡和多目标之间重叠等复杂情况,不利于违禁品的准确识别。针对这些问题,提出了一种基于双分支多尺度融合网络(DBMFnet)的违禁品检测方法。该网络使用Encoder-Decoder的结构,在Encoder阶段,提出一种双分支并行特征提取网络(DBPFEN)来增强特征提取;在Decoder阶段,提出一种多尺度融合模块(MSFM)来提高对目标的检测能力。实验结果表明,该方法的均交并比(mIoU)均优于现有的语义分割方法,降低了漏检与错检率。

     

基于点云与图像交叉融合的道路分割方法

道路检测是车辆实现自动驾驶的前提。近年来,基于深度学习的多源数据融合成为当前自动驾驶研究的一个热点。本文采用卷积神经网络对激光雷达点云和图像数据加以融合,实现对交通场景中道路的分割。本文提出了像素级、特征级和决策级多种融合方案,尤其是在特征级融合中设计了四种交叉融合方案,对各种方案进行对比研究,给出最佳融合方案。在网络构架上,采用编码解码结构的语义分割卷积神经网络作为基础网络,将点云法线特征与RGB图像特征在不同的层级进行交叉融合。融合后的数据进入解码器还原,最后使用激活函数得到检测结果。实验使用KITTI数据集进行评估,验证了各种融合方案的性能,实验结果表明,本文提出的融合方案E具有最好的分割性能。与其他道路检测方法的比较实验表明,本文方法可以获得较好的整体性能。     

基于自适应模板更新与多特征融合的视频目标分割算法

针对SiamMask不能很好地适应目标外观变化,特征信息利用不足导致生成掩码较为粗糙等问题,本文提出一种基于自适应模板更新与多特征融合的视频目标分割算法。首先,算法利用每一帧的分割结果对模板进行自适应更新;其次,使用混合池化模块对主干网络第四阶段提取的特征进行增强,将增强后的特征与粗略掩码进行融合;最后,使用特征融合模块对粗略掩码进行逐阶段细化,该模块能够对拼接后的特征进行有效的加权组合。实验结果表明,与SiamMask相比,本文算法性能有明显提升。在DAVIS2016数据集上,本文算法的区域相似度和轮廓相似度分别为0.727和0.696,比基准算法提升了1.0%和1.8%,速度达到40.2 f/s;在DAVIS2017数据集上,本文算法的区域相似度和轮廓相似度分别为0.567和0.615,比基准算法提升了2.4%和3.0%,速度达到42.6 f/s。     

多特征融合的非线性目标跟踪算法

为克服视频目标跟踪中仅利用单一特征易导致的跟踪失败,提出了一种基于多特征融合的非线性目标跟踪算法.通过灰度直方图来表征目标的总体分布,利用边缘特征来提取目标的高频细节,将两者融合于粒子滤波的概率模型框架中.并提出一种基于半峰宽和贡献度的特征可信度计算方法,动态调节粒子数目,使可信度高的特征拥有较多的粒子.最后,进行了目标跟踪仿真实验,结果表明,该算法具有较强的抗局部遮挡能力,与单特征跟踪算法相比,平均跟踪误差减小了0.5个像素.