基于多层次特征差异图的视觉场景识别

场景外观剧烈变化引起的感知偏差和感知变异给视觉场景识别带来了很大的挑战。现有的利用卷积神经网络（CNN）的视觉场景识别方法大多数直接采用CNN特征的距离并设置阈值来衡量两幅图像之间的相似性,当场景外观剧烈变化时效果较差,为此提出了一种新的基于多层次特征差异图的视觉场景识别方法。首先,一个在场景侧重的数据集上预训练的CNN模型被用来对同一场景中感知变异的图像和不同场景中感知偏差的图像进行特征提取。然后,根据CNN不同层特征具有的不同特性,融合多层CNN特征构建多层次特征差异图来表征两幅图像之间的差异。最后,视觉场景识别被看作二分类问题,利用特征差异图训练一个新的CNN分类模型来判断两幅图像是否来自同一场景。实验结果表明,由多层CNN特征构建的特征差异图能很好地反映两幅图像之间的差异,文中提出的方法能有效地克服感知偏差和感知变异,在场景外观剧烈变化下取得很好的识别效果。     

基于三维视觉的室内设计虚拟现实方法研究

针对传统基于辐射度算法的室内场景三维虚拟现实方法存在耗时高、建模效果差的弊端,研究基于三维视觉的室内设计虚拟现实方法,采用主动式、全方位立体视觉传感器采集室内场景的三维点云数据,基于点云数据进行室内场景内的物体几何关系以及摆放位置分布,完成室内三维场景的自主合成,对物体摆放位置分布实施训练,通过三维场景点云数据集获取相同类型支撑物中物体产生的位置,对数据实施归一化操作,采用高斯混合模型拟合这些数据,训练出三维室内场景中物件在支撑面中的位置分布模型。采用基于深度信息场景重构方法实现室内三维场景的虚拟实现。实验结果说明,所提方法重构的室内场景直观、视觉效果好,并且具有较高的重构效率和精度。     

一种大场景SAR图像中舰船检测虚警抑制方法北大核心CSCD

针对进行实际大场景合成孔径雷达(SAR)图像舰船检测时容易出现众多陆地上的虚警问题,文中提出一种基于纯背景混合训练的方法来抑制大场景SAR舰船检测的虚警。该方法的核心是将不含有舰船的图像样本(纯背景样本)也输入到网络中进行训练,使网络能够学习纯背景样本特征,最终实现陆地上一些与舰船相似度高的强散射亮点的虚警抑制。由于现有公开的数据集缺少纯背景图像样本,为了便于验证该方法的有效性,文中还组建了由10幅Sentinel-1大场景SAR图像组成的纯背景混合训练SAR舰船检测数据集。在该数据集上,两种单阶段检测器(RetinaNet和SSD)和两种双阶段检测器(Faster R-CNN和Cascade R-CNN)的实验对比结果表明纯背景混合训练可以有效抑制大场景SAR图像中舰船检测的虚警。     

YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

基于自注意力的合成孔径雷达图像目标分类方法北大核心CSCD

基于自注意力的视觉变换器(ViT)模型在自然语言处理和计算机视觉领域显示出强大的特征提取和模式表征能力。针对合成孔径雷达(SAR)图像特征与自然物体图像特征存在明显差异的问题,文中提出一种使用ViT模型进行SAR图像目标分类识别的方法,探索基于自注意力的深度学习模型在SAR图像智能化处理的可行性和有效性。ViT模型架构设计与自然语言处理模型架构相似,具有设置简单、可扩展性好、开箱即用的优点。模型主要由图像块分割、图像块投影嵌入、位置嵌入、自注意力模块序列和全连接分类器五部分组成。选择MSTAR公开数据集作为实验数据集,并对数据集训练样本进行数据增强,在增强数据集上对ViT模型进行训练,以在验证集上获得较低的误差和较高的识别率并使网络收敛。使用训练好的ViT模型对SAR图像测试样本进行分类测试,结果显示ViT模型对于SAR图像分类有着高准确率和良好的泛化能力,基于自注意力深度学习方法在SAR图像自动化处理领域具有广阔的应用前景。     

复杂场景下基于OSA改进的多目标跟踪算法研究

为了提升deepsort多目标跟踪算法中的重识别模块性能,增强网络对图像特征的语义表达,优化算法在复杂场景中对目标身份一致性判断能力.提出OSA模块改进宽残差网络,并利用数据集对改进后的模型进行训练,获取相关数据及权重模型;研究改进网络与原网络在同一数据集下的模型训练效果,并与原重识别模块下的YOLOV3-deepso...     

基于深度学习的机载SAR典型目标识别算法

在多分辨率场景下基于合成孔径雷达(SAR)图像进行多类典型目标识别,是SAR图像信息解译的重要环节。基于YOLO-v4网络模型,针对目前机载SAR图像及目标信息的特点,提出一种应用于真实机载平台下多场景跨分辨率的实时检测处理架构。文中通过对多类目标进行双重检测,对样本数据量低的训练集进行数据增强,并将图像分割后的同类型目标信息进行合并,解决了多分辨率SAR场景下目标尺度跨度较大的问题。实验结果表明：该方法能够在相关机载SAR数据集上达到六类目标(机场、桥梁、立交桥、汽车、装甲车、飞机)82.8%的mAP值,对后续机载SAR复杂场景下更多类型目标的检测识别具有重要的借鉴意义。     

基于层次自注意力的高效场景文本识别

在深度学习技术的发展驱动下,智慧应用场景对文本识别任务提出了更高的要求。现有方法更加侧重构建强大的视觉特征提取网络,忽略了文本序列特征的提取能力。针对该问题,提出了一种基于层次自注意力的场景文本识别网络。通过融合卷积和自注意力可以建立并增强文本序列信息与视觉感知信息间的联系。由于视觉特征和序列特征在全局空间中的充分交互,有效地减小了复杂背景噪声对识别精度的影响,实现了对规则和不规则场景文本的鲁棒性预测。实验结果表明,所提方法在各数据集上均表现出竞争力。尤其是在CUTE数据集上可以实现81.4%,6.24 ms的最佳精度和速度,具备一定的应用潜力。     

基于局部特征显著化的场景分类方法

场景图像分类是机器视觉中一个热门的方向,场景图像具有内容丰富、概念复杂的特点。已有的基于深度网络的场景分类算法,往往是通过改进网络结构或者数据增强等方式提升场景识别效果,但是缺少对图像中场景要素和对象要素之间关系的考虑。基于此,本文在分析现有基于深度网络的场景分类技术的基础上提出了一种局部特征显著化的场景分类算法。该算法旨在结合场景局部特征和对象局部特征的特点,利用两类不同特征存在的互补关系,分别对其进行优化,得到更具判别力的场景特征描述。局部特征显著化算法在MIT Indoor67数据集上得到的测试精度为88.88%,实验结果验证了该算法的有效性。     

基于Grassmann流形几何深度网络的图像集识别方法

近年来,深度学习以其强大的非线性计算能力在目标检测和识别任务中取得了巨大的突破。现有的深度学习网络几乎都是以数据的欧氏结构为前提,而在计算机视觉中许多数据都具有严格的流形结构,如图像集可表示为Grassmann流形。基于数据的流形几何结构来设计深度学习网络,将微分几何理论与深度学习理论相结合,提出一种基于Grassmann流形的深度图像集识别网络。同时在模型训练过程中,使用基于矩阵链式法则的反向传播算法来更新模型,并将权值的优化过程转换为Grassmann流形上的黎曼优化问题。实验结果表明:该方法不仅在结果上识别准确率得到了提高,同时在训练和测试速度上也有一个数量级的提升。