基于显著图加权视觉语言模型的图像分类方法

传统基于视觉语言模型( VLM)的图像分类方法在参数估计阶段,通常采用最大似然估计的方式统计视觉单词的分布,忽略了图像背景噪声对该模型参数估计的影响。为此,提出一种新的图像分类方法。利用基于视觉注意的显著性检测算法提取图像中的显著区域和背景区域,构建的图像带有显著图标识的视觉文档,训练视觉单词的显著度权重和条件概率,并使用显著图加权视觉语言模型进行图像分类。实验结果表明,与传统VLM等方法相比,该方法能有效克服图像背景噪声的影响,增强视觉单词的区分性,提高分类准确率。     

图像级别和像素级别的显著图像的融合

RGB-D图像显著目标检测旨在从一对RGB图像和深度图像中识别视觉上最显著的目标。目前,学术界已经提出了各种有效的单幅RGB-D图像显著性检测方法,而这些检测方法之间存在着优势互补。因此,对各种方法生成的显著图进行融合以提高显著性检测精度的研究工作同样不可或缺。在对相关显著图像融合工作研究后,提出两个级别上的融合过程。首先,运用多种现成的RGB-D显著图检测方法生成初始显著图;其次,分别对图像级和像素级两个层面上的显著图融合工作进行了研究,再将这两个层面上得到的显著图按比例进行融合,得到最终的图像显著图。实验结果表明,该显著图融合方法的效果不仅优于单个图像显著性检测方法,而且和其他的融合方法相比,也具有一定优势。     

基于轻量级特征融合卷积网络的图像分类算法

传统卷积神经网络存在卷积核单一、网络结构复杂和参数冗余的问题。提出一种轻量级特征融合卷积神经网络MS-FNet。在融合模块中采用多路结构以增加卷积神经网络的宽度,通过不同尺寸的卷积核对输入特征图进行处理,提高网络在同一层中提取不同特征的能力,并在每次卷积后采用批归一化、ReLU等方法去除冗余特征。此外,使用卷积层代替传统的全连接层,从而加快模型的训练速度,缓解因参数过多造成的过拟合现象。实验结果表明,MS-FNet可在降低错误率的同时,有效减少网络参数量。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。     

基于视觉描述符的图像大数据分类算法仿真

图像大数据化是不可阻挡的科技进程,但随着图像数量的增多,传统分类算法在图像识别与分类上具有一定的局限性。为解决大数据图像分类的精确度低下的问题,提出一种融合图像视觉描述符与图像初级特征的分类算法。首先利用迁移学习的优势,从VGG18的最大池化层提取图像的初级特征;然后加个图像预处理,采用“82圆型LBP算子”与“化Canny算子”分别提取同质纹理描述符与边缘直方描述符;最后将图像基础特征与视觉描述符相融合构建基于支持向量机的图像识别分类模型(DES-SVM)。仿真结果表明,经图像视觉描述符与图像初级特征相融合的建模方式,有效的提高了图像分类的精确度,较传统SVM模型相比,DES-SVM模型在UKB图像库与ZBD图像库上准确率、召回率与F指标分别提高了7.85%、8.42%和8.13%。构建的DES-SVM图像识别分类模型通过视觉描述符提取的方式有效的提升了模型的性能。     

分类激活图增强的图像分类算法

分类激活图(CAM)具有稀疏、不连续、不完整等问题,并且目前大部分研究仅将其用于可视化分析。基于此,首先利用扩张卷积设计了自动加权的多尺度特征学习来弥补分类激活图存在的问题,并将该多尺度特征与分类激活图生成方法结合,设计了多尺度分类激活图生成方法。进一步,将该多尺度的分类激活图嵌入到网络中构成了端到端的结构,实现分类性能增强的目的。以残差网络ResNet为骨干网络,提出了分类增强模型ResNet-CE。在三个公开数据集CIFAR10、CIFAR100和STL10上,对该模型进行了大量的实验。实验表明:ResNet-CE在这三个数据集上的分类性能与参数量相当的ResNet相比有明显的提升,识别的错误率分别降低了0.23%、3.56%和7.96%,并且分类性能优于当前大部分的分类网络。提出的算法能够简单地迁移到已有的分类模型中,提高原有模型的分类性能。同时,该算法保留了对模型判断依据可视化和解释的功能,这在医疗影像中的疾病识别、无人驾驶的场景识别等场景中具有一定的应用价值和意义。     

基于显著图的输电线路杆塔图像拼接方法

无人机拍摄的输电线路杆塔图像分辨率高且背景复杂,基于传统特征点的拼接算法在背景中检测出大量的特征点增加了图像匹配的时间,影响了杆塔的匹配精度。针对该问题提出了一种既稳定又具有较小时间开销的输电线路杆塔图像自动拼接方法,利用改进的显著性检测算法得到杆塔图像的显著图,将图像的前景与背景分离,减少了背景对图像中杆塔拼接效果的影响;并采用基于定向的加速分割检测特征(FAST)和旋转不变性的二进制鲁棒独立元素特征(BRIEF)描述子(ORB)特征点的图像匹配算法,以提高特征点提取和匹配的速率;最后利用多尺度融合策略得到最终的拼接结果。实验结果表明,所提方法具有较好的拼接效果和拼接效率。     

基于卷积神经网络的垃圾图像分类算法

垃圾分类作为资源回收利用的重要环节之一,可以有效地提高资源回收利用效率,进一步减轻环境污染带来的危害.随着现代工业逐步智能化,传统的图像分类算法已经不能满足垃圾分拣设备的要求.本文提出一种基于卷积神经网络的垃圾图像分类模型(Garbage Classification Network, GCNet).通过构建注意力机制,模型完成局部和全局的特征提取,能够获取到更加完善、有效的特征信息;同时,通过特征融合机制,将不同层级、尺寸的特征进行融合,更加有效地利用特征,避免梯度消失现象.实验结果证明, GCNet在相关垃圾分类数据集上取得了优异的结果,能够有效地提高垃圾识别精度.     

基于视觉显著度的多聚焦图像融合方法

多聚焦图像存在聚焦区和离焦区,聚焦区通常吸引人的注意力,具有突出的视觉显著性。传统融合算法缺乏对聚焦区域的定位能力,对多聚焦图像融合的适应性普遍较差。为此,提出一种模拟人类视觉注意机制的多聚焦图像融合方法。利用谱残差算法计算源图像的显著度图,通过判断不同源图像相同位置上的像素显著性,选择显著度大的图像像素组成该源图像的聚焦区,显著度相等的像素构成边界带,使用腐蚀膨胀操作消除聚焦区内的孤立像素点,以每幅源图像的聚焦区域和梯度值较大的边界带像素作为融合图像的像素。实验结果表明,该方法能自主选择清晰像素,获得37d B以上的高峰值信噪比,且基本无参数设置,在不同类型图像融合中均表现出较强的鲁棒性。     

基于和积网络的花朵图像分类研究

通过和积网络的结构学习，将其与新颖的图像特征提取方法相结合，提出了一个新的花朵图像分类方法。所提出的分类方法在考虑了自然场景图像的特点下，利用图像小块的信息进行特征提取，提取到的特征向量具有可辨别性、独立性和鲁棒性；对特征向量构成的矩阵使用和积网络结构学习算法，有利于将相似的实例聚为一类，不同的变量分为不同类。实验结果表明，提出的基于和积网络的花朵图像分类算法有着更理想的分类效果。     

基于视觉显著图的彩色图像检索

为提高图像检索效率,提出一种基于视觉显著图的彩色图像检索方法。利用视觉显著图去除原图中与检索任务无关的背景信息,保留用户感兴趣的图像区域信息,采用小波域的BDIP-BVLC方法提取图像特征,并引入二次查询度量策略进行距离度量。实验结果表明,与基于显著性加权的检索方法相比,该方法的平均查准率较高。     

基于显著图的高隐蔽性模型指纹算法

在核心任务场景下训练深度神经网络(DNN)需要越来越多的算力资源,这刺激了基于云端预测API接口的模型的窃取与盗用,同时也违反了模型所有者的知识产权.为了追踪公开的非法模型副本,深度神经网络的模型指纹技术为希望保持模型完整性的模型所有者提供了一种强大的版权验证方案.然而,现有的模型指纹方案主要基于输出层面的内在痕迹(例如:特定输入样本下的错误预测行为),这导致在模型指纹验证阶段缺乏隐蔽性.本文基于模型预测时的显著图(saliency map)痕迹,提出了一种全新的任意下游任务通用的模型指纹方案.本文的方案提出了受约束的显著图操控目标,构建标签不变和自然的指纹样本,显著提高了模型指纹的隐蔽性.根据对3种典型任务场景下全面的评估结果,本文提出的方法被证明能够显著地增强现有方案的指纹版权验证的效果,同时保持高度的模型指纹隐蔽性.     

基于图像分类的弱监督RGBD图像显著性检测方法

彩色深度(Red Green Blue Depth,RGBD)图像不仅包含红绿蓝三通道的颜色信息,还包含深度信息,因此能提供更全面的空间结构信息.近年来,随着RGBD图像的广泛应用,基于RGBD的图像显著性检测方法相继被提出.为了更好地解决弱监督图像显著性检测方法中的跨模态数据融合问题,本文提出一种基于图像分类的弱监督...     

基于视觉显著性的目标分割算法

传统的图像分割算法在分割前需要输入目标的先验信息,因此不适应盲图像的分割。为此,提出了一种基于显著性的图像分割算法,主要借鉴人的注意力机制将图像中具有视觉显著性的区域分割出来。首先,利用Gist全局特征获取目标图像的相似图像集;然后,结合尺度不变特征SURF(speeded up robust features)和Lab颜色模型空间特征对目标图像内以及相似图像集提取显著性特征,并根据显著性块频率低的原理进行显著性分割;最后,结合图分割获得最终的显著性区域分割结果。实验结果表明该方法适用于具有显著性视觉语义的盲图像。     

基于改进显著图的高效裂纹检测算法

裂纹检测对于确保设施和设备的安全运行非常重要。然而现有的裂纹检测方法数据标注困难,且训练时间长,检测速度慢。针对这些问题,提出一种基于改进显著图的裂纹检测算法,应用卷积神经网络提取的特征计算出图像中裂纹的位置,从而实现裂纹检测。该算法解决了裂纹检测算法数据标注困难的问题;训练时间短,使用两块k80显卡训练时间仅为23 min;检测速度快,具有105 帧/s的检测速度;同时在自制数据集上达到了52%的平均精度,验证了该算法的有效性。     

基于颜色差异计算的图像显著性检测算法研究

针对目前显著性算法普遍面临的背景噪声较多,准确性较低等问题,提出一种基于图像颜色对比的显著性检测算法.首先在Lab伪彩色空间域将图像进行SLIC超像素分割,依照图像的全局对比计算,确定前景预选区域.然后以该区域内超像素特征通道信息值作为参考值,计算各超像素显著值,得到初步显著图.最后构建视觉中心,考虑颜色权重信息对显著...     

图像显著估计的并行算法研究

在数字图像处理中,图像显著估计已成为一种重要的工具。然而,在现有的算法中,很难兼顾准确度和实时应用要求。针对自底向上的图像显著估计模型的特点,利用NVIDIA CUDA并行计算架构的优势,提出了一种满足实时应用要求的图像显著估计并行算法。结合超像素分割和Warshall图论知识对图像进行边缘视觉模糊和背景概率估计,使用基于对比度的图像显著估计模型,突出颜色差异较低的空间紧凑区域,得到优化后的图像显著目标。在保证显著物体检测性能的前提下,提升了算法的效率,满足了实时应用要求。