基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

云环境中基于目标检测的密文图像检索方案

越来越多的企业和个人用户选择将大量的图像文件存储在云服务器中,并提供图像的检索和共享功能。为了保障所存储的重要图像信息不被窃取,图像文件以加密的形式存储在云服务器中,这给图像的检索操作带来了挑战。传统的明文检索方案已经无法适用,并且如何保证大量密文图像数据的检索效率和精确度也是一个重要问题。针对上述问题,提出了一种云环境中基于目标检测的密文图像检索方案,利用基于深度学习的目标检测模型Faster R-CNN对图像精确提取关键词集合和特征向量,使用关键词集合对图像集合粗分类,使用多重线性映射对关键词加密并构建安全索引,以高效检索出匹配的图像集合,再对图像特征向量精确匹配,实现图像的细分类,以检索出最终的图像。安全性分析和性能评估表明该方案具有高安全性、检索效率和精确度。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

基于超像素的人工神经网络图像分类

基于人工神经网络对图像标签分类,为简化后续数据处理,先用Normalized Cut将图像分割为超像素,提取特征向量,通过输入训练样本集,对网络进行训练,在最小均方误差意义下得到网络参数,最后在Matlab的仿真实验中基于不同隐藏层节点,使用BP神经网络模型对图像超像素进行分类。     

基于卷积神经网络的植物图像分类方法研究

近年来,卷积神经网络已经成为图像分类领域的应用研究热点,其对图像特征进行自提取、自学习,解决了以往图像分类方法的图像低层特征到高层概念之间存在的语义鸿沟。为了解决植物图像的自动分类问题,该文提出一种基于卷积神经网络(CNN)的植物图像分类方法,以植物图像为研究对象,将经典卷积神经网络VGG16与全卷积网络(FCN)相结合,把VGG16中两个通道数为4096的全连接层改为卷积层,构造一个新的VGG16模型为植物图像分类模型。文中制作了一个由43类每类500张总共21500张植物图像组成的图像数据集,作为植物图像分类模型的训练数据集。实验结果表明,所提方法在植物的图像分类上的准确率达到97.23%。应用文中提出的卷积神经网络对植物图像进行分类可以取得目前最好的植物图像分类效果。     

融合CNN与交互特征的多标签图像分类方法

图像在日常生活中广泛存在,图像分类具有重要的现实意义。针对当前多标签图像分类中因神经网络模型复杂以及提取到的图像特征信息不足而导致分类准确率较低、计算复杂度高等问题,提出一种融合卷积神经网络与交互特征的多标签分类方法,即MLCNN-IF模型。MLCNN-IF模型主要分成2步,首先参考传统CNN基本结构搭建一个仅有9层的轻量级神经网络（MLCNN）,用于处理图像数据并提取特征;其次基于MLCNN提取的特征,通过交互特征方法产生各独立特征的组合特征,以此获得新的更丰富的特征集。实验结果表明,MLCNN-IF模型对比AlexNet、GoogLeNet和VGG16在4种多标签图像数据集上取得了更好的分类结果,其准确率和精准率分别平均提高9%和4.8%;同时MLCNN网络结构相对更简洁,有效降低了模型参数量和时间复杂度。     

基于改进VGG16模型的人脸情绪识别预测研究

人脸情绪识别是人类沟通交流中的重要一部分,所以正确识别人脸情绪可以保证高质量的沟通效果。文章提出改进的VGG16模型作用于人脸情绪识别的预测研究。改进模型引入正负例样本均衡化来解决数据集分布不均衡的现象,从而优化局部最小值和过拟合现象;为了提高模型训练的泛化能力,引入局部归一化对图像数据集进行处理;利用交叉验证机制提高模型训练的精确度,且修改VGG16模型第一个全连接层为全卷积层以适应任意大小的输入样本。最后采用IM-VGG16、VGG16和ResNet18模型分别对数据集进行6分类识别。实验表明,与ResNet18和VGG16模型相比,IM-VGG16模型具有更高的情绪识别准确度,其最终的识别准确度为89.92%。     

结合分类卷积神经网络和形状上下文的线画图检索

传统线画图检索中仅仅利用线画图形状特征信息导致检索准确率不高,为了高效、准确地从线画图数据集中检索相似的线画图,提出一种结合分类卷积神经网络和形状上下文的线画图检索方法.首先利用大卷积核的分类卷积神经网络对线画图像数据集进行分类训练任务得到神经网络权值参数,使用该网络结构提取数据集中每张线画图的卷积特征信息;然后根据用户在画图板上绘制得到的简单线画图输入,利用卷积神经网络进行二次分类得到前15种最相似的分类,并结合形状上下文算法对15种分类匹配相似度并取前8种分类;最后使用卷积神经网络提取用户输入的线画图特征信息并与8种分类中的线画图特征信息进行匹配,根据相似度大小排序得到线画图匹配结果.基于Caffe卷积神经网络开发框架,采用TU-Berlinsketchbenchmark线画图数据集进行实验的结果表明,该方法能高效、准确地从数据集中检索得到相似线画图,同时能保证检索结果集中于最相似的几种类别且同类型中能有更多的选择.     

基于渲染图像角度结构特征的三维模型检索方法

为了充分利用三维模型的颜色、形状、纹理等特征,提出以三维模型渲染图像为数据集,利用渲染图像角度结构特征实现三维模型检索。首先,该方法以三维模型渲染图像为测试集,利用已有类别标记的自然图像作为训练集,通过骨架形状上下文特征对渲染图像进行分类,提取角度结构特征,建立特征库;然后,对输入的自然图像提取角度结构特征,与特征库中的角度结构特征进行相似度匹配计算,实现三维模型检索。实验结果表明, 充分利用 渲染图像的颜色、形状和空间信息是实现三维模型检索的有效方法。     

一个用语义分类实现的图象检索框架

基于语义分类的图像检索是根据图像的逻辑特征和抽象属性进行检索的技术,文章提出了基于语义的图像检索概念模型,在此基础上给出了一个用语义分类实现的的图像检索框架,重点讨论了图像语义分类、图像特征提取、检索匹配等问题。     

基于半监督学习的航空导线切断标识图像识别

针对航空线束自动布线过程中导线切断标识图像漏识别及误识别问题,提出一种基于多特征及最小重构误差标签传递的加权K近邻(Minimum Reconstruction Error Propagation K-nearest Neighbor,MREP-KNN)半监督切断标识图像分类方法.利用改进OTSU阈值分割方法分割出前景目标,提取前景目标旋转不变模式LBP纹理特征及几何特征作为目标特征向量,将目标特征向量输入训练好的MREP-KNN分类模型进行分类.对比实验结果表明,MREP-KNN能够在已知标签训练样本较小的情况下,利用最小重构误差将已知样本标签传递到未知样本,扩大训练样本,最后达到更好的分类效果.在标签数为12时,分类正确率达93.69％.     

基于模糊颜色特征和模糊相似度的图像检索方法

基于内容的图像检索系统的性能主要依赖于两个关键技术:图像特征提取和图像特征匹配.文中提取了所有图像的颜色特征,并在颜色特征提取过程中采用了适当的模糊算法以得到图像的模糊颜色特征.图像特征匹配主要取决于两个图像特征向量之间的相似度,文中提出了一种新的模糊相似度衡量方法,该方法利用给定的查询图像与其k幅近邻图像之间的相似度构成查询图像的k维模糊特征向量,利用每幅被检索图像与查询图像的k幅近邻图像之间的相似度构成每幅被检索图像的k维模糊特征向量,计算查询图像的k维模糊特征向量与每幅被检索图像的k维模糊特征向量之间的模糊相似度,并将检索到的图像按照模糊相似度按从大到小的顺序反馈给用户.为了验证提出的模糊颜色特征的有效性,文中在WANG数据集上进行了一系列的实验对比;为了衡量基于不同相似度的图像检索系统的性能,文中在WANG,Corel-5k和Corel-10k数据集上分别进行了一系列的实验对比.实验结果表明,基于最大最小值的图像检索系统的性能优于基于其他3种常用相似度的图像检索系统的性能,而基于模糊相似度的图像检索系统的性能优于基于最大最小值的图像检索系统的性能.在WANG,Corel-5k和Corel-10k数据集上,基于模糊相似度的图像检索系统检索到的前20幅图像的平均查准率比基于最大最小值的图像检索系统检索到的前20幅图像的平均查准率分别高4.92％,17.11％和19.48％;基于模糊相似度的图像检索系统检索到的前100幅图像的平均查准率比基于最大最小值的图像检索系统检索到的前100幅图像的平均查准率分别高4.94％,22.61％和33.02％.     

一种基于CNN-RNN模型的图像检索技术

图像检索是一项重要的研究课题，涉及如何快速、准确地检索和管理海量的图像数据。传统的图像检索技术主要依赖图像的视觉特征或文本描述进行匹配，但是难以充分理解图像的语义信息，对复杂场景的适应性较差。针对这一问题，文章提出了一种基于卷积神经网络-循环神经网络（Convolutional Neural Networks Recurrent Neural Network,CNN-RNN）模型的图像检索技术。该技术将CNN和RNN相结合，构建了一个统一的深度学习框架。其中，CNN模型用于从图像中提取全局特征，RNN模型用于学习图像与标签之间的语义关联和共现依赖。文章通过将CNN输出的特征序列输入到RNN模型中，实现了对图像全局语义信息的捕获。将设计系统在多个数据集上进行实验，结果表明，设计的方法能够有效提高图像检索的效率和准确性。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

一种提高手机人民币图像真伪识别率的CNN框架

论文为了解决手机人民币图像给人民币鉴伪任务带来的困难,构造了一个基于B-CNN的手机人民币图像鉴伪框架,该框架以带有提取手机人民币图像红色分量Lambda层的VGG16的block5的输出作为输入.将提取手机人民币红色分量的Lambda层加在VGG16网络的最前面,并用此时VGG16的block5的输出模拟双路搭建B-CNN网络.实验部分将通过两种不同的训练方法获取的论文提出的鉴伪框架和单一的VGG16、加了提取红色分量Lambda层的VGG16在手机人民币图像鉴伪识别上的方法进行了对比,实验表明在手机人民币图像上,论文提出的方法有更高的真伪识别性能.     

基于改进CNN-RANSAC的水下图像特征配准方法

水对光的吸收和散射效应降低了水下图像的质量,水下图像的可视范围受到限制,复杂水下场景下的鲁棒性和精确性问题使得特征提取与匹配成为一项具有挑战性的任务。为了更好地配准水下图像,提出了一种改进CNN-RANSAC的水下图像特征配准方法,首先通过基于深度卷积神经网络的水下图像增强方法对水下图像进行增强预处理,通过水下图像分类数据集迁移学习训练VGGNet-16网络框架,利用修改后的网络框架进行特征提取,生成鲁棒的多尺度特征描述符与特征点,经过特征粗匹配与动态内点选择,使用改进的RANSAC方法剔除误匹配点。在大量水下图像数据集上进行了充分的特征提取和特征匹配实验,与基于SIFT和SURF的配准方法相比,该方法能够检测到更多的特征点,实现了匹配正确率的大幅度提高。     

利用迁移学习和焦点损失卷积神经网络的石墨分类

为了使得优质石墨资源得到优质优用, 提出利用迁移学习和焦点损失卷积神经网络的石墨分类识别算法.在自建的初始数据集基础上, 通过对数据集的离线扩充与在线增强, 有效扩大数据集并减低深层CNN过拟合的风险. 以VGG16、ResNet34和MobileNet V2为基础模型, 重新设计新的输出模块载入全连接层, 提高了模型...     

基于轻量级分组注意力模块的图像分类算法

针对图像分类任务中现有神经网络模型对分类对象特征表征能力不足,导致识别精度不高的问题,提出一种基于轻量级分组注意力模块（LGAM）的图像分类算法。该模块从输入特征图的通道和空间两个方向出发重构特征图：首先,将输入特征图沿通道方向进行分组并生成每个分组对应的通道注意力权重,同时采用阶梯型结构解决分组间信息不流通的问题;然后,基于各分组串联成的新特征图生成全局空间注意力权重,通过两种注意力权重加权得到重构特征图;最后,将重构特征图与输入特征图融合得到增强的特征图。以分类Top-1错误率作为评估指标,基于Cifar10和Cifar100数据集以及部分ImageNet2012数据集,对经LGAM增强之后的ResNet、Wide-ResNet、ResNeXt进行对比实验。实验结果表明,经LGAM增强之后的神经网络模型其Top-1错误率均低于增强之前1至2个百分点。因此LGAM能够提升现有神经网络模型的特征表征能力,从而提高图像分类的识别精度。     

改进的VGG网络的二极管玻壳图像缺陷检测

针对于目前二极管玻壳缺陷检测中大多采用人工特征提取,识别准确率不高的问 题,提出一种改进的 VGG 网络的二极管玻壳图像缺陷检测方法。首先对玻壳图像进行预处理, 同时利用原始大样本数据集对卷积神经网络结构 VGG-19 模型进行预训练得到预训练模型,然 后通过迁移学习的方法将预训练模型中的部分卷积、池化等层权重参数迁移到改进网络模型的 固定层中,非固定层用于模型改进,并将网络的全连接层结构重新进行超参数设置和优化,最 后使用预处理后的玻壳图像数据集对改进模型进行训练,得到非固定卷积层和新的全连接层的 参数和权重。在二极管玻壳数据集进行测试,实验结果表明,该方法能有效提高二极管玻壳图 像分类识别准确率,达到了 98.3%。     

基于BP神经网络的景象匹配算法

针对以可见光图像为基准、红外图像为实测的景象匹配问题,提出了一种基于BP神经网络的景象匹配方法。该方法首先抽取满足平移、旋转、尺度不变性的Krawtchouk不变矩作为红外目标的特征描述并构造特征向量,随后,基于主分量分析法消除特征向量各个分量间的相关性,去掉多个对目标匹配识别贡献不大的特征的影响,形成描述目标的有效特征向量。接下来,构造三层BP神经网络,以有效匹配特征作为输入,匹配位置作为输出,按照经验公式确定隐层节点个数,基于样本集对红外目标在可见光基准图像中的匹配过程进行训练,最终形成智能化景象匹配识别器。实验结果表明,与常用的景象匹配算法相比,提出方法不仅具有更高的匹配精度和速度,而且鲁棒性好,能抵抗实测图像的旋转几何畸变。