高斯颜色模型在瓷片图像分类中的应用

由于RGB颜色空间不能很好贴近人的视觉感知,同时也缺少对空间结构的描述,因此采用兼顾颜色信息和空间信息的高斯颜色模型以获取更全面的特征,提出了一种基于高斯颜色模型和多尺度滤波器组的彩色纹理图像分类法,用于瓷器碎片图像的分类。首先将原始图像的RGB颜色空间转换到高斯颜色模型;再用正规化多尺度LM滤波器组对高斯颜色模型的3个通道构造滤波图像,并借助主成分分析寻找主特征图,接着选取各通道的最大高斯拉普拉斯和最大高斯响应图像,与特征图联合构成特征图像组用以进行参数提取;最后以支持向量机作为分类器进行学习和分类。实验结果表明,与基于灰度的、基于RGB模型的和基于RGB_bior 4.4小波的方法相比,本文方法具有更好的分类结果,其中在Outex纹理图像库上获得的分类准确率为96.7%,在瓷片图像集上获得的分类准确率为94.2%。此方法可推广应用到其他彩色纹理分类任务。     

基于眼动数据的分类视觉注意模型

视觉注意是人类视觉系统中的重要部分,现有的视觉注意模型大多强调基于自底向上的注意,较少考虑自顶向下的语义,也鲜有针对不同类别图像的特定注意模型。眼动追踪技术可以客观、准确地捕捉到被试的注意焦点,但在视觉注意模型中的应用还比较少见。因此,提出了一种自底向上和自顶向下注意相结合的分类视觉注意模型CMVA,该模型针对不同类别的图像,在眼动数据的基础上训练分类视觉注意模型来进行视觉显著性预测。实验结果表明:与现有的其它8个视觉注意模型相比,该模型的性能最优。     

基于真实数据感知的模型功能窃取攻击

目的 模型功能窃取攻击是人工智能安全领域的核心问题之一,目的是利用有限的与目标模型有关的信息训练出性能接近的克隆模型,从而实现模型的功能窃取。针对此类问题,一类经典的工作是基于生成模型的方法,这类方法利用生成器生成的图像作为查询数据,在同一查询数据下对两个模型预测结果的一致性进行约束,从而进行模型学习。然而此类方法生成器生成的数据常常是人眼不可辨识的图像,不含有任何语义信息,导致目标模型的输出缺乏有效指导性。针对上述问题,提出一种新的模型窃取攻击方法,实现对图像分类器的有效功能窃取。方法 借助真实的图像数据,利用生成对抗网络(generative adversarial net,GAN)使生成器生成的数据接近真实图像,加强目标模型输出的物理意义。同时,为了提高克隆模型的性能,基于对比学习的思想,提出一种新的损失函数进行网络优化学习。结果 在两个公开数据集CIFAR-10(Canadian Institute for Advanced Research-10)和SVHN(street view house numbers)的实验结果表明,本文方法能够取得良好的功能窃取效果。在CIFAR-10数据集上,相比目前较先进的方法,本文方法的窃取精度提高了5%。同时,在相同的查询代价下,本文方法能够取得更好的窃取效果,有效降低了查询目标模型的成本。结论 本文提出的模型窃取攻击方法,从数据真实性的角度出发,有效提高了针对图像分类器的模型功能窃取攻击效果,在一定程度上降低了查询目标模型代价。     

利用立体视觉的室内场景分类

场景分类的目标是为各种视觉处理任务建立语义上下文,尤其是为目标识别。双目视觉系统现已广泛配备在智能机器人上,然而场景分类的任务大多只是使用单目图像。由于室内场景的复杂性,使用单目图像进行场景分类的性能很低。提出了一种基于双目视觉的室内场景分类方法,使用在一些特定区域里拟合出的若干平面的参数作为场景的特征。采用层级的分类方法,依据视差图,场景被分为开放场所类和封闭场所类,利用提出的场景特征和Gist特征对上述两类进行细分。为了验证提出的方法,建立了一个包含四种场景类别的图像数据集。实验结果表明提出的方法取得了较好的分类性能。     

基于结构上下文的模糊神经网络自动目标检测方法

提出了一种基于结构上下文的模糊神经网络(SCFNN)自动目标检测方法。模糊神经网络方法既具有神经网络的自适应性、并行性、鲁棒性、容错性、优化等优点，又集成了模糊集理论运用知识、规则描述解决系统不确定性的优点，因此成为图像处理和模式识别的一种强有力工具。使用模糊测度作为神经网络的目标函数可以有效地描述像素类别的不确定性，从而通过使其最小实现图像分类优化。对网络神经元加权过程进行结构上下文信息约束可以充分减小图像信息尤其是目标边缘等特性包含丰富信息的损失，有效地保持目标的轮廓和形状等属性，改善目标检测的误检率。针对目标遥感图像的实验，验证了SCFNN方法具有很好的自动目标检测能力，而相对于传统神经网络方法，具有有效的不确定性解决能力和更好的目标形状保持能力。     

利用多核增强学习的立体图像舒适度评价模型

目的 传统的立体视觉舒适度评价模型,在学习阶段一般采用回归算法,且需要大量的包含主观测试数据的训练样本,针对这个问题,提出一种利用多核增强学习分类算法的立体图像舒适度评价模型。方法 首先,考虑人们在实际观测图像时,对于先后观测到的不同图像进行相互比较的情况,将评价模型看成是偏好分类器,构造包含偏好标签的偏好立体图像对（PSIP）,构成PSIP训练集;其次,提取多个视差统计特征和神经学模型响应特征;然后,利用基于AdaBoost的多核学习算法来建立偏好标签与特征之间的关系模型,并分析偏好分类概率（即相对舒适度概率）与最终的视觉舒适度之间的映射关系。结果 在独立立体图像库上,与现有代表性回归算法相比较,本文算法的Pearson线性相关系数（PLCC）在0.84以上,Spearman等级相关系数（SRCC）在0.80以上,均优于其他模型的各评价指标;而在跨库测试中,本文算法的PLCC、SRCC指标均优于传统的支持向量回归算法。结论 相比于传统的回归算法,本文算法具有更好的评价性能,能够更为准确地预测立体图像视觉舒适度。     

一种基于视觉注意模型的图像分类方法

视觉选择性注意机制是人类视觉系统的重要组成部分。近年来的研究表明,自下而上的视觉选择性注意模型在物体识别等方面得到了良好的应用。但是,视觉选择性注意模型在描述图像内容时存在着明显的不足,一个显著的特征在某些情况下可能不会得到注意,人眼更可能会注意到一幅图像里比较稀少的特征。针对上述情况,提出了一种基于视觉选择性注意模型和全局稀少性相结合的视觉注意模型进行图像分类。实验结果表明,该方法在多类物体分类中达到97.74%的总准确率,取到了非常好的效果。     

基于多卷积神经网络融合的SAR舰船分类

针对SAR图像中小型舰船分类准确率较低的问题,提出一种多卷积神经网络加权融合的方法。首先构建高分辨率卷积神经网络对特征图进行多尺度融合,引入微调模型和标签平滑减少训练过拟合的问题;然后利用高分辨网络、MobileNetv2网络和SqueezeNet网络训练3种单分类模型;最后采用加权投票方式对3种分类模型的结果进行融合。采用融合算法对GF-3号舰船数据集进行分类实验,取得94.83%的准确率、95.43%的召回率和0.9513的F1分数的分类性能。实验结果表明,该舰船分类算法模型具有较优的分类能力,验证了其在高分辨率SAR图像舰船分类上的有效性。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

Combining belief networks and neural networks for scenesegmentation

We are concerned with the problem of image segmentation, in which each pixel is assigned to one of a predefined finite number of labels. In Bayesian image analysis, this requires fusing together local predictions for the class labels with a prior model of label images. Following the work of Bouman and Shapiro (1994), we consider the use of tree-structured belief networks (TSBNs) as prior models. The parameters in the TSBN are trained using a maximum-likelihood objective function with the EM algorithm and the resulting model is evaluated by calculating how efficiently it codes label images. A number of authors have used Gaussian mixture models to connect the label field to the image data. We compare this approach to the scaled-likelihood method of Smyth (1994) and Morgan and Bourlard (1995), where local predictions of pixel classification from neural networks are fused with the TSBN prior. Our results show a higher performance is obtained with the neural networks. We evaluate the classification results obtained and emphasize not only the maximum a posteriori segmentation, but also the uncertainty, as evidenced e.g., by the pixelwise posterior marginal entropies. We also investigate the use of conditional maximum-likelihood training for the TSBN and find that this gives rise to improved classification performance over the ML-trained TSBN     

Concurrent Viewing of Multiple Attribute‐Specific Subspaces

In this work we present a point classification algorithm for multi‐variate data. Our method is based on the concept of attribute subspaces, which are derived from a set of user specified attribute target values. Our classification approach enables users to visually distinguish regions of saliency through concurrent viewing of these subspaces in single images. We also allow a user to threshold the data according to a specified distance from attribute target values. Based on the degree of thresholding, the remaining data points are assigned radii of influence that are used for the final coloring. This limits the view to only those points that are most relevant, while maintaining a similar visual context.     

基于虹膜纹理深度特征和Fisher向量的人种分类

目的 虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环形区域,有着丰富的纹理信息。虹膜纹理具有高度的区分性和稳定性。人种分类是解决虹膜识别在大规模数据库上应用难题的主要方法之一。现有的虹膜图像人种分类方法主要采用手工设计的特征,而且针对亚洲人和非亚洲人的基本人种分类,无法很好地解决亚种族分类问题。为此提出一种基于虹膜纹理深度特征和Fisher向量的人种分类方法。方法 首先用CNN（convolutional neural network）对归一化后的虹膜纹理图像提取深度特征向量,作为底层特征;然后使用高斯混合模型提取Fisher向量作为最终的虹膜特征表达;最后用支持向量机分类得到最终结果。结果 本文方法在亚洲人和非亚洲人的数据集上采用non-person-disjoint的方式取得99.93%的准确率,采用person-disjoint的方式取得91.94%的准确率;在汉族人和藏族人的数据集上采用non-person-disjoint的方式取得99.69%的准确率,采用person-disjoint的方式取得82.25%的准确率。结论 本文通过数据驱动的方式从训练数据中学习到更适合人种分类的特征,可以很好地实现对基本人种以及亚种族人种的分类,提高了人种分类的精度。同时也首次证明了用虹膜图像进行亚种族分类的可行性,对人种分类理论进行了进一步地丰富和完善。     

A remote sensing ship recognition method based on dynamic probability generative model

Aiming at detecting sea targets reliably and timely, a novel ship recognition method using optical remote sensing data based on dynamic probability generative model is presented. First, with the visual saliency detection method, prior shape information of target objects in put images which is used to describe the initial curve adaptively is extracted, and an improved Chan–Vese (CV) model based on entropy and local neighborhood information is utilized for image segmentation. Second, based on rough set theory, the common discernibility degree is used to compute the significance weight of each candidate feature and select valid recognition features automatically. Finally, for each node, its neighbor nodes are sorted by their ε-neighborhood distances to the node. Using the classes of the selected nodes from top of sorted neighbor nodes list, a dynamic probability generative model is built to recognize ships in data from optical remote sensing system. Experimental results on real data show that the proposed approach can get better classification rates at a higher speed than the k-nearest neighbor (KNN), support vector machines (SVM) and traditional hierarchical discriminant regression (HDR) method.     

Dissimilarity learning for nominal data

Defining a good distance (dissimilarity) measure between patterns is of crucial importance in many classification and clustering algorithms. While a lot of work has been performed on continuous attributes, nominal attributes are more difficult to handle. A popular approach is to use the value difference metric (VDM) to define a real-valued distance measure on nominal values. However, VDM treats the attributes separately and ignores any possible interactions among attributes. In this paper, we propose the use of adaptive dissimilarity matrices for measuring the dissimilarities between nominal values. These matrices are learned via optimizing an error function on the training samples. Experimental results show that this approach leads to better classification performance. Moreover, it also allows easier interpretation of (dis)similarity between different nominal values.     

Method of additional target visual pattern

This paper proposes an approach to complete the group of images that make up a target visual pattern. Completion is realized with images derived by autoregressive models of variability. The derived images possess occasional differences in various kinds of images that were initially a visual pattern component. Results can be used in construction of a machine vision system operating in an uncontrolled environment.     

基于视觉词汇形状描述的图像表示方法

针对目前图像表示中引入空间位置信息的空间金字塔匹配方法缺乏对图像中视觉物体平移、缩放和旋转的考虑,提出一种基于视觉词汇形状描述模型的图像表示方法。该方法相对于每个视觉单词的几何中心建立空间几何模型,保证平移不变性;给出对数极坐标空间金字塔匹配,对对数极半径做归一化,保证缩放不变性;在空间金字塔划分过程中确定极角的主方向,从而保证旋转不变性。分别在Caltech-101数据集和自建图像数据集上对该方法进行了验证和比较。实验结果表明,该方法提高了分类识别准确率,特别是对于包含明显平移、缩放和旋转变化的图像数据集;该方法的方差较小,说明其鲁棒性更强。     

Deep Learning with Optimal Hierarchical Spiking Neural Network for Medical Image Classification

Medical image classification becomes a vital part of the design of computer aided diagnosis (CAD) models. The conventional CAD models are majorly dependent upon the shapes, colors, and/or textures that are problem oriented and exhibited complementary in medical images. The recently developed deep learning (DL) approaches pave an efficient method of constructing dedicated models for classification problems. But the maximum resolution of medical images and small datasets, DL models are facing the issues of increased computation cost. In this aspect, this paper presents a deep convolutional neural network with hierarchical spiking neural network (DCNN-HSNN) for medical image classification. The proposed DCNN-HSNN technique aims to detect and classify the existence of diseases using medical images. In addition, region growing segmentation technique is involved to determine the infected regions in the medical image. Moreover, NADAM optimizer with DCNN based Capsule Network (CapsNet) approach is used for feature extraction and derived a collection of feature vectors. Furthermore, the shark smell optimization algorithm (SSA) based HSNN approach is utilized for classification process. In order to validate the better performance of the DCNN-HSNN technique, a wide range of simulations take place against HIS2828 and ISIC2017 datasets. The experimental results highlighted the effectiveness of the DCNN-HSNN technique over the recent techniques interms of different measures. Please type your abstract here.     

视觉感知正反馈的显著性检测

目的 人类视觉系统性能远超当前机器视觉,模拟人类视觉机制改进当前算法是有效研究途径,为此提出一种视觉感知正反馈模型,通过循环迭代、重复叠加视觉刺激生成更符合人类感知的视觉显著性图。方法 首先用多种常规方法检测图像显著度,模拟人类视觉多通道特性,再组合这些显著图为综合显著图;利用显著度大的像素构建初始注视区。其次借助集成RVFL（随机向量功能网络）模拟人脑神经网络产生视觉刺激,对注视与非注视区内像素在线“随机采样—学习建模”,图像像素经模型分类获得新注视区。对新注视区与非注视区,可重复迭代进行“随机采样—学习建模—像素分类”;迭代中若注视区连续相同,则表明感知饱和,迭代终止。若将每次像素分类结果看做是一种视觉刺激,则多次视觉刺激输出叠加,可生成新的图像显著性图。最终的像素分类结果就是图像分割目标。结果 将本文算法与现有方法在标准图像数据库上进行对比评测,包括通过对6种算法在ECSSD、SED2和MSRA10K 3个图像数据库上的P-R曲线,F-measure值和平均绝对误差（MAE）值上进行定量分析,对6种模型生成的显著性图作定性比较。数据表明,本文算法在SED2和MSRA10K图象数据库中性能最好,在ECSSD图象数据库中稍低于BL（bootstrap learning）和RBD（robust background detection）算法。本文算法的显著图与人类视觉感知更接近。且算法的正反馈迭代过程一般可迅速饱和,并未显著增加算法负担。实验结果表明,本文方法可作为一种有效的后处理手段,显著提升常规显著性检测算法的性能。结论 提出了一种模拟人类视觉机制的数据驱动显著性检测算法,无需图像先验知识和事先的标记样本。面对多目标,背景复杂等情况,本文方法具有相对好的鲁棒性和适用性,并且能够较好解决现实环境中图像处理算法的通用性、可靠性和准确性问题。     

跨数据集评估的高光谱图像分类

目的 随着高光谱成像技术的飞速发展,高光谱数据的应用越来越广泛,各场景高光谱图像的应用对高精度详细标注的需求也越来越旺盛。现有高光谱分类模型的发展大多集中于有监督学习,大多数方法都在单个高光谱数据立方中进行训练和评估。由于不同高光谱数据采集场景不同且地物类别不一致,已训练好的模型并不能直接迁移至新的数据集得到可靠标注,这也限制了高光谱图像分类模型的进一步发展。本文提出跨数据集对高光谱分类模型进行训练和评估的模式。方法 受零样本学习的启发,本文引入高光谱类别标签的语义信息,拟通过将不同数据集的原始数据及标签信息分别映射至同一特征空间以建立已知类别和未知类别的关联,再通过将训练数据集的两部分特征映射至统一的嵌入空间学习高光谱图像视觉特征和类别标签语义特征的对应关系,即可将该对应关系应用于测试数据集进行标签推理。结果 实验在一对同传感器采集的数据集上完成,比较分析了语义—视觉特征映射和视觉—语义特征映射方向,对比了5种基于零样本学习的特征映射方法,在高光谱图像分类任务中实现了对分类模型在不同数据集上的训练和评估。结论 实验结果表明,本文提出的基于零样本学习的高光谱分类模型可以实现跨数据集对分类模型进行训练和评估,在高光谱图像分类任务中具有一定的发展潜力。     

基于单亲遗传算法和子像元/像元空间吸引模型的亚像元制图研究

混合像元普遍存在于遥感图像数据中。与传统的硬分类(Hard Classification)方法相比,在处理混合像元时,软分类(Soft Classification)技术可以避免信息丢失;但是,通过软分类技术获得的结果,仍然无法确定各分类在像元中的具体位置。子像元制图(或超分辨率制图、亚像元制图)技术能将软分类技术得到的结果转化为更高分辨率的图像,它能兼得软分类和硬分类两者的优势。将遗传算法的一个变种-单亲遗传算法应用于子像元制图,结合子像元/像元空间吸引模型,单亲遗传算法能直接获得子像元制图结果。以合成的图像和实际的土地覆盖图像为实验对象,通过目视比较和定量精度评价,与硬分类的结果相比,该方法能取得更高的制图精度和更好的结果。