自学习规则下的多聚焦图像融合

目的 基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络（convolutional neural network,CNN）将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法 采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度（structural similarity index measure,SSIM）和均方误差（mean squared error,MSE）,以确保更加准确地还原图像。结果 在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Q_w、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.457 4,0.917 7,0.978 8和0.890 8。结论 提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

基于熵加权K-means全局信息聚类的高光谱图像分类

目的 高光谱图像波段数目巨大，导致在解译及分类过程中出现“维数灾难”的现象。针对该问题，在K-means聚类算法基础上，考虑各个波段对不同聚类的重要程度，同时顾及类间信息，提出一种基于熵加权K-means全局信息聚类的高光谱图像分类算法。方法 首先，引入波段权重，用来刻画各个波段对不同聚类的重要程度，并定义熵信息测度表达该权重。其次，为避免局部最优聚类，引入类间距离测度实现全局最优聚类。最后，将上述两类测度引入K-means聚类目标函数，通过最小化目标函数得到最优分类结果。结果 为了验证提出的高光谱图像分类方法的有效性，对Salinas高光谱图像和Pavia University高光谱图像标准图中的地物类别根据其光谱反射率差异程度进行合并，将合并后的标准图作为新的标准分类图。分别采用本文算法和传统K-means算法对Salinas高光谱图像和Pavia University高光谱图像进行实验，并定性、定量地评价和分析了实验结果。对于图像中合并后的地物类别，光谱反射率差异程度大，从视觉上看，本文算法较传统K-means算法有更好的分类结果；从分类精度看，本文算法的总精度分别为92.20%和82.96%， K-means算法的总精度分别为83.39%和67.06%，较K-means算法增长8.81%和15.9%。结论 提出一种基于熵加权K-means全局信息聚类的高光谱图像分类算法，实验结果表明，本文算法对高光谱图像中具有不同光谱反射率差异程度的各类地物目标均能取得很好的分类结果。     

高光谱图像分类的自适应决策融合方法

目的 目前高光谱图像决策融合方法主要采用以多数票决（majority vote，MV）为代表的硬决策融合和以对数意见池（logarithmic opinion pool，LOGP）为代表的软决策融合策略。由于这些方法均使用统一的权重系数进行决策融合，没有对子分类器各自的分类性能进行评估而优化分配权重系数，势必会影响最终的分类精度。针对该问题，本文对多数票决和对数意见池融合策略进行了改进，提出了面向高光谱图像分类的自适应决策融合方法。方法 根据相关系数矩阵对高光谱图像进行波段分组，对每组波段进行空谱联合特征提取；利用高斯混合模型（Gaussian mixture model，GMM）或支持向量机（support vector machine，SVM）分类器对各组空谱联合特征进行分类；最后，采用本文研究的两种基于权重系数优化分配的自适应融合策略对子分类器的分类结果进行决策融合，使得分类精度低的波段组和异常值对最终分类结果的影响达到最小。结果 对两个公开的高光谱数据集分别采用多种特征和两种分类器组合进行实验验证。实验结果表明，在相同特征和分类器条件下，本文提出的自适应多数票决策融合策略（adjust majority vote，adjustMV）、自适应对数意见池决策融合策略（adjust logarithmic opinion pool，adjustLOGP）比传统的MV决策融合策略、LOGP决策融合策略对两个数据集的分类精度均有大幅度提高。Indian Pines数据集上，adjustMV算法的分类精度比相应的MV算法平均提高了1.2%，adjustLOGP算法的分类精度比相应的LOGP算法平均提高了7.38%；Pavia University数据集上，adjustMV算法的分类精度比相应的MV算法平均提高了2.1%，adjustLOGP算法的分类精度比相应的LOGP算法平均提高了4.5%。结论 本文提出的自适应权重决策融合策略为性能较优的子分类器（即对应于分类精度高的波段组）赋予较大的权重，降低了性能较差的子分类器与噪声波段对决策融合结果的影响，从而大幅度提高分类精度。所研究的决策融合策略的复杂度和计算成本均较低，在噪声环境中具有更强的鲁棒性，同时在一定程度上解决了高光谱图像分类应用中普遍存在的小样本问题。     

基于双重L2稀疏编码的高光谱图像分类

目的 为了有效提高高光谱图像分类的精度,提出了双重L2稀疏编码的高光谱图像分类方法。方法 首先对高光谱图像进行预处理,充分结合图像的空间信息和光谱信息,利用像元的空间连续性,用L2稀疏编码重建图像中每个像元。针对重建的图像数据,依据L2稀疏编码的最小误差和编码系数实现分类。结果 在公开的数据库AVIRIS高光谱图像上进行验证,分类精度为99.44%,与支持向量机（SVM）、K最近邻（KNN）和L1稀疏编码方法比较,有效地提高了分类的准确性。结论 实验结果表明,提出的方法应用于高光谱图像分类具有较好的分类效果。     

结合最佳缝合线和多分辨率融合的图像拼接

目的 针对图像拼接过程中,缝合线通过运动物体或配准不准确区域等情况导致融合图像出现鬼影、重影的问题,提出了一种基于差异图像加权的改进最佳缝合线算法,采用基于多分辨率和加权平均的分区图像融合算法解决了拼接线问题。方法 首先将两幅图像的重叠区域划分为缝合线区域和过渡区域;在缝合线区域内,使用差异图像加权的最佳缝合线搜索准则构建准则值图像,基于动态规划思想来搜索得到最佳缝合线;基于缝合线生成掩码图像,并对重叠区域图像进行扩展,采用多分辨率融合算法实现了非严格重叠区域的融合;在过渡区域采用加权平均算法来消除拼接线。结果 采用含有大量运动物体的图像序列对算法进行测试,实验结果表明,基于差分图像加权的最佳缝合线有效避开了大部分运动物体,当缝合线难以绕开运动物体时,能够尽量少地穿过运动物体;通过多分辨率和加权平均融合算法消除了拼缝等问题。结论 提出的最佳缝合线算法能够有效地避免缝合线通过运动物体、配准不准确的区域,将多分辨率图像融合算法应用于非严格重叠图像融合,能够合成高质量的全景图像。     

YOLOv3和双线性特征融合的细粒度图像分类

目的 细粒度图像分类是计算机视觉领域具有挑战性的课题,目的是将一个大的类别分为更详细的子类别,在工业和学术方面都有着十分广泛的研究需求。为了改善细粒度图像分类过程中不相关背景干扰和类别差异特征难以提取的问题,提出了一种将目标检测方法YOLOv3（you only look once）和双线性融合网络相结合的细粒度分类优化算法,以此提高细粒度图像分类的性能。方法 利用重新训练过的目标检测算法YOLOv3粗略确定目标在图像中的位置;使用背景抑制方法消除目标以外的信息干扰;利用融合不同通道、不同层级卷积层特征的方法对经典的细粒度分类算法双线性卷积神经网络（bilinear convolutional neural network,B-CNN）进行改进,优化分类性能,通过融合双线性网络中不同卷积层的特征向量,得到更加丰富的互补信息,从而提高细粒度分类精度。结果 实验结果表明,在CUB-200-2011（Caltech-UCSD Birds-200-2011）、Cars196和Aircrafts100数据集中,本文算法的分类准确率分别为86.3%、92.8%和89.0%,比经典的B-CNN细粒度分类算法分别提高了2.2%、1.5%和4.9%,验证了本文算法的有效性。同时,与已有细粒度图像分类算法相比也表现出一定的优势。结论 改进算法使用YOLOv3有效滤除了大量无关背景,通过特征融合方法来改进双线性卷积神经分类网络,丰富特征信息,使分类的结果更加精准。     

自然场景图像与合成图像的快速分类

目的 随着现代通信和传感技术的快速发展,互联网上多媒体数据日益增长,既为人们生活提供了便利,又给信息有效利用提出了挑战。为充分挖掘网络图像中蕴含的丰富信息,同时考虑到网络中图像类型的多样性,以及不同类型的图像需要不同的处理方法,本文针对当今互联网中两种主要的图像类型：自然场景图像与合成图像,设计层次化的快速分类算法。方法 该算法包括两层,第1层利用两类图像在颜色,饱和度以及边缘对比度上表现出来的差异性提取全局特征,并结合支持向量机（SVM）进行初步分类,第1层分类结果中低置信度的图像会被送到第2层中。在第2层中,系统基于词袋模型（bag-of-words）对图像不同类型的局部区域的纹理信息进行编码得到局部特征并结合第2个SVM分类器完成最终分类。针对层次化分类框架,文中还提出两种策略对两个分类器进行融合,分别为分类器结果融合与全局+局部特征融合。为测试算法的实用性,同时收集并发布了一个包含超过30 000幅图像的数据库。结果 本文设计的全局与局部特征对两类图像具有较强的判别性。在单核Intel Xeon（R）（2.50 GHz）CPU上,分类精度可达到98.26%,分类速度超过40帧/s。另外通过与基于卷积神经网络的方法进行对比实验可发现,本文提出的算法在性能上与浅层网络相当,但消耗更少的计算资源。结论 本文基于自然场景图像与合成图像在颜色、饱和度、边缘对比度以及局部纹理上的差异,设计并提取快速有效的全局与局部特征,并结合层次化的分类框架,完成对两类图像的快速分类任务,该算法兼顾分类精度与分类速度,可应用于对实时性要求较高的图像检索与数据信息挖掘等实际项目中。     

级联优化CNN的手指静脉图像质量评估

目的 针对手动设计的手指静脉质量特征计算过程复杂、鲁棒性差、表达效果不理想等问题,提出了基于级联优化CNN（卷积神经网络）进行多特征融合的手指静脉质量评估方法。方法 以半自动化方式对手指静脉公开数据库MMCBNU_6000进行质量标注并用R-SMOTE（radom-synthetic minority over-sampling technique）算法平衡类别;将深度学习中的CNN结构应用到手指静脉质量评估并研究了不同的网络深度对表征手指静脉质量的影响;受到传统方法中将二值图像和灰度图像结合进行质量评估的启发,设计了两种融合灰度图像和二值图像的质量特征的模型：多通道CNN（MC-CNN）和级联优化CNN（CF-CNN）,MC-CNN在训练和测试时均需要同时输入二值图像和灰度图像,CF-CNN在训练时分阶段输入二值图像和灰度图像,测试时只需输入灰度图像。结果 本文设计的3种简单CNN结构（CNN-K,K=3,4,5）在MMCBNU_6000数据库上对测试集图像的分类正确率分别为93.31%、93.94%、85.63%,以灰度图像和二值图像分别作为CNN-4的输入在MMCBNU_6000数据库上对测试集图像的分类正确率对应为93.94%、91.92%,MC-CNN和CF-CNN在MMCBNU_6000数据库上对测试集图像的分类正确率分别为91.44%、94.62%,此外,与现有的其他算法相比,CF-CNN在MMCBNU_6000数据库上对高质量测试图像、低质量测试图像、整体测试集图像的分类正确率均最高。结论 实验结果表明,基于CF-CNN学习到的融合质量特征比现有的手工特征和基于单一静脉形式学习到的特征表达效果更好,可以有效地对手指静脉图像进行高、低质量的区分。     

基于三支决策的KNN渐进式文本分类方法

在传统的文本分类中,KNN算法以其简单、分类准确率高、非参数得到了广泛的应用。但是传统KNN算法在进行文本分类的过程中,需要计算待分类文本与每一个训练样本的相似度,当面对海量的文本时,分类的效果会明显降低。针对此问题,提出了一种基于三支决策的KNN渐进式文本分类方法用于提高其分类效率,结合三支决策在分类问题中的优势,将三支决策与KNN算法相结合,对标题、摘要、关键词等进行渐进式的分类处理,从而完成待分类文本的分类,提高文本分类的效率和性能。实验表明,该算法能够在确保KNN算法分类准确率的基础上,同时提高分类效率。     

SVOIS: Support Vector Oriented Instance Selection for text classification

Automatic text classification is usually based on models constructed through learning from training examples. However, as the size of text document repositories grows rapidly, the storage requirements and computational cost of model learning is becoming ever higher. Instance selection is one solution to overcoming this limitation. The aim is to reduce the amount of data by filtering out noisy data from a given training dataset. A number of instance selection algorithms have been proposed in the literature, such as ENN, IB3, ICF, and DROP3. However, all of these methods have been developed for the k-nearest neighbor (k-NN) classifier. In addition, their performance has not been examined over the text classification domain where the dimensionality of the dataset is usually very high. The support vector machines (SVM) are core text classification techniques. In this study, a novel instance selection method, called Support Vector Oriented Instance Selection (SVOIS), is proposed. First of all, a regression plane in the original feature space is identified by utilizing a threshold distance between the given training instances and their class centers. Then, another threshold distance, between the identified data (forming the regression plane) and the regression plane, is used to decide on the support vectors for the selected instances. The experimental results based on the TechTC-100 dataset show the superior performance of SVOIS over other state-of-the-art algorithms. In particular, using SVOIS to select text documents allows the k-NN and SVM classifiers perform better than without instance selection.     

Image-text interaction graph neural network for image-text sentiment analysis

As various social platforms are experiencing fast development, the volume of image-text content generated by users has grown rapidly. Image-text based sentiment of social media analysis has also attracted great interest from researchers in recent years. The main challenge of image-text sentiment analysis is how to construct a model that can promote the complementarity between image and text. In most previous studies, images and text were simply merged, while the interaction between them was not fully considered. This paper proposes an image-text interaction graph neural network for image-text sentiment analysis. A text-level graph neural network is used to extract the text features, and a pre-trained convolutional neural network is employed to extract the image features. Then, an image-text interaction graph network is constructed. The node features of the graph network are initialized by the text features and the image features, while the node features in the graph are updated based on the graph attention mechanism. Finally, combined with image-text aggregation layer to realize sentiment classification. The results of the experiments prove that the presented method is more effective than existing methods. In addition, a large-scale Twitter image-text sentiment analysis dataset was built by us and used in the experiments.

     

利用改进的LZC算法对图像与文字进行分类

在传统二值化方法的基础上,将信号序列分为多个区间,进行多尺度二值化粗粒化处理,不增加符号数目,得到更精细,更准确的复杂性. 经过实验,分析可知文字与图像随着计算尺度的减小,文字复杂性增大的幅度远小于图像. 通过该结论,不同尺度下复杂性的差异可以作为图像与文字分类的特征. 因此,我们可以将改进后的LZC算法应用于图像与文字的区分.     

一种提高K-近邻算法效率的新算法

K-近邻（K-Nearest-Neighbor,KNN）算法是一种最基本的基于实例的学习方法,被广泛应用于机器学习与数据挖掘。其学习过程只是简单地存储已知的训练数据。当遇到新的查询实例时,一系列相似的实例被从存储器中取出,并用来分类新的查询实例。KNN的一个不足是分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时,而不是在第一次遇到训练实例时。所以,如何有效地索引训练实例,以减少查询时所需计算是一个重要的实践问题。为解决这个问题,提出了一种新的算法。该算法把部分原本发生在分类阶段的计算移到训练阶段来完成。实验表明,算法能够提高KNN效率80%以上。此外,算法的思想还可以应用于KNN的所有变体中。     

基于防退化策略的多通道闭环BiLSTM在文本分类中的应用研究

双向长短时记忆(BiLSTM)及其变体能够处理可变长度序列,由于文本的复杂语义信息和文本数据嵌入维度的高维性,BiLSTM表现出低层次网络学习能力较弱,通过叠加网络层学习高层次的特征表示,容易出现网络退化问题.为解决这些问题,提出一种闭环BiLSTM模块用于丰富每一层网络结构隐状态的语义信息表示,同时采用残差连接和增强稀疏表示策略来优化模块,稀疏化隐状态特征向量减缓网络退化问题;最后利用加权融合的多通道词嵌入,将语义信息和情感信息在低维张量下实现融合来丰富输入层的文本表示.对情感分类和问题分类的数据集进行了实验验证,实验表明,提出模型在捕捉文本的情感信息表达上具有出色的性能,具有较好的分类精度和鲁棒性.     

基于图文融合的情感分析研究综述

随着信息化技术的不断提升,各类社交平台上带有倾向性的图文数据量快速增长,图文融合的情感分析受到广泛关注,单一的情感分析方法不再能够满足多模态数据的需求。针对图文情感特征提取与融合的技术难题,首先,列举了目前应用较广的图文情感分析数据集,介绍了文本特征和图片特征的提取方式;然后,重点研究了当前图文特征融合方式,简述了在图文情感分析过程中存在的问题;最后,针对未来情感分析的研究方向进行了总结与展望。为深入了解图文融合技术,采用文献调研方法对图文情感分析的研究进行综述,有助于比较不同融合方法之间的区别,发现更具价值的研究方案。     

用于组织病理图像分类的双层多实例学习模型

目的 分析组织病理学全玻片图像（whole slide images,WSIs）是病理学诊断的金标准。WSIs具有千兆像素,且通常缺乏像素级标注。弱监督多实例学习是分析WSIs的主流方法,其关键是怎样从大量实例中精确识别出触发类别预测的关键实例。以前的WSIs分析方法主要是在独立同分布假设下设计的,忽略了实例间的相关性和肿瘤的异质性。针对上述问题,提出一种新的双层多实例学习模型。方法 具体地,提出的模型由自适应特征挖掘器和双路交叉检测模块级联构成。首先,第1层的自适应特征挖掘器检索包中的区分性特征,为后续的实例特征聚合生成可靠的内部查询;然后,第2层的双路交叉检测模块通过建模内部查询与实例间的相关性,聚合包中所有实例生成最终的包级表示。此外,在特征提取部分中引入了自监督对比学习方法SimCLR以生成高质量的实例特征。结果在两个公共可用的数据集CAMELYON-16和TCGA(the cancer genome atlas)肺癌上评估了提出的模型,对比分析6种经典的多实例学习模型,结果显示本文模型的性能最优。在准确率方面,所提方法在CAMELYON-16和TCGA肺癌两个数据集上分别达到...     

基于多特征融合与极限学习机的植物叶片分类方法

对植物的分类多通过对植物叶片的分类来实现,为提高植物叶片分类的准确率提出了一种基于多特征融合与极限学习机的植物叶片分类方法.首先对植物叶片彩色图像进行预处理,得到去除叶片颜色与背景的二值图像和灰度图像;然后从二值图像中提取植物叶片的形状特征和不变矩特征,利用灰度图像提取灰度共生矩阵参数作为叶片图像的纹理特征,共得到28维的特征向量,最后采用极限学习机分类策略对特征向量进行训练和测试.在公开的植物叶片数据集Flavia上进行实验,训练分类准确率达到99％ 以上,测试准确率达到98％ 以上.实验结果表明,本文方法可以有效提高植物叶片分类的准确率.