基于多尺度多粒度融合的行人重识别方法

行人重识别是指利用计算机视觉技术在给定监控的图像中识别目标行人,受拍摄场景视角和姿势变化、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征辨别力差,从而导致重识别精度较低。为有效地利用特征信息,提出一种多尺度多粒度融合的行人重识别方法MMF-Net。通过多个分支结构学习不同尺度和不同粒度的特征,并利用局部特征学习优化全局特征,以加强全局特征和局部特征的关联性。同时,在网络的低层引入语义监督模块以提取低层特征,并将其作为行人图像相似性度量的补充,实现低层特征和高层特征的优势互补。基于改进的池化层,通过结合最大池化和平均池化的特点获取具有强辨别力的特征。实验结果表明,MMF-Net方法在Market-1501数据集上的首位命中率和mAP分别为95.7%和89.1%,相比FPR、MGN、BDB等方法,其具有较优的鲁棒性。     

基于多粒度免疫聚类的分类器设计

分析了基于均匀粒度的聚类方法构造分类器存在着与先验知识之间不协调的问题。提出了根据多粒度原理、基于人工免疫聚类来获取代表点集来构造分类器的方法,在一定程度上克服了聚类结果与先验知识之间的矛盾,并提高了分类器的分类准确度和推广性。实验结果表明基于此分类器的入侵检测的平均检测率和误报率都保持了较高的性能。     

基于亲和传递聚类的多类物体识别方法

多类物体识别在提取特征之后,样本的数量会呈指数倍增加,为减少计算量同时,不降低识别率,采用亲和传递算法对样本数据进行聚类形成视觉字典,帮助并提升物体识别效率。在Sowerby图像数据库上进行实验证明,该方法与使用k均值聚类建立视觉字典方法相比,在同等条件下具有更高的识别率。     

基于多颗粒度文本表征的中文命名实体识别方法

中文命名实体识别常使用字符嵌入作为神经网络模型的输入,但是中文没有明确的词语边界,字符嵌入的方法会导致部分语义信息的丢失。针对此问题,该文提出了一种基于多颗粒度文本表征的中文命名实体识别模型。首先,在模型输入端结合了字词表征,然后借助N-gram编码器挖掘N-gram中潜在的成词信息,有效地联合了三种不同颗粒度的文本表征,丰富了序列的上下文表示。该文在Weibo、Resume和OntoNotes4数据集上进行了实验,实验结果的F₁值分别达到了72.41%、96.52%、82.83%。与基准模型相比,该文提出的模型具有更好的性能。     

基于距离尺度学习的新类识别方法

在在线分类任务中经常会出现新类别,导致数据分布发生显著变化,使得已有分类器不再适用.如何识别新类以使分类器能适应其出现已成为在线分类亟待解决的问题.本文提出基于距离尺度学习的识别偏离型新类的算法用于解决该问题.该方法能在缺少先验知识的前提下自动识别新类,并较好地解决了样本间类别相似性同样本间距离不一致的问题,为分类器的自适应更新提供了关键技术.在多个数据集上的实验结果表明在客观新类出现后该方法能有效发现新类,可使更新后的分类器保持较高准确度,为实现适应新类的在线分类系统奠定坚实基础.     

面向中文电子病历的多粒度医疗实体识别

在现有的面向中文临床电子病历的命名实体识别任务中,实体标注粒度通常过细或过粗,过细的标注结果难以找到实际应用场景,而过粗的标注结果通常需要在进行复杂的处理后,才能明确实体的规范形式和语义类型,以便于后续的数据挖掘应用.为简化处理步骤,根据常见的7类粗粒度临床实体的特点,定义了用以解释粗粒度实体的9类细粒度解析实体.同时...     

基于容差关系的多粒度粗糙集中近似集动态更新方法

针对不完备信息系统变化时缺失值获取具体属性值的特性，为解决多粒度粗糙集中更新近似集时间效率低的问题，提出了一种基于容差关系的近似集动态更新算法。首先，讨论了基于容差关系的近似集变化的性质，并根据相关性质得出乐观、悲观多粒度粗糙集的近似集的变化趋势；然后，针对更新容差类效率低的问题，提出了动态更新容差类的定理；最后，在此基础上，设计出基于容差关系的近似集动态更新算法。采用UCI数据库中4个数据集进行仿真实验，当数据集变大时，所提更新算法的计算时间远小于静态更新算法的计算时间，即所提动态更新算法的时间效率高于静态算法，验证了所提算法的正确性和高效性。     

基于多粒度粗糙集的聚类融合方法

现有的聚类融合算法从聚类成员的角度出发,若使用全部聚类成员则融合结果受劣质成员影响,对聚类成员进行选择再进行融合则选择的策略存在主观性。为在一定程度上避免这两种局限性,可以从元素的角度出发,提出一种新的聚类融合方法。通过多粒度决策不一致粗糙集来选择一部分类别确定的元素,再利用这部分元素进行聚类融合生成新的划分;多粒度决策不一致粗糙集模型能够刻画多粒度决策过程中属性一致而决策不一致的现象,提出了一种基于多粒度决策不一致的粗糙集模型,并给出了一种聚类融合方法。具体做法是：首先在数据集上多次使用K-means聚类算法,生成论域上的多个粒结构;其次对所有粒结构两两之间求粒间包含度,建立包含度矩阵,对矩阵使用Otsu算法计算阈值,得出多组满足阈值条件的信息粒,求解多粒度决策不一致下近似和上近似;最后分别处理下近似与边界域中元素的类别,从而获得了一个经过融合的聚类划分。实验结果表明,该方法能够有效改善聚类的结果,具有较高的时间效率,且算法具有较好的鲁棒性。     

融合多尺度对比池化特征的行人重识别方法

行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。受行人姿态、遮挡、光照变化等因素的影响,传统的行人重识别方法中特征的表达能力有限,导致准确率降低,提出一种融合不同尺度对比池化特征的行人重识别方法。利用残差网络ResNet50提取行人图像的多尺度特征,在网络的不同层次上,通过对输入的特征进行全局平均池化和最大平均池化,将每组平均池化特征和最大池化特征相减,对相减得到的差异特征与最大池化特征进行相加,获得具有强判别性的对比池化特征。在此基础上,利用三元组损失和交叉熵损失联合优化模型,提高模型的泛化能力,同时采用重排序技术优化网络性能。实验结果表明,该方法在Market1501和DukeMTMC-reID数据集上的首位命中率分别达到96.41%和91.43%,平均精度均值为94.52%和89.30%,相比SVDNet、GLAD和PCB等方法,其行人重识别的准确率较高。     

多粒度数据的区间形式概念分析方法

经典概念格和面向属性（对象）概念格都是形式概念分析中重要的数据结构，将区间集引入到这些概念格中，可以得到区间集概念格和面向属性（对象）区间集概念格。证明了面向属性区间集概念格与面向对象区间集概念格是反序同构的，将多粒度的思想引入到形式概念分析中，研究粒化前后区间集概念之间的关系；在多粒形式背景下，进一步研究了面向对象（属性）区间集概念之间的内在联系。     

Multi-granularity Inter-class Correlation Based Contrastive Learning for Open Set Recognition

In recent years, deep neural networks have continuously achieved breakthroughs in the classification task. However, they will mistakenly give a wrong known class prediction when faced with unknown samples in the testing phase. The open set recognition is a possible way to solve the problem, which requires the model to not only classify the known classes but also distinguish the unknown samples accurately. Most of the existing methods are designed heuristically on the basis of certain assumptions. Despite keeping the performance increasing, they have not analyzed the key factors that affect the task. In this paper, we analyze the commonalities of existing methods by designing a new decision variable experiment and find that the ability of the model to learn representations of known classes is an important factor. Then an open set recognition method is proposed based on the representation learning ability enhancement of the model. Firstly, due to the powerful representation learning capabilities demonstrated by the contrastive learning and the label information contained in the open set recognition task, supervised contrastive learning is introduced to improve the modeling ability of the model for known classes. Secondly, considering that the inter-class correlation is the representation learning at the class level, and the hierarchical structure relationship among the classes is often presented, a loss function of the multi-granularity inter-class correlation is designed. In the way of building the hierarchical structure in the label semantic space and measuring the multi-granularity inter-class correlation, the loss function of multi-granularity inter-class correlation constrains the model to learn the correlation among different known classes to further improve the representation learning ability of the model. Finally, experimental results on multiple standard datasets verify the effectiveness of the proposed method in open set recognition.     

基于对比学习的细粒度遮挡人脸表情识别

和实验室环境不同,现实生活中的人脸表情图像场景复杂,其中最常见的局部遮挡问题会造成面部外观的显著改变,使得模型提取到的全局特征包含与情感无关的冗余信息从而降低了判别力.针对此问题,本文提出了一种结合对比学习和通道-空间注意力机制的人脸表情识别方法,学习各局部显著情感特征并关注局部特征与全局特征之间的关系.首先引入对比学习,通过特定的数据增强方法设计新的正负样本选取策略,对大量易获得的无标签情感数据进行预训练,学习具有感知遮挡能力的表征,再将此表征迁移到下游人脸表情识别任务以提高识别性能.在下游任务中,将每张人脸图像的表情分析问题转化为多个局部区域的情感检测问题,使用通道-空间注意力机制学习人脸不同局部区域的细粒度注意力图,并对加权特征进行融合,削弱遮挡内容带来的噪声影响,最后提出约束损失联合训练,优化最终用于分类的融合特征.实验结果表明,无论是在公开的非遮挡人脸表情数据集(RAFDB和FER2013)还是人工合成的遮挡人脸表情数据集上,所提方法都取得了与现有先进方法可媲美的结果.     

基于语言−视觉对比学习的多模态视频行为识别方法

以对比语言−图像预训练(Contrastive language-image pre-training, CLIP)模型为基础, 提出一种面向视频行为识别的多模态模型, 该模型从视觉编码器的时序建模和行为类别语言描述的提示学习两个方面对CLIP模型进行拓展, 可更好地学习多模态视频表达. 具体地, 在视觉编码器中设计虚拟帧交互模块(Virtual-frame interaction module, VIM), 首先, 由视频采样帧的类别分词做线性变换得到虚拟帧分词; 然后, 对其进行基于时序卷积和虚拟帧分词移位的时序建模操作, 有效建模视频中的时空变化信息; 最后, 在语言分支上设计视觉强化提示模块(Visual-reinforcement prompt module, VPM), 通过注意力机制融合视觉编码器末端输出的类别分词和视觉分词所带有的视觉信息来获得经过视觉信息强化的语言表达. 在4个公开视频数据集上的全监督实验和2个视频数据集上的小样本、零样本实验结果, 验证了该多模态模型的有效性和泛化性.     

基于高困惑样本对比学习的隐式篇章关系识别

隐式篇章关系识别是一种自动判别论元语义关系的自然语言处理任务。该任务蕴含的关键科学问题涉及两个方面: 其一是准确表征论元语义;其二是基于语义表示,有效地判别论元之间的关系类型。该文将集中在第一个方面开展研究。精准可靠的语义编码有助于关系分类,其根本原因是,编码表示的可靠性促进了正负例样本的可区分性(正例样本特指一对蕴含了“目标关系类”的论元,负例则是一对持有“非目标关系类”的论元)。近期研究显示,集成对比学习机制的语义编码方法能够提升模型在正负例样本上的可辨识性。为此,该文将对比学习机制引入论元语义的表示学习过程,利用“对比损失”驱动正负例样本的“相异性”,即在语义空间中聚合同类正样本,且驱散异类负样本的能力。特别地,该文提出基于条件自编码器的高困惑度负例生成方法,并利用这类负例增强对比学习数据的迷惑性,提升论元语义编码器的鲁棒性。该文使用篇章关系分析的公开语料集PDTB进行实验,实验结果证明,上述方法相较于未采用对比学习的基线模型,在面向对比(Comparison)、偶然(Contingency)、扩展(Expansion)及时序(Temporal)四种PDTB关系类型的二元分类场景中,分别产生了4.68%、4.63%、3.14%、12.77%的F₁值性能提升。     

基于多模态对比学习的代码表征增强预训练方法

代码表征旨在融合源代码的特征,以获取其语义向量,在基于深度学习的代码智能中扮演着重要角色.传统基于手工的代码表征依赖领域专家的标注,繁重耗时,且无法灵活地复用于特定下游任务,这与绿色低碳的发展理念极不相符.因此,近年来,许多自监督学习的编程语言大规模预训练模型(如CodeBERT)应运而生,为获取通用代码表征提供了有效途径.这些模型通过预训练获得通用的代码表征,然后在具体任务上进行微调,取得了显著成果.但是,要准确表示代码的语义信息,需要融合所有抽象层次的特征(文本级、语义级、功能级和结构级).然而,现有模型将编程语言仅视为类似于自然语言的普通文本序列,忽略了它的功能级和结构级特征.因此,旨在进一步提高代码表征的准确性,提出了基于多模态对比学习的代码表征增强的预训练模型(representation enhanced contrastive multimodal pretraining, REcomp). REcomp设计了新的语义级-结构级特征融合算法,将它用于序列化抽象语法树,并通过多模态对比学习的方法将该复合特征与编程语言的文本级和功能级特征相融合,以实现更精准的语义建模.最后,...     

基于改进对比学习的道路裂缝图像分类

道路裂缝是路面破损的重要组成部分,而道路裂缝分类可以对道路养护策略的制定进行针对性的安排.针对人工标注分类耗时长,效率低等问题,本文提出了一个基于对比学习的道路裂缝图像分类方法,在传统的对比学习框架中,对特征提取部分进行改进,使得模型对细小裂缝的特征更敏感.首先对进行数据增强,其次在特征提取部分对ResNet50的部分进行改进,使用多尺度的方法提取特征;再使用多层感知机(MLP)对提取到的特征进行降维处理,并投影到向量空间;最后使用余弦相似度与用归一化温度标度的交叉熵损失对模型进行优化.实验结果表明,改进后的模型比原模型在裂缝图像上的分类效果提高了0.22%,达到了92.1%,对裂缝图像分类有较好的效果.     

Contrastive Clustering for Unsupervised Recognition of Interference Signals

Interference signals recognition plays an important role in anti-jamming communication. With the development of deep learning, many supervised interference signals recognition algorithms based on deep learning have emerged recently and show better performance than traditional recognition algorithms. However, there is no unsupervised interference signals recognition algorithm at present. In this paper, an unsupervised interference signals recognition method called double phases and double dimensions contrastive clustering (DDCC) is proposed. Specifically, in the first phase, four data augmentation strategies for interference signals are used in data-augmentation-based (DA-based) contrastive learning. In the second phase, the original dataset’s k-nearest neighbor set (KNNset) is designed in double dimensions contrastive learning. In addition, a dynamic entropy parameter strategy is proposed. The simulation experiments of 9 types of interference signals show that random cropping is the best one of the four data augmentation strategies; the feature dimensional contrastive learning in the second phase can improve the clustering purity; the dynamic entropy parameter strategy can improve the stability of DDCC effectively. The unsupervised interference signals recognition results of DDCC and five other deep clustering algorithms show that the clustering performance of DDCC is superior to other algorithms. In particular, the clustering purity of our method is above 92%, SCAN’s is 81%, and the other three methods’ are below 71% when jamming-noise-ratio (JNR) is −5 dB. In addition, our method is close to the supervised learning algorithm.     

面向小样本情感分类任务的弱监督对比学习框架

文本情感分类是自然语言处理领域的挑战性研究课题.基于词典的方法和传统基于机器学习方法分别依赖高质量的情感词典和鲁棒的特征工程,而多数深度学习方法的性能则依赖大规模人工标注数据集.幸运的是,不同社交平台用户生成了大量带标签的舆情文本,这些文本可以作为弱标注数据集被用于情感分类任务,但是弱标注数据集中的噪声样本会对训练过程产生负面影响.提出了一种用于小样本情感分类任务的弱监督对比学习(weakly-supervised contrastive learning, WCL)框架,旨在学习海量带噪声的用户标记数据中的情感语义,同时挖掘少量人工标注数据中潜在的类间对比模式.该框架包括2个步骤：首先,设计了一种弱监督预训练策略来削弱噪声数据的影响;其次,在有监督微调阶段引入对比学习策略来捕获少量有标注数据的对比模式.在亚马逊评论数据集上评估了所提出的方法,实验结果表明所提出的方法显著优于其他同类对比方法.在仅使用0.5%(即32个样本)比例的有标注数据集进行微调的情况下,所提出方法的性能依然超出其他深度方法.     

基于对比约束的可解释小样本学习

不同于基于大规模监督的深度学习方法,小样本学习旨在从极少的几个样本中学习这类样本的特性,其更符合人脑的视觉认知机制.近年来,小样本学习受到很多学者关注,他们联合元学习训练模式与度量学习理论,挖掘查询集(无标记样本)和支持集(少量标记样本)在特征空间的语义相似距离,取得不错的小样本分类性能.然而,这些方法的可解释性偏弱,不能为用户提供一种便于直观理解的小样本推理过程.为此,提出一种基于区域注意力机制的小样本分类网络INT-FSL,旨在揭示小样本分类中的2个关键问题：1)图像哪些关键位置的视觉特征在决策中发挥了重要作用;2)这些关键位置的视觉特征能体现哪些类别的特性.除此之外,尝试在每个小样本元任务中设计全局和局部2种对比学习机制,利用数据内部信息来缓解小样本场景中的监督信息匮乏问题.在3个真实图像数据集上进行了详细的实验分析,结果表明：所提方法INT-FSL不仅能有效提升当前小样本学习方法的分类性能,还具备良好的过程可解释性.     

基于双稀疏正则的图像集距离学习

随着视频采集和网络传输技术的快速发展,以及个人移动终端设备的广泛使用,大量图像数据以集合形式存在.由于集合内在结构的复杂性,使得图像集分类的一个关键问题是如何度量集合间距离.为了解决这一问题,本文提出了一种基于双稀疏正则的图像集距离学习框架（DSRID）.在该框架中,两集合间距离被建模成其对应的内部典型子结构间的距离,从而保证了度量的鲁棒性和判别性.根据不同的集合表示方法,本文给出了其在传统的欧式空间,以及两个常见的流形空间,即对称正定矩阵流形（symmetric positive definite matrices manifold,SPD manifold）和格林斯曼流形（Grassmann manifold）上的实现.在一系列的基于集合的人脸识别、动作识别和物体分类任务中验证了该框架的有效性.