基于RSC模型和噪声去除的半监督训练方法

“半监督学习”是利用已经标记好的训练样本和未标记的训练样本一起训练分类器.传统的半监督训练过程对噪声不作辨别,这种做法会因噪声的存在破坏分类器的训练过程,进而影响分类器的分类效果.针对该问题,提出了基于RSC模型和噪声去除的半监督训练方法,在样本训练过程中,使用RSC标签扩展的方法,并添加噪声去除环节.实验表明,该算法能有效降低半监督学习中噪声对分类器的影响,得到更加精确的分类边界,最终提高算法的性能和稳定性.     

基于课程学习的无监督常识问答模型

无监督常识问答是利用机器自动生成问答数据来对模型进行训练的问答模型,目前方法生成的问答数据中存在噪声数据和问题的难度随机的问题。提出一种基于课程学习的无监督常识问答模型,首先根据知识生成问答数据集,再对问答数据集进行多样化评估和流畅性评估,结合两个评估结果进行数据过滤,去除噪声数据;最后根据课程学习策略,使用干扰项与正确答案的相似度作为问题难度评估标准,使得模型根据难度等级来进行训练。在测试任务上具有1.5%～3.5%的准确率提升,证明了该模型在无监督常识问答任务上的有效性。     

基于一维模型的椒盐噪声去除方法

提出了一种基于一维信号处理去除图像椒盐脉冲噪声的方法,该算法给出了4种二维信号转换为一维信号的模型,用线性处理代替块处理去除图像椒盐脉冲噪声。经过实验仿真并与其他滤波算法比较表明,该算法可以有效地去除图像中的椒盐脉冲噪声,尤其是在计算复杂度上表现了很好的性能,同时也降低了图像边界点处理的边界效应。     

基于概率的无监督缺陷预测方法

软件缺陷预测能够提高软件开发和测试的效率,保障软件质量。无监督缺陷预测方法具有不需要标签数据的特点,从而能够快速应用于工程实践中。提出了基于概率的无监督缺陷预测方法—PCLA,将度量元值与阈值的差值映射为概率,使用概率评估类存在缺陷的可能性,然后再通过聚类和标记来完成缺陷预测,以解决现有无监督方法直接根据阈值判断时对阈值比较敏感而引起的信息丢失问题。将PCLA方法应用在NetGen和Relink两组数据集,共7个软件项目上,实验结果表明PCLA方法在查全率、查准率、F-measure上相对现有无监督方法分别平均提升4.1%、2.52%、3.14%。     

基于无监督方法的视频中的人物识别

基于无监督的显著性学习方法提出一种新颖的人物识别方法。它在训练程序部分不需要身份标签就能提取出突出的特征。首先利用相邻约束斑块匹配在图片对之间构建稠密对应。该方法在处理由于较大的视觉角度变化和人物姿势变化而引起的图片对之间不对应的情况非常有效。其次,它应用一种无监督的方法来学习人物的显著性。为了提高实验的性能,在斑块匹配过程中融合了这种人物的显著性特征。在VIPeR数据集上进行的实验证实了该方法的正确性,且性能略优于文献中提出的eBiCov方法及eLDFV方法。     

基于无监督神经网络的故障模式识别

无监督学习的竞争式神经网络是一种数据聚类方法,能保持输入空间的拓扑关系不变,借助于一维或二维输出平面的一组有序的向量,实现高维数据的聚类和可视化;探讨了一种无监督神经网络--SOFM网络原理、思想和算法步骤,研究了无监督网络在模式识别中的应用,提出了基于SOFM网络的故障模式识别和状态监测方法;通过实例研究了SOFM网络在机械设备故障模式识别和状态监测中的应用.     

一种基于误差传递的图像噪声去除方法

为了滤除图像在彩集过程中受到干扰引起的噪声和增强图像的有用信息,提出了一种基于误差传递原理的图像噪声去除方法。该方法在计算复杂度、执行时间、二值化效果等方面均有较好表现,对于图像特征主要包含在图像的几何特征中的实时图像处理系统,取得了很好的实际效果。     

无监督与有监督相结合的粤语分词方法

为能在缺乏粤语分词语料的情况下进行粤语研究，提出一种基于无监督与有监督结合的粤语分词方法。利用多源语料完成粤语词库的构建；利用二元字典与粤语词库对初步结果进行初筛分词和二次分词；利用DAG对粤语通用句式切分错误进行分析并修正；将修正后的粤语分词语料利用深度学习模型固化分词效果，得到基于Bert-BiLSTM-CRF三层架构的分词模型。实验结果表明，该方法能有效克服预分词语料的缺失问题，在无需大量分词语料的情况下，F值达到74.3%。     

基于自监督任务最优选择的无监督域自适应方法

无监督域自适应方法通过源域标签数据学习到的知识对目标域无标签数据进行分类,成为目前迁移学习中解决两个域特征对齐的主流方法.针对现实中存在已标签数据量少且质量不高造成提取的特征不完备的情况,文中提出了基于自监督任务最优选择的无监督域自适应方法.为使特征具有更强的语义信息,在两个域未标记数据上使用了多个自监督任务;此外,针对进行自监督任务时的易混淆特征,提出了一种新的智能组合优化策略自适应地选择有效特征;最后通过两个域沿着任务相关方向靠近使得源域标记数据训练的分类器能够更好地推广到目标域.仿真实验在公开的6个基准数据集上分别从分类精度、训练集数据使用量、自监督任务使用效果3个方面进行了对比分析.实验结果表明,所提方法在3个方面上的表现都优于现有的先进方法,使用相同数据集时分类精度提高8％;在相同的分类精度要求下,所用数据量减少12％;与单个自监督任务对比时精度提高了11％.     

一种基于离群点信息的新型无监督聚类方法

在图像检索领域，聚类分析技术有着广泛应用。因为在对图像进行聚类分析时，通常缺少可资利用的先验知识，所以需要采用无监督的聚类算法。为了适应图像检索的需要，提出了一种新型的无监督聚类方法，即根据离群点信息来自动确定聚类算法的终止时机。此方法还弥补了现有聚类算法在离群点识别、使用上的缺欠。为验证其可行性，用其改进了CURE和ROCK两个经典算法。实验表明，改进后的两个算法都能自动终止，并能取得优于以往的聚类效果。     

基于非监督学习的入侵分析新方法

提出一种新的基于非监督学习的入侵分析方法.该方法具有发现未知攻击类型的能力,既可以作为独立的分析方法使用,又可以作为基于数据融合的入侵检测的一个分析引擎.在该方法中,核心非监督学习算法采用最大最小距离算法,同时融合非线性的归一化预处理和非数值型特征的有效编码等技术.与同类方法相比,该方法检测率较高,尤其是对于DoS和Probing两大类攻击效果更好.     

基于互信息的无监督特征选择

在数据分析中,特征选择可以用来降低特征的冗余,提高分析结果的可理解性和发现高维数据中隐藏的结构.提出了一种基于互信息的无监督的特征选择方法(UFS-MI),在UFS-MI中,使用了一种综合考虑了相关度和冗余度的特征选择标准UmRMR(无监督最小冗余最大相关)来评价特征的重要性.相关度和冗余度分别使用互信息来度量特征与潜在类别变量之间的依赖和特征与特征之间的依赖.UFS-MI同时适用于数值型和非数值型特征.在理论上证明了UFS-MI的有效性,实验结果也表明UFS-MI可以达到与传统的特征选择方法相当甚至更好的性能.     

基于改进ReliefF的无监督特征选择方法

针对特征选择中存在数据缺乏类别信息的问题,提出一种新型的基于改进ReliefF的无监督特征选择方法UFS-IR.由于ReliefF类算法存在小类样本抽样概率低、无法删除冗余特征的缺陷,该方法以DBSCAN聚类算法指导分类,通过改进抽样策略,使用调整的余弦相似度度量特征间的相关性作为去冗余的凭据.实验表明UFS-IR可以有效缩减数据维度的同时保证特征子集的最大相关最小冗余性,具有很好的性能.     

基于相机感知距离矩阵的无监督行人重识别

在跨场景、跨设备的行人重识别中虽然增加了可利用的行人数据,但由于行人姿态不同、部分遮挡现象,难以避免引入样本噪声,在聚类过程中易生成错误的伪标签,造成标签噪声,影响模型的优化。为减弱噪声影响,应用相机感知的距离矩阵对抗相机偏移引起的样本噪声问题,利用对噪声鲁棒的动态对称对比损失减少标签噪声,提出基于相机感知距离矩阵的无监督行人重识别算法。在聚类前通过更改度量行人特征相似度的距离矩阵,利用相机感知距离矩阵来增强类内距离度量准确性,减少由于拍摄视角不同对聚类效果造成的负面影响。同时,结合噪声标签学习方法,进行损失设计,提出动态对称对比损失函数,联合损失训练,不断精炼伪标签。在DukeMTMC-reID和Market-1501两个数据集上进行实验,验证了提出方法的有效性。     

HDP与互信息相结合的中文无指导分词

该文探讨了无指导条件下的中文分词,这对构建语言无关的健壮分词系统大有裨益。互信息与HDP(Hierarchical Dirichlet Process)是无指导情况下常用的分词模型,该文将两者结合,并改进了采样算法。不考虑标点符号,在两份大小不同的测试语料上获得的F值为0.693与0.741,相比baseline的HDP分别提升了5.8%和3.9%。该文还用该模型进行了半指导分词,实验结果比常用的CRF有指导分词提升了2.6%。     

基于时空信息融合的人体行为识别研究

在视频理解任务中,人体行为识别是一个重要的研究内容,但视频序列中存在时空信息融合困难、准确率低等问题。针对这些问题,提出一种基于时空信息融合的双流时空残差卷积网络模型。将视频分段采样提取RGB图像和光流图像,并将其输入到双流时空残差网络,通过设计的时空残差模块提取视频的深度时空特征,将每个视频片段的类别结果加权融合得到行为类别。提出的双流时空残差模块引入了少量的三维卷积和混合注意力机制,能够同时获取不同尺度的时空信息并且抑制无效信息,可以有效平衡时空信息的捕捉和计算量问题,并且提升了精度。实验基于TSN网络模型,在UCF101数据集上进行验证,实验结果表明提出的模型比原TSN网络模型的精准度提高了0.9个百分点,有效地提高了网络的时空信息捕获效率。     

一种基于极大熵的快速无监督线性降维方法

现实世界中高维数据无处不在,然而在高维数据中往往存在大量的冗余和噪声信息,这导致很多传统聚类算法在对高维数据聚类时不能获得很好的性能.实践中发现高维数据的类簇结构往往嵌入在较低维的子空间中.因而,降维成为挖掘高维数据类簇结构的关键技术.在众多降维方法中,基于图的降维方法是研究的热点.然而,大部分基于图的降维算法存在以下两个问题:(1)需要计算或者学习邻接图,计算复杂度高;(2)降维的过程中没有考虑降维后的用途.针对这两个问题,提出一种基于极大熵的快速无监督降维算法MEDR. MEDR算法融合线性投影和极大熵聚类模型,通过一种有效的迭代优化算法寻找高维数据嵌入在低维子空间的潜在最优类簇结构. MEDR算法不需事先输入邻接图,具有样本个数的线性时间复杂度.在真实数据集上的实验结果表明,与传统的降维方法相比, MEDR算法能够找到更好地将高维数据投影到低维子空间的投影矩阵,使投影后的数据有利于聚类.     

基于Web信息使用改进的无监督关系抽取方法构建交通本体

领域本体是对领域概念及其关系的一种高效合理的展现形式.在构建领域本体过程中,常常遇到的问题就是尽管本体概念完备但概念间关系复杂多样导致人工标记关系代价过高.使用无监督学习的关系抽取算法对包含丰富的领域概念的web信息进行抽取解决了这一问题.然而,传统的无监督学习的算法没有考虑到"单样例多概念对"的问题,导致最终抽取的概念关系不完整.本文利用交通领域的Web信息构建本体,将样例概念关系对权重引入传统的无监督学习方法Kmeans中,解决了此项问题并通过实验证明该算法取得了良好的效果.