基于流形正则化的多元时间序列半监督回归

针对多元时间序列半监督回归只考虑样本间空间关系信息而忽略了样本间时域信息的问题,提出了一种考虑样本间时域信息的半监督回归算法(ST-LapRLSR).在时域光滑性假设下,构造了一种能更好地反映样本间内蕴几何结构的正则化项.在建立图拉普拉斯的过程中,将样本点间的时序关系引入到边的权重计算中,并在流形正则化框架下利用该正则化项进行半监督回归,最后通过表示定理进行求解.在公共数据集和煤矿多传感器数据上进行了实验,结果表明:在多元时间序列半监督回归中,与只考虑样本空间关系信息的最小二乘正则化算法(LapRLSR)相比,ST-LapRLSR能同时利用样本的时空信息,准确率得到了提高.     

正则化最小二乘线性判别分析算法

线性判别分析（Linear Discriminant Analysis,LDA）是用于降维和分类的方法,然而在遇到小样本问题时,由于全局散布矩阵是奇异的．所以传统的LDA方法是不适用的。为了解决LDA的这种缺点,提出了基于最小二乘线性判别分析（LeastSquares Linear Discriminant Analysis．LS—LDA）的正则化算法,在LS—LDA中分别加入关于加权矩阵的L1范数、L2范数和弹性网络的惩罚项、来解决小样本问题,使模型具有鲁棒性和稀疏性。在对回归分析、正则化方法和LS—LDA相关技术进行深入分析的基础上,构建正则化最小二乘线性判别分析框架算法,实现数据降维。结合标准文本数据集进行实验,采用KNN（K-Nearest-Neighbor）分类器进行文本分类。实验结果表明,正则化的LS—LDA具有很好的分类性能,其中以加入了弹性网络惩罚项的Ls—LDA最优.     

一种基于谱聚类的聚类核半监督支持向量机

针对传统半监督支持向量机的高斯核函数无法恰当描述流形数据特性,从而导致流形数据分类精度下降的问题,提出一种基于谱聚类的聚类核半监督支持向量机.利用谱聚类方法在特征向量空间中对原始样本数据进行重新表述,使得在新表述中同一聚类中的样本能够更好地积聚在一起,构建聚类核函数,并进而构造聚类核半监督支持向量机,使样本更好地满足半监督学习必须遵循的聚类假设.研究结果表明:聚类核半监督支持向量机对未标记样本的分类精度高且算法性能稳定,对控制参数的设置不敏感,适于解决流形数据的分类问题.     

多视图交叉一致性学习的半监督水面目标检测

为缓解基于半监督学习的水面目标检测对有限标注样本过拟合的问题,提高无标注样本中目标提取的有效性,提出了基于多视图交叉一致性学习的半监督水面目标检测算法。首先,该算法通过数据增强的方式为训练样本生成不同的视图以丰富数据集的多样性;然后,利用所提出的多视图目标判别器为无标注样本在线生成伪标签,有助于提取无标注样本的有效信息;最后,利用所提出的多视图交叉一致性学习使同一目标实例的不同视图的输出实现交叉一致性正则化,以促进检测模型学习判别性的特征从而降低过拟合的风险。在海上和内河数据集上的实验结果表明：文中所提算法能够提高特征提取的判别性,对多类别的水面目标检测精度达到91.0%,比全监督检测算法提高了18.7%,比其他半监督检测算法提高了3.8%以上;在检测速度上,该算法达到13.1帧/s,基本满足实时性要求。所提算法通过多视图交叉一致性学习提高特征的判别性和缓解检测模型的过拟合风险,有助于提高半监督水面目标检测的性能。     

基于算法展开的图像盲去模糊深度学习网络

针对图像盲去模糊问题,基于变分模型的迭代优化展开形式设计了相应的变分深度学习网络,有效克服了传统变分方法计算效率低和深度学习方法可解释性差的问题。设计网络包含2部分：利用算法展开策略实现基于L₀正则化估计模糊核的子网络;基于估计的模糊核及图像恢复正则化模型的非盲去卷积子网络,该子网络充分利用了双通道的编解码网络结构。为确保模糊核估计的准确性和图像内容的一致性,损失函数由均方误差损失和结构相似性损失构成。L₀正则化的使用有助于快速准确地完成模糊核估计;图像恢复正则化模型的使用有助于边缘和图像细节的保持。在Levin数据集上的试验结果表明,所提算法在峰值信噪比上较目前先进算法至少提高了2.14 dB。     

一种基于Laplacian的半监督特征选择模型

针对LASSO算法及有关扩展模型忽略样本数据间关联信息的问题,以及有标签样本难以获取的实际情况,提出了一种半监督学习的特征选择模型。引入LASSO稀疏项,去除冗余特征,选择有效特征;引入Laplacian正则项,用于保留同类有标签和无标签样本内在的几何分布信息,帮助模型选出更具有判别能力的特征集;通过相似矩阵来重构半监督特征选择模型。在UCI数据集上的分类试验结果表明,这种方法能有效提高分类性能,同时也说明样本的几何分布信息是不应被忽略的。     

基于距离度量学习的半监督多视角谱聚类算法

为了有效利用少量先验信息提高多视角数据聚类效果,提出了一种基于距离度量学习的半监督多视角谱聚类算法(简称ML-SMC)。首先,利用距离度量学习引入先验信息,将多视角数据映射到反映先验约束条件的空间.然后,根据相似性构造每个视角的视图,将多视角聚类问题转化为最小正则割的图划分问题。实验结果表明：ML-SMC算法聚类结果的精度优于3种经典的多视角聚类算法和4种半监督单视角聚类算法。并且通过利用少量先验信息ML-SMC算法能够有效提高聚类效果。     

融合互信息估计和对抗自编码器的异常检测

无监督深度学习网络的训练目标从信息论的角度可解释为最大化训练样本及其表示之间的互信息.对抗自编码器（AAE）通过生成对抗的方式学习训练样本集的分布,据此可以由AAE建立基于正常样本集的半监督异常检测模型,但是AAE无法显式最大化正常样本及其表示间的互信息.为此,提出了一种互信息估计网络和AAE相融合（IAAE）的异常检测方法,该方法首先以重构误差最小化为目标,训练编码器和解码器;其次,在对抗正则化阶段将正常样本低维表示的聚集后验分布约束为先验分布,并最大化正常样本与其表示之间的互信息;最后由全连接神经网络估计正常样本与其表示之间的互信息.由待测样本的重构误差及其表示在隐空间中的众数散度计算其异常得分值.公开数据集上的实验结果表明,与已有典型相关的深度异常检测模型相比,IAAE模型在F1取值上具有更好的表现.     

基于最优传输特征选择的医学图像分割迁移学习

在无监督领域自适应迁移学习过程中,域无关特征导致模型分割性能下降,而目前并没有针对迁移学习分割模型有效的特征选择方法。为解决该问题,提出了一个基于最优传输的迁移学习通用特征选择模块,可以应用到多种无监督领域自适应图像分割模型中。该模块利用分割准确性加权最优传输选择两个域的最优样本子集,再将样本子集特征进行熵正则化最优传输,得到两个域特征相似性降序列表来去掉域无关特征。将通用特征选择模块应用到三种无监督领域自适应模型中解决新冠肺炎图像分割问题,均在一定程度上提升了模型性能。     

结合主动学习和半监督学习的网络入侵检测算法

为提高网络入侵检测的分类效率,提出一种结合主动学习和半监督学习的入侵检测算法。结合入侵检测实际,对主动学习算法进行简化,用有标记样本训练生成2个分类器,实现对未标记样本的预测;将2个分类器预测不一致的未标记样本作为信息量丰富的样本,使用半监督学习算法进行标记;最后, 把新增加的新标记样本添加到主动学习和半监督学习的训练集中,训练各自分类器, 反复迭代直到未标记样本集为空, 并用最新的有标记样本集训练形成最终的分类器。使用KDD CUP 99数据集进行入侵检测实验,其结果表明,与SVM方法相比,其分类率提高了4.3%,且较好地缩减了问题规模。       

基于半监督主动学习的虚假评论检测

基于有监督的虚假评论检测方法受限于标注语料的规模,为了更好地利用未标注评论数据来提高分类器的正确率和泛化能力,本文提出一种基于半监督主动学习的虚假评论检测方法.首先,定义并提取评论内容特征以及评论者行为特征,结合这两类特征来对虚假评论进行检测.然后,采用基于熵的主动学习算法选择对学习最有帮助的评论样本,获得其类别标注,将其合并到基于Tri-training的半监督学习算法的训练集中,利用大量未标注评论数据进行学习,提升分类器性能.最后,在领域评论数据集上进行实验,结果表明,将半监督学习与主动学习相结合,能够更有效的利用未标注评论数据,从而有效地提高虚假评论检测的效果.     

面向轴承智能诊断的多领域深度对抗迁移网络

针对不同工况下轴承监测数据分布差异性导致的诊断精度下降问题,基于深度学习与迁移学习,提出一种多领域深度对抗迁移网络,用于变工况下轴承的智能诊断。将不同工况下的样本集视作属于不同的领域,在特征提取时利用深度残差网络将轴承源域的训练数据与目标域的测试数据映射到高维特征空间,提取监测数据高层抽象的特征表示;设计多领域对抗模块,以支持多故障模式的轴承样本在不同领域对抗模块上进行对抗迁移训练,保障源域与目标域数据在特征空间中的分布有效对齐;在利用源域数据训练故障分类器时引入标签平滑约束,增强故障识别的泛化能力,将源域故障诊断知识迁移到目标域数据的故障信息识别,实现变工况下的轴承智能诊断。利用变工况下的齿轮箱轴承故障数据集与电机轴承数据集对提出方法进行验证,结果表明：相比其他方法,提出的新方法考虑了轴承监测数据的多故障模式结构,更好地提取了领域不变特征,提升了变工况下轴承故障的识别精度。     

局部敏感判别直推学习机

为了充分挖掘样本内在的几何结构和蕴含的判别信息来指导样本数据分类,提出一种局部敏感的判别直推学习方法.该方法将局部敏感辨析（LSDA）的基本原理引入到直推学习中,在直推学习的正则化框架中同时引入有助于分类的样本局部结构信息和判别信息,在判别信息指导下构建了类内图和类间图来刻画类内紧性和类间散性,从而在每个局部邻域中进一步最大化类间样本的间隔.同时,用数学的形式给出了目标函数的解析表达,在几个典型数据集上的实验结果表明,相较传统的基于图的半监督学习算法,该方法能取得更高的分类效果.     

基于深度学习的藏文现代印刷物版面检测技术研究

针对藏文现代图书版面中的文本行分布不均匀、现代藏文字体差异较大的问题,提出了一种基于Faster R-CNN的版面文本行检测算法. 通过在整理标注的数据集上训练,用ResNet-50网络提取出藏文现代图书版面特征信息. 为了有效提高模型的泛化能力,在COCO数据集下的网络模型中进行迁移学习. 实验结果表明,该方法可对藏文现代印刷物的版面实现文本行的定位,检测准确率为83%,召回率为95%,明显提高了版面检测的精确度.     

一种基于主动学习的集成协同训练算法

为了更好地发挥主动学习、半监督学习和集成学习这3种机器学习方法的优势,研究了1个不需要2个充分冗余视图、泛化能力强的高效学习算法。从聚类假设出发,给出每轮协同训练过程中添加自动标记样本的置信度度量方法,降低误标记率;提出作为主动选择未标记样本依据的贡献度的概念,贡献度越高的样本,越具有人工标记的价值,在协同训练迭代结束后,选择贡献度高的样本标记,就能增强反馈的效果,提升学习性能,提出一种基于主动学习的集成协同训练算法。应用于图像检索的实验结果表明,提出的算法是高效可行的。     

一种稀疏流形低秩表示的子空间聚类方法

针对基于非负低秩稀疏表示的子空间聚类方法不能准确描述数据集结构的问题，提出了一种稀疏流形低秩表示的子空间聚类方法。该方法使用双曲正切函数代替核范数来估计秩函数，并利用加权稀疏正则项使表示系数矩阵稀疏，同时引入稀疏流形正则项来刻画数据集的内在流形结构信息。首先通过带有自适应惩罚的线性交替方向法求解子空间表示模型。然后利用获得的表示系数矩阵构造相似度矩阵，结合使用谱聚类方法得到数据集的聚类结果，最后采用基于局部和全局一致性的半监督分类方法获得数据集的分类结果。在Extended Yale B数据库、CMU PIE数据库、ORL数据库、COIL 20数据库和MNIST数据库上的实验结果表明，本方法可以提高子空间聚类和半监督学习的准确率。     

空间约束半监督高斯过程下的高光谱图像分类

针对高光谱遥感图像分类中带标记训练样本较少、导致分类正确率偏低的问题,提出用于高光谱图像分类的空间约束半监督高斯过程方法.由于高光谱图像的特征空间满足流形分布假设,大量未标记样本可以使数据空间变得更加稠密,从而有助于更加准确地刻画局部空间特性,提高分类的精度和普适性.通过对高斯过程模型中的核函数施加空间近邻约束,建立未标记样本与带标记样本之间的空间联系.该半监督高斯过程分类器不仅可以提升高光谱遥感图像的分类性能,而且构造简单,实现方便.实验结果表明,在仅有少量带标记的训练样本情况下,半监督高斯过程分类方法对高光谱图像有较高的分类精度和稳定性.     

面向WSN的稀疏核学习机分布式训练方法

针对无线传感器网络（WSN）中,经过多跳路由传输训练数据到数据中心进行集中式训练时存在的高数据通信代价问题,基于L1正则化的稀疏特性,研究了仅依靠邻居节点间的协作,在网内分布式协同训练核最小均方差（KMSE）学习机的方法.首先,在节点模型与邻居节点间局部最优模型对本地训练样本预测值相一致的约束下,利用并行投影方法和交替方向乘子法对L1正则化KMSE的优化问题进行稀疏模型求解;然后,当各节点收敛到局部稳定模型时,利用平均一致性算法实现各节点稀疏模型的全局一致.基于此方法,提出了基于并行投影方法的L1正则化KMSE学习机的分布式（L1-DKMSE-PP）训练算法.仿真实验结果表明,L1-DKMSE-PP算法能够得到与集中式训练算法相当的预测效果和比较稀疏的预测模型,更重要的是能显著降低核学习机训练过程中的数据通信代价.     

融合主动学习的高光谱图像半监督分类

针对高光谱数据维数高、有标签样本少等特点,采用半监督分类利用未标记样本信息提高高光谱图像分类精度。主动学习研究训练样本的选择方法,以少量的标记样本得到尽可能好的泛化能力。本文提出了一种结合主动学习算法的半监督分类算法。该方法使用支持向量机作为基本的学习模型,通过主动学习方法选取训练样本,以伪标记的形式加入到分类器的训练中,结合验证分类器迭代选出置信度较高的伪标记样本,通过差分进化算法交叉变异伪标记样本扩充标记样本群。在两个数据集上进行仿真实验,与传统分类算法相比,所提算法的总体分类精度分别提高了1.97%、0.49%,表明该算法能够有效地提升主动学习样本选择的效率,在有限带标记样本情况下提高了分类器精度。     

一种基于迁移学习的文本—图像特征映射算法

提出一种事件约束下基于迁移学习的文本—图像特征映射算法.通过潜在狄利克莱分配方法对事件文本数据进行主题建模,并通过计算主题特征的信息增益选出最显著的文本特征;用视觉词袋模型和朴素贝叶斯方法对事件图片进行主题建模;通过同事件下的文本数据特征分布和文本—图像共现数据特征分布,实现了对图像特征分布的近似.在包含15个主题事件的数据集上进行实验的结果证明了所提特征映射算法的有效性.