改进的无监督同时正交基聚类特征选择

提出了一种改进的同时正交基聚类特征选择(Improved Unsupervised Simultaneous Orthogonal Basis Clustering Feature Selection,ISOCFS)方法。为有效地对无标签数据进行特征选择,利用目标矩阵来设计正则化的回归模型。目标矩阵通过正交基聚类,获取投影数据点的潜在聚类中心,引导投影矩阵选择判别性的特征。与先前的无监督特征选择方法不同,ISOCFS并不使用数据点预先计算局部结构信息描述目标函数,而是利用目标矩阵进行正交基聚类直接计算潜在的聚类信息。其次,为了减少噪声信息对估计目标矩阵和投影矩阵的干扰,在先前方法基础上,该方法增加了噪声项。另外,该方法利用简单的优化算法即可求解。最后,通过四个常见的微阵列基因表达数据集及五种最近的无监督特征选择方法进行对比实验,证明了ISOCFS方法可以获得更好的聚类效果。     

基于迁移学习的跨域异常流量检测

基于已知数据的机器学习模型在实际异常流量检测任务中不完全可靠,为此,将不同分布的流量分别作为源域和目标域,建立跨域网络异常流量检测框架,提出了基于联合分布适配的迁移学习方法.通过寻找最优变换矩阵、适配源域与目标域之间的条件概率和边缘概率,实现源域与目标域间的特征迁移,从而解决由于源域与目标域分布差异大所引起的检测准确率下降等问题.实验结果表明,所提方法可以显著提升跨域流量的检测准确率.     

融合深度特征提取和注意力机制的跨域推荐模型

为缓解跨域推荐中目标域数据稀疏和冷启动问题，综合增强嵌入、嵌入迁移、注意力机制调整和跨域推荐技术，提出一种融合深度特征提取和注意力机制的跨域推荐模型（cross-domain recommendation model of deep feature extraction and attention mechanism, CRDFEAM）．利用潜在因子模型将类型相似度合并到矩阵分解过程，挖掘项目类型的隐性偏好．相比评分这一显性偏好，项目类型能更充分获取用户特征．在跨域迁移时，用分布对齐方式使域间差异最小化，以减少两个领域特征之间的数据分布差异．相对于直接迁移，分布对齐方式具有更强的可解释性．在特征调整过程中，引入多层感知机（multilayer perceptron, MLP）映射，并使用注意力机制进一步调整用户特征，使源域中没有出现过的目标域用户注意到源域用户的特征信息，同时也使源域中出现过的目标域用户注意到目标域中的项目特征信息．在真实数据集Movielens(M)、Netflix(N)和Douban(D)上的实验验证结果表明，引入MLP映射嵌入的CRDFEAM+模型的均方根误差（r...     

基于迁移学习的SAR图像车辆目标识别方法研究

针对卷积神经网络因参数随机初始化引起的收敛慢和过拟合的问题,提出了一种基于迁移学习的卷积神经网络模型.将小样本的数据作为源域的训练样本,将源域训练得到的模型的参数作为目标域模型的初始参数,大样本数据作为目标域的训练样本进行网络微调,实现从源域到目标域的信息迁移.在卷积神经网络中采用神经元丢弃法和组合小卷积核代替大卷积核的方式,减少网络的参数,加快收敛速度,并且抑制过拟合问题.实验采用移动与静止目标搜索识别数据集,该数据集分为十类合成孔径雷达图像车辆目标,以数据集中的三类目标数据作为源域训练样本,十类目标数据作为目标域训练样本,实验结果表明,提出的方法在十类目标识别精度上达到了98.39％,同时具有较快的收敛速度.     

基于判别性样本选择的无监督领域自适应方法

针对现实中由于训练集与测试集分布不同而导致分类准确率较低的问题,提出基于判别性样本选择的无监督领域自适应方法(简称DSS算法)。为了减少源域和目标域的分布差异,将2个领域样本投影到同一子空间中,并对源域中的样本进行加权,使样本更具有判别性;不同于以往基于样本的概率密度估计方法,通过求解一个二次规划问题得到样本权重,避免了对样本分布进行估计,适用于任何领域且不会受到高维密度估计所造成的维数困扰;最后通过最小化类内距离来实现同类聚集。实验结果表明,该方法提高了数据集的分类准确率且具有较好的鲁棒性。     

基于无监督域适应的跨场景带钢表面缺陷识别

深度学习模型面对跨场景的带钢表面缺陷识别时存在泛化性能差的问题，为此提出端到端的多级对齐域适应神经网络模型(MADA)，实现源域与目标域数据的像素级光照分布对齐与特征级纹理分布对齐. MADA通过无参考像素级光照分布对齐模块和光照校正损失函数，将源域与目标域数据投影到光照子空间，实现源域与目标域的像素级光照分布对齐.利用纹理特征提取器和特征级域鉴别器的对抗学习，实现源域和目标域数据的纹理分布对齐.实验在邯郸钢铁集团带钢表面缺陷数据集的F1指数达到98%，在谢维尔钢铁集团带钢表面缺陷数据集上的F1指数达到86.6%.实验结果表明，与其他域适应方法相比，所提方法具有更好的泛化性能.     

加权成对约束投影半监督聚类

为了充分挖掘成对约束所隐含的信息来指导数据降维和数据聚类,提出一种基于加权成对约束投影的半监督聚类方法.该方法构造成对约束信息的k最近邻集并扩充成对约束集,分析成对约束实例包含的信息量并构造权系数矩阵,在加权成对约束信息的指导下求得投影矩阵,通过投影矩阵将样本数据投影到低维空间,使类内各点紧密分布,类间各点分散分布.同时,通过一种新的评价函数对k均值聚类算法进行改进,能够在尽量不违反成对约束的情况下优化聚类性能,实验结果表明,与现有半监督降维聚类算法相比,新方法能以较低的开销对高维数据进行聚类．     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

面向轴承智能诊断的多领域深度对抗迁移网络

针对不同工况下轴承监测数据分布差异性导致的诊断精度下降问题,基于深度学习与迁移学习,提出一种多领域深度对抗迁移网络,用于变工况下轴承的智能诊断。将不同工况下的样本集视作属于不同的领域,在特征提取时利用深度残差网络将轴承源域的训练数据与目标域的测试数据映射到高维特征空间,提取监测数据高层抽象的特征表示;设计多领域对抗模块,以支持多故障模式的轴承样本在不同领域对抗模块上进行对抗迁移训练,保障源域与目标域数据在特征空间中的分布有效对齐;在利用源域数据训练故障分类器时引入标签平滑约束,增强故障识别的泛化能力,将源域故障诊断知识迁移到目标域数据的故障信息识别,实现变工况下的轴承智能诊断。利用变工况下的齿轮箱轴承故障数据集与电机轴承数据集对提出方法进行验证,结果表明：相比其他方法,提出的新方法考虑了轴承监测数据的多故障模式结构,更好地提取了领域不变特征,提升了变工况下轴承故障的识别精度。     

融合文本描述和层次类型的知识表示学习方法

现有的知识表示方法只考虑三元组本身或一种额外信息，没有充分利用外部信息对知识表示进行语义补充，为此提出一种融合文本描述信息和层次类型信息的知识表示学习方法.使用卷积神经网络(CNN)从文本中提取特征信息；使用基于注意力机制的卷积神经网络区分不同关系的特征可信度，以增强实体关系结构向量在现有知识图谱中的表示，获得丰富的语义信息；使用加权层次编码器来构造层次类型投影矩阵，将实体的所有层次类型投影矩阵与特定关系类型约束结合起来.在WN18、WN18RR、FB15K、FB15K-237和YAGO3-10数据集上,进行链接预测和三元组分类等任务，以分析和验证所提模型的有效性.实验结果表明:在实体预测实验中，所提模型与TransD模型相比，MeanRank(Filter)降低了11.8%,Hits@10提升了3.5%；在三元组分类实验中，所提模型的分类精度比DKRL模型提高了8.4%，比TKRL模型提升了8.5%，充分证明利用外部多源信息能够提高知识表示能力.     

基于多核稀疏保持投影的多特征集典型相关分析的水下目标特征融合方法

针对水下目标识别特征样本集高维小样本问题,提出了基于多核稀疏保持投影的多特征集典型相关分析的水下目标特征融合方法。该方法用多特征集典型相关分析算法对多域特征的整体相关程度进行定量分析,去除冗余和噪声特征,实现多域特征的融合,并利用多核稀疏保持投影算法,对提取的多域特征样本的稀疏重构性加以约束,增强了特征的判别能力。利用实测舰船辐射噪声数据验证基于核稀疏保持投影的多特征集典型相关分析的水下目标特征融合方法的有效性,与多特征集典型相关分析方法和核稀疏保持投影典型相关分析方法进行了对比,实验研究表明,提出的方法可以有效去除冗余和噪声特征,实现多域水下目标特征的融合,提高水下目标的识别正确率。     

不相关局部保持鉴别分析算法

针对人脸识别中的特征提取问题,提出了一种新的不相关局部保持鉴别分析算法.根据局部保持投影方法的特点和类内样本之间的空间结构信息,重新定义类内散布矩阵与类间散布矩阵,结合不相关条件,推导出一个新的目标函数.在此基础上,通过理论分析给出了求解不相关局部保持鉴别矢量集的计算公式.人脸库上的实验结果表明,新算法优于传统的局部保持投影方法和其他改进的局部保持投影方法.     

基于多源域领域适应字典学习和稀疏表示的脑电情感识别方法

脑电信号容易记录且不易伪装,基于脑电信号的情感识别越来越受到人们的关注.然而,人类情感具有多样性和个体可变性,基于脑电信号的情感识别仍是情感计算领域的难题.本文提出一种多源域领域适应字典学习和稀疏表示方法.为减少源领域和目标领域数据分布的差异,将所有领域的数据投影到共享子空间,并在共享子空间中学习一个共有字典.根据稀疏重建的最小化类内误差和最大化类间误差准则,稀疏表示具有类别的分辨能力.另外,每个源域自适应学习领域权重,可以避免负迁移的发生.模型参数的求解通过参数交替优化方法,所有参数可同时达到最优解.DEAP数据集的实验结果显示本文方法在所有对比方法中是最优的.     

基于特征选择和时间卷积网络的工业控制系统入侵检测

针对工业控制系统流量数据存在特征冗余及深度学习模型对较小规模数据集检测能力较差的问题,提出了一种基于特征选择和时间卷积网络的工业控制系统入侵检测模型。首先,对源域数据集的异常特征和样本不平衡数据进行处理,提高源域数据集质量。其次,针对流量数据的特征冗余,利用信息增益率和主成分分析法构建IGR-PCA特征选择算法,筛选出最优特征子集实现数据降维。然后,根据工业控制系统流量数据的时间序列特性,在较大规模的源域数据集上,利用时间卷积网络（temporal convolution network,TCN）对时间序列数据优异的处理能力,构建源域时间卷积网络预训练模型。最后,在较小规模的目标域数据集上,结合迁移学习（transfer learning,TL）微调策略,获取源域样本数据的流量特征,构建目标域TCN-TL模型。利用公开的工业控制系统数据集进行实验测试,实验结果表明：流量数据经本文特征算法处理后,相较于其他方法,在降低数据维度减少计算量的同时仍具有良好的检测效果;在较大规模的源域数据集和较小规模的目标域数据集上,本文模型均取得了良好的检测效果,在目标域中利用迁移学习微调策略能够学习到源域中的知识,模型检测准确率为99.06%,在训练时间对比中,本文模型训练时间消耗更少,具有更好的泛化能力,能够更好地保护工业控制系统安全。     

基于批归一化统计量的无源多领域自适应方法

为解决传统的领域自适应方法训练期间源域数据并不总是可用这一问题,提出一种无源多领域自适应方法,有效完成当存在领域漂移现象时的图像分类任务。通过最小化源域和目标域数据的批归一化统计量距离减小域之间的分布差异,解决因无法访问源域数据而无法显式对齐源域与目标域的问题;采用基于近邻聚合策略的伪标签分类器辅助生成更加准确的伪标签,提高模型预测的准确性;通过学习最优的融合权重,将多个自适应后的源域模型进行有效融合。构建基于批归一化统计量的无源多领域自适应模型。性能对比试验和消融试验结果表明,与多个基线模型相比,本研究方法预测准确性提高0.6%～3.7%。     

多代表点自约束的模糊迁移聚类

以往建立在模糊C均值(fuzzyC-means, FCM)框架下利用源域虚拟簇中心作为迁移知识的迁移聚类算法容易受到离群点和噪声的干扰,且单个簇中心不足以描述簇结构。针对此问题,提出多代表点自约束的模糊迁移聚类算法,该算法引入样本代表权重机制为簇中每个样本分配代表权重来刻画簇结构,这种机制能更好的刻画簇结构,对离群点和噪声有较好的抑制作用;同时利用源域样本,重构目标域簇结构,并以此作为迁移知识进行目标域样本聚类,相对于利用单中心作为迁移知识来说,整体重构后的目标域簇结构所包含的迁移知识量更为丰富。试验结果表明。在人工数据集和真实数据集上,所提出的聚类算法相比对比算法, NMI和ARI最高提升了0.674 5和0.608 4。说明在迁移环境下,以代表点自约束作为知识迁移规则,所提出的聚类算法具有一定的聚类效果。     

基于轮廓线的三维重建方法的研究

在几何造型系统中引入基于轮廓线的三维重建方法作为造型手段的补充是有意义的。实际应用中得到的轮廓线数据集所具有的不同特点,使得三维重建过程中要处理的问题域被分为轮廓线的二维投影域和三维轮廓线整体信息域两种情况。对于轮廓的二维投影域 可以使用 Ｄｅｌａｕｎａｙ 三 角剖分二维任意域的算法来处理,并且在应用中对于原算法存在的缺陷进行了修正,提高了算法的健壮性;处理三维轮廓线整体信息域时,可以考虑使用基于图论描述的组合优化 的求解方法加以解决,在多个 三维重建结果中选择与定义最接近的解,是比较合理的解决问题的思路,方法中涉及优化目标和准则的选择,优化算法的运用以及三维重建结果向现有的几何造型系统使用的数据结构的转化算法等问题     

基于低秩稀疏表达的弹性最小二乘回归学习

为了克服重定向最小二乘回归模型容易破坏回归目标的结构的缺点,提出了一种基于低秩稀疏表达的弹性最小二乘回归学习模型LRSR-eLSR。模型以最小二乘回归为基础,不使用严格的0-1标签矩阵作为目标矩阵,而是引入边距约束来直接从数据中学习回归目标,可以在保持回归目标低秩结构的同时,增加回归模型的灵活性。而且,为了捕获数据的结构信息,利用了数据的低秩表示来保持数据的结构。在计算的过程中,考虑问题求解的复杂性,使用了核范数正则化代替秩函数。除此之外,模型还引入了一个带有L_2,1范数的稀疏误差项来补偿回归误差,这有利于学习更灵活地变换。模型还对投影矩阵施加额外的正则化项,来避免过拟合问题。实验结果表明：在4个公开的数据集上,所提模型的识别准确率优于其他方法;在COIL-20数据集中,识别率可达到98%。     

类别语义信息对齐的无监督领域自适应网络

针对在目标应用场景中缺乏大量有标定训练数据的情况下难以获得有效的深度学习分类模型的问题,结合领域分布差异的方法与对抗学习方法的优势,提出以显式特征对齐与隐式领域对抗及类别对齐为基础的领域自适应框架.对于显式特征对齐模块,考虑到领域知识差异大带来的优化难题,采用渐进式协同优化策略,通过逐层减小不同语义层之间的领域差异,提升领域自适应性能.对于隐式类别对齐模块,为了增强目标特征的判别性,使用自训练方法获得伪标签,克服伪标签存在的标签噪声问题,并通过学习混淆矩阵优化伪标签的准确率,自动构造新的目标领域损失函数,从而在减小领域间差异的同时,提升源领域与目标领域相同类别的特征分布对齐的准确性.基于Office-31数据集的6个跨领域分类任务与基于Office-Home数据集的12组跨领域分类任务的实验结果表明,该方法在迁移学习任务上的平均分类准确率相较于基准方法分别提升11.9%和19.9%,所提出网络对于领域自适应任务是有效的.     

一种稀疏流形低秩表示的子空间聚类方法

针对基于非负低秩稀疏表示的子空间聚类方法不能准确描述数据集结构的问题，提出了一种稀疏流形低秩表示的子空间聚类方法。该方法使用双曲正切函数代替核范数来估计秩函数，并利用加权稀疏正则项使表示系数矩阵稀疏，同时引入稀疏流形正则项来刻画数据集的内在流形结构信息。首先通过带有自适应惩罚的线性交替方向法求解子空间表示模型。然后利用获得的表示系数矩阵构造相似度矩阵，结合使用谱聚类方法得到数据集的聚类结果，最后采用基于局部和全局一致性的半监督分类方法获得数据集的分类结果。在Extended Yale B数据库、CMU PIE数据库、ORL数据库、COIL 20数据库和MNIST数据库上的实验结果表明，本方法可以提高子空间聚类和半监督学习的准确率。