基于拓展稀疏表示模型和LC-KSVD的人脸识别

为了提高人脸的识别率和识别速度及其识别的鲁棒性,提出了基于拓展稀疏表示模型和LC-KSVD(Label Consist K-SVD)的人脸识别算法。针对字典学习中只包含表示能力没有包含类别信息的问题,在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展稀疏表示模型具有更强的鲁棒性;在字典学习中添加稀疏编码和分类器参数约束项,通过字典学习同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力。实验结果表明,基于拓展稀疏表示模型和LC-KSVD的人脸识别具有高识别率和低识别速度,并且有很好的鲁棒性。     

基于改进字典学习算法的人脸识别

为了提高基于稀疏表示的人脸识别速度和对图像的噪声、遮挡、损坏的鲁棒性,提出了拓展的稀疏表示模型和D-KSVD(Discrimination K-SVD)的人脸识别算法。在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展的稀疏表示模型具有更强的鲁棒性。针对字典学习中只包含表示能力没有包含类别信息的问题,在字典学习中添加了稀疏编码和分类器参数约束项,在字典学习的过程中同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力,用其稀疏编码系数进行人脸识别分类时能获得更好的识别性能。     

基于Reptile的个性化联邦学习算法

在联邦学习背景下, 由于行业竞争、隐私保护等壁垒, 用户数据保留在本地, 无法集中在一处训练. 为充分利用用户的数据和算力, 用户可通过中央服务器协同训练模型, 训练得到的公共模型为用户共享, 但公共模型对于不同用户会产生相同输出, 难以适应用户数据是异质的常见情形. 针对该问题, 提出一种基于元学习方法Reptile的新算法, 为用户学习个性化联邦学习模型. Reptile可高效学习多任务的模型初始化参数, 在新任务到来时, 仅需几步梯度下降就能收敛到良好的模型参数. 利用这一优势, 将Reptile与联邦平均(federated averaging, FedAvg)相结合, 用户终端利用Reptile处理多任务并更新参数, 之后中央服务器将用户更新的参数进行平均聚合, 迭代学习更好的模型初始化参数, 最后将其应用于各用户数据后仅需几步梯度下降即可获得个性化模型. 实验中使用模拟数据和真实数据设置了联邦学习场景, 实验表明该算法相比其他算法能够更快收敛, 具有更好的个性化学习能力.     

基于中间层的可扩展学习索引技术

在大数据与云计算时代,数据访问速度是衡量大规模存储系统性能的一个重要指标.因此,如何设计一种轻量、高效的数据索引结构,从而满足系统高吞吐率、低内存占用的需求,是当前数据库领域的研究热点之一.Kraska等人提出使用机器学习模型代替传统的B树索引,并在真实数据集上取得了不错的效果,但其提出的模型假设工作负载是静态的、只读的,对于索引更新问题没有提出很好的解决办法.提出了基于中间层的可扩展的学习索引模型Dabble,用来解决索引更新引发的模型重训练问题.首先,Dabble模型利用K-Means聚类算法将数据集划分为K个区域,并训练K个神经网络分别学习不同区域的数据分布.在模型训练阶段,创新性地把数据的访问热点信息融入到神经网络中,从而提高模型对热点数据的预测精度.在数据插入时,借鉴了LSM树延迟更新的思想,提高了数据写入速度.在索引更新阶段,提出一种基于中间层的机制将模型解耦,从而缓解由于数据插入带来的模型更新问题.分别在Lognormal数据集以及Weblogs数据集上进行实验验证,结果表明,与当前先进的方法相比,Dabble模型在查询以及索引更新方面都取得了非常好的效果.     

一种新的鲁棒子空间建模方法

针对传统子空间建模技术中存在的两个难点问题,即对训练数据中的噪音或局外点非常敏感和基于批处理方式的大尺度高维样本模型学习计算非常费时,提出了一种新的鲁棒子空间建模方法.该方法先利用基于双平方函数的鲁棒估计,基于梯度下降的学习规则和M-估计器来同时学习和估计线性模型的初始参数,自动分级检测出初始训练样本集中的样本级局外点和样本中的信号级局外点;然后利用鲁棒的增量学习来更新参数,获得可靠的子空间模型.实验证明,这种新的鲁棒子空间建模方法能有效处理不同类型的噪音数据,在学习亮度子空间模型时能有效解决亮度明显变化、遮挡、噪音污染等敏感问题,并且具有较快的学习速度.     

基于群稀疏的结构化字典学习

随着稀疏表示在机器学习和图像处理领域中的广泛应用,字典学习的算法受到越来越多的关注。传统意义上训练出来的字典只是一些原子的集合,没有结构。考虑到稀疏表示信号中群结构的稀疏性,建立了基于群稀疏的结构化字典学习的数学模型,并结合凸分析和单调算子理论提出了一个结构化字典学习的有效算法。实验结果表明,该算法具有更快的收敛速度,新模型训练出来的字典能够更好地适应数据,提高表示数据的精度,进而提高图像增强的效果。     

基于链接实体回放的多源知识图谱终身表示学习

知识图谱存储大量的结构化知识和丰富的语义信息,已被广泛应用于知识驱动的智能软件.随着智能应用的不断发展,它们对知识图谱的需求也在发生变化.而单一知识图谱往往具有数据不完备等缺点,难以满足需求.因此,支持新数据来源、融合多源知识已经成为迫切需求.传统的知识图谱表示学习和应用范式只考虑单一图谱,忽视了不同图谱间的知识迁移.多源知识图谱联合训练虽然可以带来性能提升,但不支持新增知识图谱的拓展表示学习.鉴于此,提出了多源知识图谱终身表示学习的新范式.给定一个知识图谱序列,终身表示学习的目标是在学习新知识图谱的同时,从已学习的知识图谱与模型中获得知识迁移.为实现这一目标,提出了一个基于链接实体回放的多源知识图谱终身表示学习框架.首先,设计一个以Transformer为编码器的知识图谱表示学习模型作为框架核心,利用关系相关性进行实体的链接预测.其次,提出链接子图构造方法,基于实体对齐构建并回放新增知识图谱和已有知识图谱之间的链接子图进行终身学习和知识迁移.最后,采用动态结构方法,为每个知识图谱存储相应的模型参数快照来避免灾难性遗忘.多个链接预测基准数据集上的实验结果表明,所提出的表示学习模型可以取得最先进的性能,且提出的终身表示学习框架可以实现有效的知识迁移.     

基于元学习的小样本遥感图像分类

为改善传统分类算法在小样本遥感图像分类上效果差的缺陷,提升模型的快速学习能力,提出融合迁移学习和元学习的小样本分类算法。设计基于长短期记忆网络的元学习器,通过门控结构拟合网络参数更新方式最下化损失下界,具有自动学习分类器参数更新方式的机制,相比于传统方法,能够有效扩展优化算法的搜索空间;考虑样本的跨类别知识转移和训练时间,利用迁移学习的思想,将不同类别的数据映射到同一特征空间上,对经过表征训练的分类器进行元训练,使分类器更好把握类别的整体特征,加速元学习的训练过程。实验结果验证了该算法的优秀性,为罕见小样本遥感图像分类提供解决思路。     

面向多层无线边缘环境下的联邦学习通信优化的研究

现有的联邦学习模型同步方法大多基于单层的参数服务器架构,难以适应当前异构无线网络场景,同时存在单点通信负载过重、系统延展性差等问题。针对这些问题,文中提出了一种面向边缘混合无线网络的联邦学习高效模型同步方法。在混合无线网络环境中,边缘移动终端将本地模型传输给附近的小型基站,小型基站收到边缘移动终端模型后执行聚合算法,并将聚合后的模型发送给宏基站完成全局模型更新。考虑到信道性能的异构性和数据传输在无线信道上的竞争关系,文中提出了一种新型的分组异步模型同步方法,并设计了基于传输速率感知的信道分配算法。在真实的数据集上进行了实验,实验结果表明,与传统的模型更新算法相比,所提基于分组异步模型更新的信道分配方法可以缩短25%~60%的训练通信时间,大幅度提升了联邦学习的训练效率。     

多任务学习的车辆结构化信息提取方法

目前, 大部分的车辆结构化信息需要通过多个步骤进行提取, 存在模型训练繁琐、各步骤模型训练数据有限和过程误差累加等问题. 为此, 采用多任务学习将车辆结构化信息提取整合在统一的神经网络之中, 通过共享特征提取结构, 减少过程误差累加, 并构建了一个多任务损失函数用于端到端训练神经网络; 针对训练样本有限的问题, 提出了新的数据整合和增广方法. 在KITTI数据集上实验结果表明, VSENet可以达到93.82%的mAP(均值平均精度), 且能达到实时的处理速度; 与多阶段的车辆结构化特征提取方法对比, 平均运行时间缩减了60%, 其精度能达到相似或者更好的效果; 实验结果表明, 该方法具有一定的先进性和有效性.     

基于随机近邻嵌入的判别性特征学习

特征学习是机器学习中的一项重要技术,研究从原始数据中学习后置任务所需的数据表示.目前,多数特征学习算法侧重于学习原始数据中的拓扑结构,忽略了数据中的判别信息.基于此,提出了基于随机近邻嵌入的判别性特征学习模型.该模型将对判别信息的学习与对拓扑结构的学习融合在一起,通过迭代求解的方式,同时完成对这两者的学习,从而得到原始数据具有判别性的特征表示,可以显著提升机器学习算法的性能.多个公开数据集上的实验结果验证了该模型的有效性.     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

基于数据流深度学习算法的Android恶意应用检测方法

目前针对未知的Android恶意应用可以采用机器学习算法进行检测,但传统的机器学习算法具有少于三层的计算单元,无法充分挖掘Android应用程序特征深层次的表达。文中首次提出了一种基于深度学习的算法DDBN （Data-flow Deep BeliefNetwork）对Android应用程序数据流特征进行分析,从而检测Android未知恶意应用。首先,使用分析工具FlowDroid和SUSI提取能够反映Android应用恶意行为的静态数据流特征;然后,针对该特征设计了数据流深度学习算法DDBN,该算法通过构建深层的模型结构,并进行逐层特征变换,将数据流在原空间的特征表示变换到新的特征空间,从而使分类更加准确;最后,基于DDBN实现了Android恶意应用检测工具Flowdect,并对现实中的大量安全应用和恶意应用进行检测。实验结果表明,Flowdect能够充分学习Android应用程序的数据流特征,用于检测未知的Android恶意应用。通过与其他基于传统机器学习算法的检测方案对比,DDBN算法具有更优的检测效果。     

信度网结构在线学习算法

提出一种新的信度网结构在线学习算法.其核心思想是,利用新样本对信度网结构和参数不断进行增量式修改,以逐步逼近真实模型.本算法分为两个步骤:首先分别利用参数增量修改律和添加边、删除边、边反向3种结构增量修改律,并结合新采集的样本,对当前信度网模型进行增量式修改;然后利用结果选择判定准则,从增量式修改所得的后代信度网集合中选择一个合适的信度网作为本次迭代结果.该结果在与当前样本的一致性和与上一代模型的距离之间达到一个合理的折衷.实验结果表明,本算法能有效地实现信度网结构的在线学习.由于在线学习不需要历史样本,     

Local structure based supervised feature extraction

In the past few years, the computer vision and pattern recognition community has witnessed the rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel feature extraction method, called locally discriminating projection (LDP). LDP utilizes class information to guide the procedure of feature extraction. In LDP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The similarity has several good properties which help to discover the true intrinsic structure of the data, and make LDP a robust technique for the classification tasks. We compare the proposed LDP approach with LPP, as well as other feature extraction methods, such as PCA and LDA, on the public available data sets, FERET and AR. Experimental results suggest that LDP provides a better representation of the class information and achieves much higher recognition accuracies.     

Adaptive sparse graph learning based dimensionality reduction for classification

To preserve the sparsity structure in dimensionality reduction, sparsity preserving projection (SPP) is widely used in many fields of classification, which has the advantages of noise robustness and data adaptivity compared with other graph based method. However, the sparsity parameter of SPP is fixed for all samples without any adjustment. In this paper, an improved SPP method is proposed, which has an adaptive parameter adjustment strategy during sparse graph construction. With this adjustment strategy, the sparsity parameter of each sample is adjusted adaptively according to the relationship of those samples with nonzero sparse representation coefficients, by which the discriminant information of graph is enhanced. With the same expectation, similarity information both in original space and projection space is applied for sparse representation as guidance information. Besides, a new measurement is introduced to control the influence of each sample’s local structure on projection learning, by which more correct discriminant information should be preserved in the projection space. With the contributions of above strategies, the low-dimensional space with high discriminant ability is found, which is more beneficial for classification. Experimental results on three datasets demonstrate that the proposed approach can achieve better classification performance over some available state-of-the-art approaches.     

Incrementally updating a hybrid rule base based on empirical data

Abstract: Neurules are a kind of hybrid rules that combine a symbolic (production rules) and a connectionist (adaline unit) representation. One way that the neurules can be produced is from training examples/patterns, extracted from empirical data. However, in certain application fields not all of the training examples are available a priori. A number of them become available over time. In those cases, updating the neurule base is necessary. In this paper, methods for updating a hybrid rule base, consisting of neurules, to reflect the availability of new training examples are presented. They can be considered as a type of incremental learning method that retains the entire induced hypothesis and all past training examples. The methods are efficient, since they require the least possible retraining effort and the number of neurules produced is kept as small as possible. Experimental results that prove the above argument are presented.     

基于深度图正则化矩阵分解的多视图聚类算法

针对现实社会中由多种表示或视图组成的多视图数据广泛存在的问题,深度矩阵分解模型因其能够挖掘数据的层次信息而备受关注,但该模型忽略了数据的几何结构信息.为解决以上问题,本文提出基于深度图正则化矩阵分解的多视图聚类算法,通过获取每个视图的局部结构信息和全局结构信息在逐层分解中加入两个图正则化限制,保护多视图数据的几何结构信...     

基于局部保持的核稀疏表示字典学习

为了利用核技巧提高分类性能, 在局部保持的稀疏表示 字典学习的基础上, 提出了两种核化的稀疏表示字典学习方法. 首先, 原始训练数据被投影到高维核空间, 进行基于局部保持的核稀疏表示字典学习; 其次, 在稀疏系数上强加核局部保持约束, 进行基于核局部保持的核稀疏表示字典学习. 实验结果表明, 该方法的分类识别结果优于其他方法.     

基于低秩表示的标记分布学习算法

针对标记分布学习算法忽略标记相关性信息及数据存在异常和噪声值的情况,文中提出基于低秩表示的标记分布学习算法(LDL-LRR).利用特征空间的基线性表示样本信息,实现对原始特征空间数据的降维.将低轶表示(LRR)迁移至标记空间,对模型施加低秩约束,把握数据的全局结构.分别使用增广拉格朗日乘子法和拟牛顿法求解LRR和目标函数,再通过最大熵模型预测标记分布.在10个数据集上的对比实验表明,LDL-LRR性能良好,效果稳定.