基于中间层的可扩展学习索引技术

在大数据与云计算时代,数据访问速度是衡量大规模存储系统性能的一个重要指标.因此,如何设计一种轻量、高效的数据索引结构,从而满足系统高吞吐率、低内存占用的需求,是当前数据库领域的研究热点之一.Kraska等人提出使用机器学习模型代替传统的B树索引,并在真实数据集上取得了不错的效果,但其提出的模型假设工作负载是静态的、只读的,对于索引更新问题没有提出很好的解决办法.提出了基于中间层的可扩展的学习索引模型Dabble,用来解决索引更新引发的模型重训练问题.首先,Dabble模型利用K-Means聚类算法将数据集划分为K个区域,并训练K个神经网络分别学习不同区域的数据分布.在模型训练阶段,创新性地把数据的访问热点信息融入到神经网络中,从而提高模型对热点数据的预测精度.在数据插入时,借鉴了LSM树延迟更新的思想,提高了数据写入速度.在索引更新阶段,提出一种基于中间层的机制将模型解耦,从而缓解由于数据插入带来的模型更新问题.分别在Lognormal数据集以及Weblogs数据集上进行实验验证,结果表明,与当前先进的方法相比,Dabble模型在查询以及索引更新方面都取得了非常好的效果.     

基于Reptile的个性化联邦学习算法

在联邦学习背景下,由于行业竞争、隐私保护等壁垒,用户数据保留在本地,无法集中在一处训练.为充分利用用户的数据和算力,用户可通过中央服务器协同训练模型,训练得到的公共模型为用户共享,但公共模型对于不同用户会产生相同输出,难以适应用户数据是异质的常见情形.针对该问题,提出一种基于元学习方法 Reptile的新算法,为用户学习个性化联邦学习模型. Reptile可高效学习多任务的模型初始化参数,在新任务到来时,仅需几步梯度下降就能收敛到良好的模型参数.利用这一优势,将Reptile与联邦平均(federated averaging, FedAvg)相结合,用户终端利用Reptile处理多任务并更新参数,之后中央服务器将用户更新的参数进行平均聚合,迭代学习更好的模型初始化参数,最后将其应用于各用户数据后仅需几步梯度下降即可获得个性化模型.实验中使用模拟数据和真实数据设置了联邦学习场景,实验表明该算法相比其他算法能够更快收敛,具有更好的个性化学习能力.     

一种新的鲁棒子空间建模方法

针对传统子空间建模技术中存在的两个难点问题,即对训练数据中的噪音或局外点非常敏感和基于批处理方式的大尺度高维样本模型学习计算非常费时,提出了一种新的鲁棒子空间建模方法.该方法先利用基于双平方函数的鲁棒估计,基于梯度下降的学习规则和M-估计器来同时学习和估计线性模型的初始参数,自动分级检测出初始训练样本集中的样本级局外点和样本中的信号级局外点;然后利用鲁棒的增量学习来更新参数,获得可靠的子空间模型.实验证明,这种新的鲁棒子空间建模方法能有效处理不同类型的噪音数据,在学习亮度子空间模型时能有效解决亮度明显变化、遮挡、噪音污染等敏感问题,并且具有较快的学习速度.     

基于鲁棒子空间学习的粒子滤波跟踪算法*

线性子空间模型能够有效地描述目标表面受到光照和姿势变化的情况,然而大多数基于子空间表面模型的目标跟踪算法是在跟踪之前通过训练不同光照和姿势下目标的观测图像,得到一组特征基,并用这组特征基表示不同时刻目标表面变化,一旦训练完成之后,特征基就保持不变,不能在线更新。采用增量子空间学习的方法来构建目标表面的特征基,该特征基能够在线适应目标表面的变化。另一方面,传统的子空间学习方法是基于最小二乘重构误差,该方法容易受到异常测量数据的影响,为此采用鲁棒的子空间学习方法来降低异常测量数据对特征空间更新的影响。最后将鲁     

一种基于概率关联的局部高斯过程回归算法

在针对控制和机器人的机器学习任务中, 高斯过程回归是一种常用方法, 具有无参数学习技术的优点. 然而, 它在面对大量训练数据时存在计算量大的缺点, 因此并不适用于实时更新模型的情况. 为了减少这种计算量, 使模型能够通过实时产生的大量数据不断更新, 本文提出了一种基于概率关联的局部高斯过程回归算法. 与其他局部回归模型相比, 该算法通过对多维局部空间模型边界的平滑处理, 使用紧凑支持的概率分布来划分局部模型中的数据, 得到了更好的预测精度. 另外, 还对更新预测矢量的计算方法进行了改进, 并使用k-d树最近邻搜索减少数据分配和预测的时间. 实验证明, 该算法在保持全局高斯过程回归预测精度的同时, 显著提升了计算效率, 并且预测精度远高于其他局部高斯过程回归模型. 该模型能够快速更新和预测, 满足工程中的在线学习的需求.     

基于群稀疏的结构化字典学习

随着稀疏表示在机器学习和图像处理领域中的广泛应用,字典学习的算法受到越来越多的关注。传统意义上训练出来的字典只是一些原子的集合,没有结构。考虑到稀疏表示信号中群结构的稀疏性,建立了基于群稀疏的结构化字典学习的数学模型,并结合凸分析和单调算子理论提出了一个结构化字典学习的有效算法。实验结果表明,该算法具有更快的收敛速度,新模型训练出来的字典能够更好地适应数据,提高表示数据的精度,进而提高图像增强的效果。     

结构化学习的噪声可学习性分析及其应用

噪声可学习性理论指出,有监督学习方法的性能会受到训练样本标记噪声的严重影响.然而,已有相关理论研究仅针对二类分类问题.致力于探究结构化学习问题受噪声影响的规律性.首先,注意到在结构化学习问题中,标注数据的噪声会在训练过程中被放大,使得训练过程中标记样本的噪声率高于标记样本的错误率.传统的噪声可学习性理论并未考虑结构化学习中的这一现象,从而低估了问题的复杂性.从结构化学习问题的噪声放大现象出发,提出了新的结构化学习问题的噪声可学习性理论.在此基础上,提出了有效训练数据规模的概念,这一指标可用于在实践中描述噪声学习问题的数据质量,并进一步分析了实际应用中的结构化学习模型在高噪声环境下向低阶模型回退的情况.实验结果证明了该理论的正确性及其在跨语言映射和协同训练方法中的应用价值和指导意义.     

基于链接实体回放的多源知识图谱终身表示学习

知识图谱存储大量的结构化知识和丰富的语义信息,已被广泛应用于知识驱动的智能软件.随着智能应用的不断发展,它们对知识图谱的需求也在发生变化.而单一知识图谱往往具有数据不完备等缺点,难以满足需求.因此,支持新数据来源、融合多源知识已经成为迫切需求.传统的知识图谱表示学习和应用范式只考虑单一图谱,忽视了不同图谱间的知识迁移.多源知识图谱联合训练虽然可以带来性能提升,但不支持新增知识图谱的拓展表示学习.鉴于此,提出了多源知识图谱终身表示学习的新范式.给定一个知识图谱序列,终身表示学习的目标是在学习新知识图谱的同时,从已学习的知识图谱与模型中获得知识迁移.为实现这一目标,提出了一个基于链接实体回放的多源知识图谱终身表示学习框架.首先,设计一个以Transformer为编码器的知识图谱表示学习模型作为框架核心,利用关系相关性进行实体的链接预测.其次,提出链接子图构造方法,基于实体对齐构建并回放新增知识图谱和已有知识图谱之间的链接子图进行终身学习和知识迁移.最后,采用动态结构方法,为每个知识图谱存储相应的模型参数快照来避免灾难性遗忘.多个链接预测基准数据集上的实验结果表明,所提出的表示学习模型可以取得最先进的性能,且提出的终身表示学习框架可以实现有效的知识迁移.     

流形结构化半监督扩展字典学习的旋转设备故障诊断

针对有标签数据不足及传统故障诊断模型判别性差的问题,本文提出一种流形结构化半监督扩展字典学习(MS-SSEDL)的故障诊断方法.首先,为改善缺少有标签数据而导致模型的识别性能较差问题,在MS-SSEDL模型中提出无标签数据重构误差项,利用无标签数据学习置信度矩阵,从而学习得到扩展字典以增强字典学习的表示性.然后,为增强MS-SSEDL模型的判别性,通过保存数据的流形结构,学习数据中内在几何信息的稀疏表示,增强信号表示能力及字典判别性.最后,在数字图像、轴承故障及齿轮故障公共数据集的实验表明所提MS-SSEDL方法比其他先进方法的识别性能更优越.     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质，在本地数据集上训练的客户端模型优化目标与全局模型不一致，导致出现客户端漂移现象，影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题，文中从本地模型的通用性角度出发，提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时，以结构化的方式采样子网络，并对客户端本地数据进行数据增强，使用不同的增强数据训练不同的子网络学习增强表示，得到泛化性较强的客户端网络模型，对抗本地数据异质带来的客户端漂移现象，在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明，文中算法性能较优.     

基于随机近邻嵌入的判别性特征学习

特征学习是机器学习中的一项重要技术,研究从原始数据中学习后置任务所需的数据表示.目前,多数特征学习算法侧重于学习原始数据中的拓扑结构,忽略了数据中的判别信息.基于此,提出了基于随机近邻嵌入的判别性特征学习模型.该模型将对判别信息的学习与对拓扑结构的学习融合在一起,通过迭代求解的方式,同时完成对这两者的学习,从而得到原始...     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

基于数据流深度学习算法的Android恶意应用检测方法

目前针对未知的Android恶意应用可以采用机器学习算法进行检测,但传统的机器学习算法具有少于三层的计算单元,无法充分挖掘Android应用程序特征深层次的表达。文中首次提出了一种基于深度学习的算法DDBN （Data-flow Deep BeliefNetwork）对Android应用程序数据流特征进行分析,从而检测Android未知恶意应用。首先,使用分析工具FlowDroid和SUSI提取能够反映Android应用恶意行为的静态数据流特征;然后,针对该特征设计了数据流深度学习算法DDBN,该算法通过构建深层的模型结构,并进行逐层特征变换,将数据流在原空间的特征表示变换到新的特征空间,从而使分类更加准确;最后,基于DDBN实现了Android恶意应用检测工具Flowdect,并对现实中的大量安全应用和恶意应用进行检测。实验结果表明,Flowdect能够充分学习Android应用程序的数据流特征,用于检测未知的Android恶意应用。通过与其他基于传统机器学习算法的检测方案对比,DDBN算法具有更优的检测效果。     

信度网结构在线学习算法

提出一种新的信度网结构在线学习算法.其核心思想是,利用新样本对信度网结构和参数不断进行增量式修改,以逐步逼近真实模型.本算法分为两个步骤:首先分别利用参数增量修改律和添加边、删除边、边反向3种结构增量修改律,并结合新采集的样本,对当前信度网模型进行增量式修改;然后利用结果选择判定准则,从增量式修改所得的后代信度网集合中选择一个合适的信度网作为本次迭代结果.该结果在与当前样本的一致性和与上一代模型的距离之间达到一个合理的折衷.实验结果表明,本算法能有效地实现信度网结构的在线学习.由于在线学习不需要历史样本,     

Local structure based supervised feature extraction

In the past few years, the computer vision and pattern recognition community has witnessed the rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel feature extraction method, called locally discriminating projection (LDP). LDP utilizes class information to guide the procedure of feature extraction. In LDP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The similarity has several good properties which help to discover the true intrinsic structure of the data, and make LDP a robust technique for the classification tasks. We compare the proposed LDP approach with LPP, as well as other feature extraction methods, such as PCA and LDA, on the public available data sets, FERET and AR. Experimental results suggest that LDP provides a better representation of the class information and achieves much higher recognition accuracies.     

基于子空间学习的快速自适应局部比值和判别分析

降维是处理高维数据的一项关键技术,其中线性判别分析及其变体算法均为有效的监督算法。然而大多数判别分析算法存在以下缺点：a)无法选择更具判别性的特征;b)忽略原始空间中噪声和冗余特征的干扰;c)更新邻接图的计算复杂度高。为了克服以上缺点,提出了基于子空间学习的快速自适应局部比值和判别分析算法。首先,提出了统一比值和准则及子空间学习的模型,以在子空间中探索数据的潜在结构,选择出更具判别信息的特征,避免受原始空间中噪声的影响;其次,采用基于锚点的策略构造邻接图来表征数据的局部结构,加速邻接图学习;然后,引入香农熵正则化,以避免平凡解;最后,在多个数据集上进行了对比实验,验证了算法的有效性。     

Adaptive sparse graph learning based dimensionality reduction for classification

To preserve the sparsity structure in dimensionality reduction, sparsity preserving projection (SPP) is widely used in many fields of classification, which has the advantages of noise robustness and data adaptivity compared with other graph based method. However, the sparsity parameter of SPP is fixed for all samples without any adjustment. In this paper, an improved SPP method is proposed, which has an adaptive parameter adjustment strategy during sparse graph construction. With this adjustment strategy, the sparsity parameter of each sample is adjusted adaptively according to the relationship of those samples with nonzero sparse representation coefficients, by which the discriminant information of graph is enhanced. With the same expectation, similarity information both in original space and projection space is applied for sparse representation as guidance information. Besides, a new measurement is introduced to control the influence of each sample’s local structure on projection learning, by which more correct discriminant information should be preserved in the projection space. With the contributions of above strategies, the low-dimensional space with high discriminant ability is found, which is more beneficial for classification. Experimental results on three datasets demonstrate that the proposed approach can achieve better classification performance over some available state-of-the-art approaches.     

Incrementally updating a hybrid rule base based on empirical data

Abstract: Neurules are a kind of hybrid rules that combine a symbolic (production rules) and a connectionist (adaline unit) representation. One way that the neurules can be produced is from training examples/patterns, extracted from empirical data. However, in certain application fields not all of the training examples are available a priori. A number of them become available over time. In those cases, updating the neurule base is necessary. In this paper, methods for updating a hybrid rule base, consisting of neurules, to reflect the availability of new training examples are presented. They can be considered as a type of incremental learning method that retains the entire induced hypothesis and all past training examples. The methods are efficient, since they require the least possible retraining effort and the number of neurules produced is kept as small as possible. Experimental results that prove the above argument are presented.     

基于局部保持的核稀疏表示字典学习

为了利用核技巧提高分类性能, 在局部保持的稀疏表示 字典学习的基础上, 提出了两种核化的稀疏表示字典学习方法. 首先, 原始训练数据被投影到高维核空间, 进行基于局部保持的核稀疏表示字典学习; 其次, 在稀疏系数上强加核局部保持约束, 进行基于核局部保持的核稀疏表示字典学习. 实验结果表明, 该方法的分类识别结果优于其他方法.     

基于深度图正则化矩阵分解的多视图聚类算法

针对现实社会中由多种表示或视图组成的多视图数据广泛存在的问题,深度矩阵分解模型因其能够挖掘数据的层次信息而备受关注,但该模型忽略了数据的几何结构信息.为解决以上问题,本文提出基于深度图正则化矩阵分解的多视图聚类算法,通过获取每个视图的局部结构信息和全局结构信息在逐层分解中加入两个图正则化限制,保护多视图数据的几何结构信...