基于聚类信息和对称非负矩阵分解的链路预测模型研究

现有的大部分基于非负矩阵分解的链路预测方法仅考虑网络拓扑结构信息而忽略节点与链接聚类信息.针对此问题,提出一个融合聚类信息的对称非负矩阵分解的链路预测模型.首先,该模型利用对称非负矩阵分解去捕获网络节点相似度信息;其次,使用基于Jaccard的节点和链接聚类系数去保持网络局部结构信息;最后,启用拉格朗日乘法规则去学习模型参数.在六个真实无向无权和四个加权网络上的实验结果表明,该方法在两种不同类型网络预测精确度分别提升了1.6％和8.9％.     

基于DNN的低资源语音识别特征提取技术

针对低资源训练数据条件下深层神经网络（Deep neural network,DNN）特征声学建模性能急剧下降的问题,提出两种适合于低资源语音识别的深层神经网络特征提取方法.首先基于隐含层共享训练的网络结构,借助资源较为丰富的语料实现对深层瓶颈神经网络的辅助训练,针对BN层位于共享层的特点,引入Dropout,Maxout,Rectified linear units等技术改善多流训练样本分布不规律导致的过拟合问题,同时缩小网络参数规模、降低训练耗时;其次为了改善深层神经网络特征提取方法,提出一种基于凸非负矩阵分解（Convex-non-negative matrix factorization,CNMF）算法的低维高层特征提取技术,通过对网络的权值矩阵分解得到基矩阵作为特征层的权值矩阵,然后从该层提取一种新的低维特征.基于Vystadial 2013的1小时低资源捷克语训练语料的实验表明,在26.7小时的英语语料辅助训练下,当使用Dropout和Rectified linear units时,识别率相对基线系统提升7.0%;当使用Dropout和Maxout时,识别率相对基线系统提升了12.6%,且网络参数数量相对其他系统降低了62.7%,训练时间降低了25%.而基于矩阵分解的低维特征在单语言训练和辅助训练的两种情况下都取得了优于瓶颈特征（Bottleneck features,BNF）的识别率,且在辅助训练的情况下优于深层神经网络隐马尔科夫识别系统,提升幅度从0.8%~3.4%不等.     

融合有向结构和非负矩阵分解的链路预测

现存有向网络链路预测方法仅考虑单类型网络结构而忽略一些关键网络结构,导致预测准确度下降。针对此问题,提出一个融合多类型有向网络结构和非负矩阵分解的链路预测框架去保持局部和全局结构信息。首先,将有向网络的邻接矩阵映射到低维潜在空间保持原始网络的方向链接;其次,通过2-范数和规范化拉普拉斯融合四个关键有向结构相似度包括有向共同邻居（DCN）、有向Adamic-Adar（DAA）、有向资源分配（DRA）和势理论（BF）去保持多类型网络结构信息,分别提出四个有向网络的链路预测模型NMF-DNS-DCN、NMF-DNS-DAA、NMF-DNS-DRA和NMF-DNS-BF;最后,启用乘法更新规则去学习四个模型参数并证明所提算法的收敛性。在八个真实世界有向网络上与现存的代表性方法相比较,该模型的AUC、recall 和F1分别最大提高5.3%、7.8%和6%。     

基于DBN深度学习的期货市场价格预测建模与决策

深度学习通过学习深层非线性网络结构即可实现复杂函数的逼近,可以从大量无标注样本集中学习数据集的本质特征。而深度信念网络(DBN)是由多层随机隐变量组成的贝叶斯概率生成模型,可以作为深度神经网络的预训练环节,为该网络提供初始权重。基于该模型的一个高效学习算法不仅解决了模型训练速度慢的问题,还能产生非常好的参数初始值,极大地提升了模型的建模能力。金融市场是一个多变量非线性系统,通过运用DBN模型进行分析预测可以很好地解决其他预测方法初始权重难以确定的问题。文中以原油期货市场价格预测为例,说明了运用DBN模型进行预测和决策的可行性及有效性。     

基于深度神经网络二阶信息的结构化剪枝算法

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法.采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提...     

基于非负矩阵分解的语音深层低维特征提取方法

作为一种基于深层神经网络提取的低维特征,瓶颈特征在连续语音识别中取得了很大的成功。然而训练瓶颈结构的深层神经网络时,瓶颈层的存在会降低网络输出层的帧准确率,进而反过来影响该特征的性能。针对这一问题,本文基于非负矩阵分解算法,提出一种利用不包含瓶颈层的深层神经网络提取低维特征的方法。该方法利用半非负矩阵分解和凸非负矩阵分解算法对隐含层权值矩阵分解得到基矩阵,将其作为新的特征层权值矩阵,然后在该层不设置偏移向量的情况下,通过数据前向传播提取新型特征。实验表明,该特征具有较为稳定的规律,且适用于不同的识别任务和网络结构。当使用训练数据充足的语料进行实验时,该特征表现出同瓶颈特征几乎相同的识别性能;而在低资源环境下,基于该特征识别系统的识别率明显优于深层神经网络混合识别系统和瓶颈特征识别系统。     

基于NMF-SVM的复杂化工过程故障诊断

针对复杂化工过程中存在故障数据维数大与识别率低的问题,提出了1种非负矩阵分解与支持向量机相结合的故障诊断方法。该方法首先对原始特征数据进行非负矩阵分解,得到基向量矩阵与系数矩阵,用基向量矩阵作为输入训练SVM分类器,针对NMF结果的不稳定性,采用PCA模型确定NMF的初始值;然后通过系数矩阵构造超定线性方程组,并将其最小二乘解作为样本特征矩阵输入分类器进行故障类型的识别。通过对Tennessee Eastman(TE)过程数据的仿真研究,实验结果验证了该方法的有效性。     

基于混合深度学习的复杂网络链路预测研究

针对复杂网络链路预测受到网络性质的影响,从而降低复杂网络链路预测效果,提出基于混合深度学习的复杂网络链路预测方法.利用复杂网络在运行过程中的链路变化情况,综合考虑复杂网络历史信息对链路的影响系数,得到了RA指数、AA指数和CN指数等相似指数,基于混合深度学习的反向传播流程,分析复杂网络链路隐藏层的状态,利用复杂网络隐藏层的输出,预测出复杂网络链路输出值,将相似性指标作为复杂网络链路预测的训练样本,构建复杂网络链路预测模型,利用模式分类方法实现多个网络节点之间的链路预测.实验结果表明,基于混合深度学习的复杂网络链路预测方法将时间窗口设为360秒和180秒、样本维度为500和600时,预测效果是最好的,且预测精度较传统方法的预测精度高.     

基于显式与隐式反馈信息的概率矩阵分解推荐

针对现有的基于用户显式反馈信息的推荐系统推荐准确率不高的问题,提出了一种基于显式与隐式反馈信息的概率矩阵分解推荐方法。该方法综合考虑了显示反馈信息和隐式反馈信息,在对用户信任关系矩阵和商品评分矩阵进行概率分解的同时加入了用户评分记录的隐式反馈信息,优化训练模型参数,为用户提供精确的预测评分。实验结果表明,该方法可以有效地获得用户偏好,产生大量的准确度高的推荐。     

基于非负矩阵分解的IP流量预测

为解决宽带多媒体卫星通信系统中的IP流量预测问题,首先使用多用户的IP流量作为训练数据,通过非负矩阵分解迭代方法将其分解为基向量矩阵和编码矩阵,之后再通过ARIMA模型在时间维度上对编码矩阵中的各个行向量进行预测,最后依照预测结果和基向量矩阵合成出各个用户的IP流量预测结果。由于经非负矩阵分解后,编码矩阵中的行向量个数小于用户个数,因此相对于原始的单个用户独立预测方法,新方法可以降低运算的复杂度。仿真实验证实了本方法预测的准确性。     

Cold-Start Link Prediction via Weighted Symmetric Nonnegative Matrix Factorization with Graph Regularization

Link prediction has attracted wide attention among interdisciplinary researchers as an important issue in complex network. It aims to predict the missing links in current networks and new links that will appear in future networks. Despite the presence of missing links in the target network of link prediction studies, the network it processes remains macroscopically as a large connected graph. However, the complexity of the real world makes the complex networks abstracted from real systems often contain many isolated nodes. This phenomenon leads to existing link prediction methods not to efficiently implement the prediction of missing edges on isolated nodes. Therefore, the cold-start link prediction is favored as one of the most valuable subproblems of traditional link prediction. However, due to the loss of many links in the observation network, the topological information available for completing the link prediction task is extremely scarce. This presents a severe challenge for the study of cold-start link prediction. Therefore, how to mine and fuse more available non-topological information from observed network becomes the key point to solve the problem of cold-start link prediction. In this paper, we propose a framework for solving the cold-start link prediction problem, a joint-weighted symmetric nonnegative matrix factorization model fusing graph regularization information, based on low-rank approximation algorithms in the field of machine learning. First, the nonlinear features in high-dimensional space of node attributes are captured by the designed graph regularization term. Second, using a weighted matrix, we associate the attribute similarity and first order structure information of nodes and constrain each other. Finally, a unified framework for implementing cold-start link prediction is constructed by using a symmetric nonnegative matrix factorization model to integrate the multiple information extracted together. Extensive experimental validation on five real networks with attributes shows that the proposed model has very good predictive performance when predicting missing edges of isolated nodes.     

非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

基于联合矩阵分解的动态异质网络社区发现方法

动态网络的社区发现是目前复杂网络分析领域的重要研究内容,然而现有动态网络社区发现方法主要针对同质网络,当网络包含多种异质信息时,现有方法不再适用。针对这个问题,本文提出了一个基于联合矩阵分解的动态异质网络社区发现方法,首先计算动态异质网路中各个快照图的拓扑相似度矩阵和多关系相似度矩阵,其次利用时序联合非负矩阵分解方法,约束各个时刻快照图的社区划分,最后在真实网络数据集上的实验结果表明,该算法可以有效检测出动态异质网络中潜在的社区结构。     

Graph dual regularization non-negative matrix factorization for co-clustering

Low-rank matrix factorization is one of the most useful tools in scientific computing, data mining and computer vision. Among of its techniques, non-negative matrix factorization (NMF) has received considerable attention due to producing a parts-based representation of the data. Recent research has shown that not only the observed data are found to lie on a nonlinear low dimensional manifold, namely data manifold, but also the features lie on a manifold, namely feature manifold. In this paper, we propose a novel algorithm, called graph dual regularization non-negative matrix factorization (DNMF), which simultaneously considers the geometric structures of both the data manifold and the feature manifold. We also present a graph dual regularization non-negative matrix tri-factorization algorithm (DNMTF) as an extension of DNMF. Moreover, we develop two iterative updating optimization schemes for DNMF and DNMTF, respectively, and provide the convergence proofs of our two optimization schemes. Experimental results on UCI benchmark data sets, several image data sets and a radar HRRP data set demonstrate the effectiveness of both DNMF and DNMTF.     

基于矩阵分解的DeepWalk链路预测算法

现有的链路预测方法的数据来源主要是基于邻居、路径和随机游走的方法,使用的是节点相似性假设或者最大似然估计,尚缺少基于神经网络的链路预测研究。基于神经网络的一些研究表明,基于神经网络的DeepWalk网络表示学习算法可以更加有效地挖掘到网络中的结构特征,已有研究证明DeepWalk等同于分解目标矩阵。因此,提出了一种基于矩阵分解的DeepWalk链路预测算法（LPMF）。该算法首先基于矩阵分解的DeepWalk算法分解得到网络的表示向量;然后通过余弦相似度计算每对节点之间的相似度,构建目标网络的相似度矩阵;最后利用相似度矩阵,在三个真实的引文网络中进行链路预测实验。实验结果表明,提出的链路预测算法性能优于现存的20余种链路预测算法。这充分表明了LPMF能够有效地挖掘网络中节点之间的结构关联性,而且在实际网络的链路预测中能够发挥出较为优异的性能。     

Semi-supervised community detection on attributed networks using non-negative matrix tri-factorization with node popularity

The World Wide Web generates more and more data with links and node contents, which are always modeled as attributed networks. The identification of network communities plays an important role for people to understand and utilize the semantic functions of the data. A few methods based on non-negative matrix factorization (NMF) have been proposed to detect community structure with semantic information in attributed networks. However, previous methods have not modeled some key factors (which affect the link generating process together), including prior information, the heterogeneity of node degree, as well as the interactions among communities. The three factors have been demonstrated to primarily affect the results. In this paper, we propose a semi-supervised community detection method on attributed networks by simultaneously considering these three factors. First, a semi-supervised non-negative matrix tri-factorization model with node popularity (i.e., PSSNMTF) is designed to detect communities on the topology of the network. And then node contents are integrated into the PSSNMTF model to find the semantic communities more accurately, namely PSSNMTFC. Parameters of the PSSNMTFC model is estimated by using the gradient descent method. Experiments on some real and artificial networks illustrate that our new method is superior over some related stateof- the-art methods in terms of accuracy.     

结合二层节点度和聚类系数的链路预测算法

研究复杂网络的链路预测算法对分析舆论传播方向、预测舆论演进趋势和控制舆论发展进程具有重要意义。针对现有的基于节点度的链路预测算法存在预测质量偏低的问题,提出了一种结合二层节点度和聚类系数的链路预测算法。算法全面考虑网络局部结构信息以及共同邻居节点之间的差异性,在相似性评价指标的选择上将节点度和聚类系数结合,深度挖掘节点相似性性质并将节点度扩展到二层。最后在三个真实数据集中分别进行仿真实验,结果表明提出的算法相比于Common Neighbors、Adamic-Adar和Resource Allocation等经典算法具有更好的性能。     

图正则化非负矩阵分解的异质网社区发现

挖掘数据网络中有价值的、具有稳定性的社区,对网络信息的获取、推荐及网络的演化预测具有重要的价值。针对现有异质网络聚类方法难以在同一维度有效整合网络中异质信息的问题,提出了一种基于图正则化非负矩阵分解的异质网络聚类方法。通过加入图正则项,将中心类型子空间和属性类型子空间的内部连接关系作为约束项,引入到非负矩阵分解模型中,从而找到高维数据在低维空间的紧致嵌入,成功消除了异质节点之间的部分噪声,同时,对反映不同子网络共有潜在结构的共识矩阵进行优化,有效整合异质信息,并且在降维过程中较大限度地保留了异质信息的完整性,提高了异质网络聚类方法的精度,在真实世界数据集上的实验结果也验证了该方法的有效性。