基于平滑◢l◣▼1▽范数的深度稀疏自动编码器社区识别算法

大数据时代,利用传统的社区发现算法对大规模复杂网络进行社区结构挖掘显得愈发困难,准确率也较低。因此,提出一种基于平滑◢l▼1▽◣范数的深度稀疏自编码器社区发现算法（◢l▼1▽◣-ECDA）。该算法首先采用基于◢s◣跳的方法对网络图的邻接矩阵进行预处理;然后构建基于平滑◢l▼1▽◣范数的深度稀疏自编码器,并通过训练网络图相似度矩阵得到低维特征矩阵;最后采用K-means算法对低维特征矩阵进行聚类得到网络社区结构。通过在仿真网络与真实网络数据集上实验表明,◢l▼1▽◣-ECDA有效提高了社区识别的准确率,且比DBCS算法准确率平均高4%,比Deepwalk算法和CoDDA算法平均高5.4%。     

求解大规模谱聚类的近似加权核k-means算法

谱聚类将聚类问题转化成图划分问题,是一种基于代数图论的聚类方法.在求解图划分目标函数时,一般利用Rayleigh熵的性质,通过计算Laplacian矩阵的特征向量将原始数据点映射到一个低维的特征空间中,再进行聚类.然而在谱聚类过程中,存储相似矩阵的空间复杂度是O(n²),对Laplacian矩阵特征分解的时间复杂度一般为O(n³),这样的复杂度在处理大规模数据时是无法接受的.理论证明,Normalized Cut图聚类与加权核k-means都等价于矩阵迹的最大化问题.因此,可以用加权核k-means算法来优化Normalized Cut的目标函数,这就避免了对Laplacian矩阵特征分解.不过,加权核k-means算法需要计算核矩阵,其空间复杂度依然是O(n²).为了应对这一挑战,提出近似加权核k-means算法,仅使用核矩阵的一部分来求解大数据的谱聚类问题.理论分析和实验对比表明,近似加权核k-means的聚类表现与加权核k-means算法是相似的,但是极大地减小了时间和空间复杂性.     

改进k值自动获取VDBSCAN聚类算法

针对DBSCAN聚类算法不能对变密度分布数据集进行有效聚类,VDBSCAN算法借助k-dist图来自动获取各个密度层次的数据对象的邻域半径,解决了具有不同密度层次分布数据集的聚类问题. k-VDBSCAN算法通过对k值的自动获取,减小了VDBSCAN中参数k对最终聚类结果的影响. 针对k值的自动获取,在原有的k-VDBSCAN聚类算法基础上,依据数据集本身,利用数据对象间距离的特征,提出了一种k值改进自动获取聚类算法. 理论分析与实验结果表明,新的改进算法能够有效的自动获得参数k的值,并且在聚类结果、时间效率方面都有明显的提高.     

基于图压缩的k可达查询处理

研究了基于图压缩的k可达查询处理,提出了一种支持k可达查询的图压缩算法k-RPC及无需解压缩的查询处理算法,k-RPC算法在所有基于等价类的支持k-reach查询的图压缩算法中是最优的.由于k-RPC算法是基于严格的等价关系,因此进一步又提出了线性时间的近似图压缩算法k-GRPC.k-GRPC算法允许从原始图中删除部分边,然后使用k-RPC获得更好的压缩比.提出了线性时间的无需解压缩的查询处理算法.真实数据上的实验结果表明,对于稀疏的原始图,两种压缩算法的压缩比分别可以达到45%,对于稠密的原始图,两种压缩算法的压缩比分别可以达到75%和67%;与在原始图上直接进行查询处理相比,两种基于压缩图的查询处理算法效率更好,在稀疏图上的查询效率可以提高2.5倍.     

Top-k相似连接算法性能优化

相似连接算法在数据清理、数据集成和重复网页检测等领域有着广泛的应用.现有相似连接算法有两种类型：基于相似度阈值的相似连接和Top-k相似连接.Top-k连接算法非常适合于相似度阈值未知的应用场景,目前最为有效的Top-k相似连接算法是Xiao等人提出的Topk-join.为了解决Topk-join中存在的性能问题,提出了一种Top-k相似连接算法Opt-join,该算法将Token批处理技术集成在现有的事件驱动框架中,以降低前缀事件的处理代价;通过置换哈希查找与过滤操作的执行位置来降低哈希查找代价,并理论证明了该置换的正确性.实验结果表明：与Topk-join算法相比,Opt-join取得了1.28倍~3.09倍的性能提升.实验数据还显示：随着数据长度的增加或k值的增长,Opt-join的性能优势有不断增加的趋势.     

基于深度编码器的复杂网络社区发现算法 #br#

复杂网络是复杂系统的典型表现形式,社区结构是复杂网络最重要的结构特征之一。针对目前社区发现算法精确度低以及不适合大规模网络的问题,提出一种新的算法DA-EF和用于度量节点之间相似度的影响力扩散指标。DA-EF利用多层自动编码器与森林编码器构成二级级联模型,相似度矩阵进行降维和表征学习处理,转化成低维高阶特征矩阵,最终使用K-means得到准确的社区划分结果。级联结构在保持算法同等深度的情况下,大幅降低了算法时间复杂度。在人工合成数据集和真实数据集上的实验表明,DA-EF与同类算法K-means、DA-EML和CoDDA相比,其标准互信息NMI和模块度Q值高,而且聚类运行时间最少,具有精确度高和效率快的优势。在算法性能实验中,验证了算法的级联结构、自动编码器的深度以及影响力扩散指标的合理性和有效性。     

带间隔约束的Top-k对比序列模式挖掘

对比序列模式能够表达序列数据集合间的差异,在商品推荐、用户行为分析和电力供应预测等领域有广泛的应用.已有的对比序列模式挖掘算法需要用户设定正例支持度阈值和负例支持度阈值.在不具备足够先验知识的情况下,用户难以设定恰当的支持度阈值,从而可能错失一些对比显著的模式.为此,提出了带间隔约束的top-k对比序列模式挖掘算法kDSP-Miner(top-k distinguishing sequential patterns with gap constraint miner).kDSP-Miner中用户只需设置期望发现的对比最显著的模式个数,从而避免了直接设置对比支持度阈值.相应地,挖掘算法更容易使用,并且结果更易于解释.同时,为了提高算法执行效率,设计了若干剪枝策略和启发策略.进一步设计了kDSP-Miner的多线程版本,以提高其对高维序列元素情况的处理能力.通过在真实世界数据集上的详实实验,验证了算法的有效性和执行效率.     

嵌入式深度神经网络高光谱图像聚类

目的 高光谱图像的高维特性和非线性结构给聚类任务带来了"维数灾难"和线性不可分问题，以往的工作将特征提取过程与聚类过程互相剥离，难以同时优化。为了解决上述问题，提出了一种新的嵌入式深度神经网络模糊C均值聚类方法（EDFCC）。方法 EDFCC算法为了提取更加有效的深层特征，联合优化高光谱图像的特征提取和聚类过程，将模糊C均值聚类算法嵌入至深度自编码器网络中，可以保持两任务联合优化的优势，同时利用深度自编码器网络降维以及逼近任意非线性函数的能力，逐步将原始数据映射到潜在特征空间，提取数据的深层特征。所提方法采用模糊C均值聚类算法约束特征提取过程，学习适用于聚类的高光谱数据深层特征，动态调整聚类指示矩阵。结果 实验结果表明，EDFCC算法在Indian Pines和Pavia University两个高光谱数据集上的聚类精度分别达到了42.95%和60.59%，与当前流行的低秩子空间聚类算法（LRSC）相比分别提高了3%和4%，相比于基于自编码器的数据聚类算法（AEKM）分别提高了2%和3%。结论 EDFCC算法能够从高光谱图像的高维光谱信息中提取更加有效的深层特征，提升聚类精度，并且由于EDFCC算法不需要额外的训练过程，大大提升了聚类效率。     

Goguen命题逻辑系统公理化扩张的Γ-k真度理论及性质

本文首先对n值Goguen命题逻辑进行公理化扩张,Goguen_~,△,记为Π_~,△.利用公式的诱导函数给出公式在k（k任取~或△）连接词下相对于局部有限理论Γ的Γ-k真度的定义;讨论了Π_~,△中Γ-k真度的MP规则、HS规则等相关性质;最后,在Π_~,△中定义了两公式间的Γ-k相似度与Γ-k伪距离,得到了公式在连接词下相对于局部有限理论Γ的Γ-k相似度与Γ-k伪距离所具有的一些良好性质.     

基于邻域k-核的社区模型与查询算法

现实生活中的网络通常存在社区结构,社区查询是图数据挖掘的基本任务.现有研究工作提出了多种模型来识别网络中的社区,如基于k-核的模型和基于k-truss的模型.然而,这些模型通常只限制社区内节点或边的邻居数量,忽略了邻居之间的关系,即节点的邻域结构,从而导致社区内节点的局部稠密性较低.针对这一问题,本文将节点的邻域结构信息融入k-核稠密子图中,提出一种新的基于邻域连通k-核的社区模型,并定义了社区的稠密度.基于这一新模型,研究了最稠密单社区搜索问题,即返回包含查询节点集且具有最高稠密度的社区.在现实生活图数据中,一组查询节点可能会分布在多个不相交的社区中.为此,本文进一步研究了基于稠密度阈值的多社区搜索问题,即返回包含查询节点集的多个社区,且每个社区的稠密度不低于用户指定的阈值.针对最稠密单社区搜索和基于稠密度阈值的多社区搜索问题,首先定义了边稠密度的概念,并提出了基于边稠密度的基线算法.为了提高搜索效率,设计了索引树和改进索引树结构,能够支持在多项式时间内返回查询结果.通过与基线算法在多组数据集上的对比,验证了基于邻域连通k-核的社区模型的有效性和所提出查询算法的效率.     

基于深度自动编码器的托攻击集成检测方法

在采用协同过滤技术的推荐系统中,恶意用户通过注入大量虚假概貌使系统的推荐结果产生偏离,达到其攻击目的。为了检测托攻击,根据用户的评分值或基于攻击时间的集中性假设,从不同视角提取攻击概貌的特征。但是,这些基于人工特征的检测方法严重依赖于特征工程的质量,而且人工提取的检测特征多限于特定类型的攻击,提取特征也需要较高的知识成本。针对这些问题,从用户评分项目的时间偏好信息入手,提出一种利用深度稀疏自动编码器自动提取检测特征的托攻击集成检测方法。利用小波变换将项目在不同时间间隔内的流行度设定为多个等级,对用户的评分数据预处理得到用户-项目时间流行度等级矩阵。然后,采用深度稀疏自动编码器对用户-项目时间流行度等级矩阵自动进行特征提取,得到用户评分模式的低层特征表达,消除了传统的人工特征工程。以SVM作为基分类器,在深度稀疏自动编码器的每层提取特征并进行攻击检测,生成最终的集成检测结果。在Netflix数据集上的实验表明,提出的检测方法对均值攻击、AoP攻击、偏移攻击、高级项目攻击、高级用户攻击具有较好的检测效果。     

代价约束算法对入侵检测特征提取的优化研究

入侵检测系统的防御性能经常受到类不平衡数据的影响,为了自动提取稀缺类别的数据特征,提高入侵检测系统识别未知网络攻击的精度,提出一种代价约束算法.首先,基于栈式自动编码器构建深度神经网络,在隐藏层的神经元上添加稀疏约束;其次,通过生成代价矩阵优化代价目标函数,对类不平衡数据特征分配代价;最后,利用反向传播微调神经网络模型...     

癌症多组学数据深度自编码器整合分型方法

在癌症研究中,随着高通量测序技术发展已经产生了海量的复杂数据。尽管有了一些利用深度学习和统计学方法进行多组学数据整合的研究,但目前仍缺乏较为有效率的整合方法。因此提出一种基于深度自编码器的多组学数据整合方法（deep autoencoder for multi-omics integration,DAEMI）。它利用自编码器中的瓶颈层,学习多组学数据的特征表示。与先前利用深度学习整合的研究相比,DAEMI可以发现明显生存差异的癌症亚型。同时因为不需要生存数据来选择特征,DAEMI可以使用更多特征进行[K]均值聚类,进而完成癌症分型任务。将DAEMI应用于模拟数据集与四个癌症数据集实验,通过与高阶路径相似度网络的融合模型（HOPES）、相似性网络融合（SNF）、iClusterPlus和moCluster进行比较,结合模拟数据集测试结果与真实癌症数据集测试结果来看,DAEMI要优于其他方法。相应的生物功能分析揭示,神经退行性疾病与线粒体功能障碍可能与癌症共享某些生物学通路。     

基于压缩感知的社团结构深度学习方法

传统社团结构发现算法复杂度高,且只适合处理小规模低维度的社会网络数据,而无法处理大规模高维度实际网络数据。为此,提出一种基于压缩感知的社团结构深度学习方法。通过随机测量矩阵对社会网络数据进行特征降维,并使用深度信度网(DBN)对降维后的特征样本集进行无监督学习,利用带类标的小样本集进行有监督调优。仿真结果表明,随机测量方法对高维稀疏特征具有较好的降维效果,DBN对大规模数据集具有较好的处理性能,该方法适合对大规模高维度实际社会网络数据进行高效处理。     

基于深度学习的高维稀疏数据组合推荐算法

传统方法在对高维稀疏数据进行检测的过程中,受到高维特征扰动的影响,数据误差较大,因此提出一种基于深度学习的高维稀疏数据组合推荐算法。采用相空间重构方法进行高维稀疏数据的特征重构,根据重构结果结合非线性统计序列分析方法进行高维稀疏数据的回归分析和点云结构重组,在此基础上提取高维稀疏数据的组合特征量;依据特征量提取结果采用特征提取技术抽取高维稀疏数据的平均互信息特征量,并结合关联规则挖掘方法进行高维稀疏数据的主成分分析,挖掘高维稀疏数据的相似度属性类别成分,最终采用深度学习方法进行高维稀疏数据组合推荐过程中的自适应寻优,实现高维稀疏数据的组合推荐。仿真结果表明,采用该算法进行高维稀疏数据推荐的属性归类辨识性较好,特征分辨能力较强,提高了数据的检测和识别能力。     

基于深度自编码网络的Android恶意软件检测方法

针对传统Android恶意软件检测方法检测率低的问题,文中提出一种基于深度收缩降噪自编码网络(Deep Contractive Denoising Autoencoder Network,DCDAN)的Android恶意软件检测方法。首先,逆向分析APK文件获取文件中的权限、敏感API等7类信息,并将其作为特征属性;然后,将特征属性作为深度收缩降噪自编码网络的输入,使用贪婪算法自底向上逐层训练每个收缩降噪自编码网络(Contractive Denoising Autoencoder Network),将训练完成的深度收缩降噪自编码网络用于原始特征的信息抽取,以获取最优的低维表示;最后,使用反向传播算法对获取的低维表示进行训练和分类,实现对Android恶意软件的检测。对深度自编码网络的输入数据添加噪声,使得重构的数据具有更强的鲁棒性,同时加入雅克比矩阵作为惩罚项,增强了深度自编码网络的抗扰动能力。实验结果验证了该方法的可行性和高效性。与传统的检测方法相比,该检测方法有效地提高了对恶意软件检测的准确率并降低了误报率。     

基于染色随机游走的可重叠社区发现

社区发现是一个基础性的且被广泛研究的问题。现有的社区发现方法大多聚焦于网络拓扑结构,然而随着真实网络中实体可用属性的激增,捕获图中结构和属性的丰富交互关系来进行社区发现变得尤为必要。据此面向属性图提出了一种基于染色随机游走的可重叠社区发现算法OCDC,该算法解决了传统的基于随机游走的社区发现算法利用结构转移矩阵造成社区发现效果不佳的问题。具体地,首先利用经典的初始种子策略选出网络中差异度较大的节点,在此基础上设计种子替换策略,挖掘网络中质量更佳的种子替换路径集合对初始种子集合进行替换;其次构建结构-属性交互节点转移矩阵并执行染色随机游走过程得到高质量种子节点的染色分布向量;最后基于融合结构和属性的并行电导值对社区进行扩展。在人工网络和现实网络上的实验表明,本文提出的算法能够准确地识别属性社区并显著优于基准算法。     

基于深度自动编码器的脑网络状态观测矩阵降维方法

针对人脑网络状态观测矩阵高维无特征的特点,给出了一种基于深度自动编码器(DAE)的降维算法.利用深度学习网络,将高维的人脑网络空间表达映射到低维的本质特征空间中,为进一步提炼脑网络的动态性能提供了基础.实验结果证明:应用该方法可以达到有效的降维效果,且降维后脑网络状态通过自组织特征映射聚类具有一定的规律性,从而为脑网络的动态特性研究提供了基础.     

Efficient multi-scale community search method based on spectral graph wavelet

Community search is an important problem in network analysis, which has attracted much attention in recent years. As a query-oriented variant of community detection problem, community search starts with some given nodes, pays more attention to local network structures, and gets personalized resultant communities quickly. The existing community search method typically returns a single target community containing query nodes by default. This is a strict requirement and does not allow much flexibility. In many real-world applications, however, query nodes are expected to be located in multiple communities with different semantics. To address this limitation of existing methods, an efficient spectral-based Multi-Scale Community Search method (MSCS) is proposed, which can simultaneously identify the multi-scale target local communities to which query node belong. In MSCS, each node is equipped with a graph Fourier multiplier operator. The access of the graph Fourier multiplier operator helps nodes to obtain feature representations at various community scales. In addition, an efficient algorithm is proposed for avoiding the large number of matrix operations due to spectral methods. Comprehensive experimental evaluations on a variety of real-world datasets demonstrate the effectiveness and efficiency of the proposed method.