一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

基于Spark的大规模网络结构发现算法

当今社会处于大数据时代,现实中的网络数据越来越多,其结构复杂、规模庞大,有效分析其结构对了解、应用其提供的信息具有重要作用。基于混合模型的网络结构发现算法可挖掘网络中的多类型聚类结构,但不能有效处理大规模网络。基于Graph X图计算模型,提出基于Spark的大规模网络的结构发现算法LNSES,从存储空间和运行时间两方面提升算法效率。为减少网络结构发现算法存储大规模网络邻接矩阵内存耗费量,LNSES算法将边、节点及节点静态属性值进行分布式存储,边分区记录节点连边,可作为索引进行节点间参数传递。为提高网络结构发现算法效率,边分区和节点分区进行拉链操作产生索引结构;更新参数时,节点根据索引找到边分区上对应的边,并行实现节点参数更新。在真实和人工大规模网络数据集上的实验结果表明:LNSES在运行时间和网络结构识别准确度方面都要优于同类网络结构发现算法,可以对大规模网络中的结构进行挖掘分析。     

基于动态集合进化算法的弱变异测试用例集生成

为解决基于集合进化算法（SEA）的弱变异测试用例集生成过程中个体规模固定和执行开销大的问题,提出一种基于动态集合进化算法（DSEA）的弱变异测试用例集生成方法。以测试用例集为个体,生成覆盖所有变异分支的弱变异测试用例集。在进化过程中,集合精简算子根据最优个体的最小子集及其未覆盖变异分支数量计算所需测试用例集的最小规模,并基于该最小规模调整种群中所有个体的规模,以生成最小规模的弱变异测试用例集,同时设计了适用于评估以测试用例集为个体的适应度函数。实验结果表明,动态集合进化算法指导弱变异测试用例集生成,获得的测试用例集规模比个体初始规模平均约简了50.15%,执行时间比集合进化的弱变异测试用例集生成最多降低了74.58%。因此,动态集合进化算法为最小规模的弱变异测试用例集生成和提升算法速度提供了一种解决方案。     

基于节点内聚系数的局部社团发现算法

为了能够快速有效地发现复杂网络中的局部社团,提出一种基于节点内聚系数的局部社团发现算法。该算法选取最大度节点作为起始社团,不断搜索其邻居节点,将满足条件的节点不断加入起始社团从而形成新的社团。在不同规模的真实网络数据集和人工合成数据集上进行实验,并与其他三种局部社团发现算法进行社团划分效果的对比。实验结果表明,该算法能够在较短的运行时间内保持较高模块度来识别复杂网络中的局部社团结构,更适合于大规模复杂网络的社团结构挖掘。     

适用于大规模信息网络的语义社区发现方法

对节点带有内容的信息网络进行语义社区发现是新的研究方向。融合节点内容增加了算法的复杂度。提出了一种在线性时间内进行语义社区发现的标签传播算法,用LDA(latent Dirichlet allocation)主题模型表示节点内容,以节点内容相似度和传播影响力的乘性模型作为标签传播的策略,在归一化过程中,自然融合节点内容和网络结构信息,标签迭代过程中,采用节点与绝大部分邻居节点内容不相同才进行更新的策略,保证算法的运行效率。通过在不同规模的12个真实数据集上进行实验,以模块度和纯度作为度量标准,验证了算法在语义社区发现上的有效性和可行性。     

融合节点重要性的无监督链路预测算法

提高加权网络链路预测算法精确度是研究复杂网络的基础问题之一。常用的基于局部网络结构的无监督预测方法没有考虑到重要性越高的节点越容易产生新连接,且在真实网络上中心性小的节点同样具有高度重要性。针对上述问题,提出一种融合节点重要性的无监督链路预测算法,从结构相似性和节点重要性两个角度计算新连接产生的可能性,并利用自定义系数调节影响程度。在5个真实加权网络数据集上进行实验,结果表明在解决小规模加权网络的快速预测问题上,该算法相比同类方法的预测精确度更高,有监督式链路预测方法并不适用。     

基于网络嵌入的稀疏子图发现算法

针对稀疏子图发现问题中使用高维稀疏向量表示网络信息存在的时间和空间消耗大的问题,提出一种基于网络嵌入的稀疏子图发现（TGF）算法。该算法首先通过网络嵌入的方法将网络结构映射到低维空间中,得到节点的低维向量表示;然后定义向量空间中的稀疏子集发现问题,将稀疏子图发现问题转化为稀疏子集发现问题;迭代搜索局部密度最低的样本点并对其进行扩张,最终找到一个满足条件的最大稀疏子集。实验结果表明,在Synthetic_1000数据集上与TERA（Triangle and Edge Reduction Algorithm）和WK（Weight of K-hop）算法相比,TGF算法的搜索效率是TERA的1 353倍,是WK算法的4倍,并且在k-line、k-triangle和k-density指标上也取得了较优的结果。     

基于网络嵌入的稀疏子图发现算法

针对稀疏子图发现问题中使用高维稀疏向量表示网络信息存在的时间和空间消耗大的问题，提出一种基于网络嵌入的稀疏子图发现（TGF）算法。该算法首先通过网络嵌入的方法将网络结构映射到低维空间中，得到节点的低维向量表示；然后定义向量空间中的稀疏子集发现问题，将稀疏子图发现问题转化为稀疏子集发现问题；迭代搜索局部密度最低的样本点并对其进行扩张，最终找到一个满足条件的最大稀疏子集。实验结果表明，在Synthetic_1000数据集上与TERA（Triangle and Edge Reduction Algorithm）和WK（Weight of K-hop）算法相比，TGF算法的搜索效率是TERA的1 353倍，是WK算法的4倍，并且在k-line、k-triangle和k-density指标上也取得了较优的结果。     

基于FP-Growth改进算法的云服务器故障数据分析

针对云服务器使用过程中参数异常的问题,介绍了云服务器的参数数据获取、数据清洗整理和有效分析过程。针对现有频繁模式增长(FP-Growth)算法中存在的条件FP-tree构建过程过于冗余以及数据量级越大处理效率越低的问题,提出了一种改进的FP-Growth算法,引入数组标记策略,每个FP-tree节点只保留指向父节点的指针。改进算法在挖掘过程中无需生成条件FP-tree,减少了时空消耗。实验结果表明,改进后的FP-Growth并行算法能够有效地提高云平台虚拟机异常数据的关联分析效率,并且改进算法也适用于较大规模数据集的数据挖掘工作。     

复杂网络半监督的社区发现算法研究

随着大数据时代的到来,复杂网络的社区发现已成为一个重要研究方向。层次聚类算法作为社区发现的经典算法受到了广泛应用,然而该算法具有较高的时间复杂度和较低的运行效率。为提高社区发现算法的运行效率,提出了一种基于节点相似度的半监督社区发现新算法--SSGN算法。充分利用先验知识must-link、cannot-link约束集合,将先验信息通过衍生规则进行扩展,并对扩展的信息通过基于距离度量的方式加以验证。采用人工网络和真实网络进行验证,UCI 数据集和大型真实数据集上的实验结果表明, 基于节点相似度的半监督社区发现算法较其他半监督聚类算法更准确,也更高效。     

基于随机森林和投票机制的大数据样例选择算法

针对大数据样例选择问题,提出了一种基于随机森林（RF）和投票机制的大数据样例选择算法。首先,将大数据集划分成两个子集,要求第一个子集是大型的,第二个子集是中小型的。然后,将第一个大型子集划分成q个规模较小的子集,并将这些子集部署到q个云计算节点,并将第二个中小型子集广播到q个云计算节点。接下来,在各个节点用本地数据子集训练随机森林,并用随机森林从第二个中小型子集中选择样例,之后合并在各个节点选择的样例以得到这一次所选样例的子集。重复上述过程p次,得到p个样例子集。最后,用这p个子集进行投票,得到最终选择的样例子集。在Hadoop和Spark两种大数据平台上实现了提出的算法,比较了两种大数据平台的实现机制。此外,在6个大数据集上将所提算法与压缩最近邻（CNN）算法和约简最近邻（RNN）算法进行了比较,实验结果显示数据集的规模越大时,与这两个算法相比,提出的算法测试精度更高且时间消耗更短。证明了提出的算法在大数据处理上具有良好的泛化能力和较高的运行效率,可以有效地解决大数据的样例选择问题。     

一种异构集群中能量高效的大数据处理算法

集群的能量消耗已经超过了其本身的硬件购置费用,而大数据处理需要大规模的集群耗费大量时间,因此如何进行能量高效的大数据处理是数据拥有者和使用者亟待解决的问题,也是对能源和环境的一个巨大挑战.现有的研究一般通过关闭部分节点以减少能量消耗,或者设计新的数据存储策略以便实施能量高效的数据处理.通过分析发现即便使用最少的节点也存在很大的能源浪费,而新的数据存储策略对于已经部署好的集群会造成大规模的数据迁移,消耗额外的能量.针对异构集群下I/O密集型的大数据处理任务,提出一种新的能量高效算法MinBalance,将问题分为节点选择和负载均衡两个步骤.在节点选择阶段采用4种不同的贪心策略,充分考虑到节点的异构性,尽量选择最合适的节点进行任务处理;在负载均衡阶段对选择的节点进行负载均衡,以减少各个节点因为等待而造成的能量浪费.该方法具有通用性,不受数据存储策略的影响.实验表明MinBalance方法在数据集较大的情况下相对于传统关闭部分节点的方法可以减少超过60%的能量消耗.     

C‑V2X车联网中基于模拟退火算法的任务卸载与资源分配

网联车辆节点产生的不同属性的大数据流量计算任务进行传输并卸载时,通常引起通信系统中时延抖动、计算能耗与系统开销大等问题,因此,根据实际通信环境,提出一种C-V2X车联网（IoV）中基于模拟退火算法（SAA）的任务卸载与资源分配方案。首先,根据任务处理优先程度,对处理优先程度较高的任务进行协同卸载计算处理;其次,通过全局搜索最优卸载比例因子的方式,制定了一种基于SAA的任务卸载策略,且分析并优化了任务卸载比例因子;最后,在任务卸载比例因子更新过程中,将系统开销最小化问题转化为功率和计算资源分配凸优化问题,并利用拉格朗日乘子法获取最优解。通过对所提算法与本地卸载、自适应遗传算法等作比较可知,随着计算任务的数据量不断增加,自适应遗传算法比本地卸载的时延、能耗、系统开销分别降低了5.97%、49.40%、49.36%,在此基础上基于SAA的方案较自适应遗传算法的时延、能耗、系统开销再降低了6.35%、92.27%、91.7%;随着计算任务CPU周期数不断增加,自适应遗传算法比本地卸载的时延、能耗、系统开销分别降低了16.4%、49.58%、49.23%,在此基础上基于SAA的方案较自适应遗传算法的时延、能耗、系统开销再降低了19.61%、94.39%、89.88%。实验结果表明,SAA不仅能降低通信系统时延、能耗及系统开销,还可以使结果加速收敛。     

改进遗传算法的WSN节点最优路由选择策略

针对无线传感器节点数据传输过程中的能量消耗问题,为了提高节点数据传输实时性,提出一种改进遗传算法的无线传感器网络节点最优路由选择策略。根据无线传感器网络的拓扑结构将监测区域划分不同大小的簇,并根据节点剩余能量选择每一个簇的簇头节点,然后将簇头节点编码成遗传算法的个体,根据数据转发能量耗能和延迟时间构建个体的适应度函数,并通过模拟自然界生物进化过程中的选择、交叉、变异等操作,找到节点数据转发的最优路径,在Matlab 2012平台上对数据路由算法的性能进行仿真测试。仿真结果表明,相对其他路由选择策略,提出的路由选择策略不仅可以均衡各个传感器节点的剩余能量,而且大幅度减少了数据转发路由过程中的能量消耗和延迟时间。     

基于CS优化的双簇头分簇路由算法研究

为了减少无线传感器网络(WSNs)分簇路由中簇头的能量消耗,提出了一种基于布谷鸟搜索(CS)优化的双簇头分簇路由算法.CS通过采用节点的剩余能量和节点之间的位置关系来构造适应值函数并选举出最优双簇头.其中,主簇头将数据进行融合,副簇头将融合的数据发送给基站,缓解了以往单簇头同时负责数据融合和传输的双重压力,使得整体能耗在各个节点的分配更均衡.仿真实验表明:与LEACH算法、粒子群优化(PSO)算法相比,CS算法在减小网络能耗以及延长网络生存周期上更具优势.     

一种优化MapReduce系统能耗的数据布局算法

在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.     

基于IK-means聚类的分簇路由算法

为了均衡移动自组织网络的能耗,提高簇结构稳定性,提出了一种基于IK-means聚类的分簇路由算法(IK-CRA).首先利用IK-means算法对网络中的节点进行分簇;然后通过节点的剩余能量、邻居节点数与连通代价的比值、链路维持时间构造适应度函数,采用改进的人工蜂群算法(IABC)解决分簇路由算法中的最优簇头问题.仿真结果表明,IK-CRA算法缩短了成簇时间,降低了节点的状态变化率,减少了节点的能量消耗,延长了簇首的持续时间,提高了动态环境下簇结构的稳定性.     

基于Spark的并行信任进化算法

为了提高信任进化(MET)算法在大数据环境下的时效性,提出一种基于Spark的并行MET算法——SparkMET.采用主从式架构,由主节点进行变异、交叉、选择过程,从节点计算适应度值.针对数据倾斜问题,提出一种新的数据分区策略——LBP算法,在SparkMET计算适应度值之前,根据合适的分区标签将数据重分区.在Epin...     

异构WSN中基于改进哈里斯鹰的分簇算法

针对无线传感器网络中传统的低功耗自适应集簇分层型协议存在的节点能耗过高、网络生存周期短以及负载不均衡等问题, 本文提出了一种异构传感网络下的多目标簇头选举和基于模拟退火的哈里斯鹰路由优化算法(LEACH-MHO). 这种改进算法首先在计算节点最优阈值的基础上, 构建新的考量能耗和负载的适应度函数, 找到最优簇首节点, 保证簇首节点的均匀分布; 再建立基于哈里斯鹰优化器的路径选择策略, 同时嵌入模拟退火算法, 防止过早陷入局部最优; 最后使用评估函数筛选出可加入到最佳路径的簇头, 缩短簇头节点到基站的通信距离. 仿真实验数据表明, 与CREEP、LEACH-C、LEACH算法相比, 本文算法的网络生存寿命分别延长了22.18%、77.83%和180.52%, 能更有效地延长网络生存寿命.