数据中心上异构资源的细粒度分配算法研究

数据中心的出现,使得大数据分析任务被分散到不同的计算节点。随着GPU计算的广泛应用,如何为不同的计算框架合理分配异构计算资源是目前的研究热点。研究了传统大数据计算框架和GPU计算的特点,针对现有的集群资源管理和GPU管理模式,提出了一种集中式异构资源管理模型,计算节点负责本地资源管理和任务的执行和管理,资源管理中心统一管理各个计算框架。对于不同的计算框架,根据其使用CPU以及GPU资源的不同,设计并实现了一种混合主资源共享分配算法,通过计算不同框架对主资源的使用,优先从可用资源中为主资源使用率最小的框架分配资源,实现主资源在各个框架的公平共享,防止CPU任务过多而导致GPU资源"饥饿",或者反过来导致CPU资源"饥饿"的现象发生。通过实验验证,该分配算法在异构资源使用效率以及任务完成数量方面能提高15%左右。     

基于GPU+Spark的电力大数据分析算法

针对Spark计算框架处理规模急剧增长的大数据时,处理速度会明显减慢,无法满足电力大数据分析的实时性处理需求的问题,提出了一种基于GPU与Spark计算框架的电力大数据分析算法.将GPU的并行处理结合到Spark计算平台上以提升电力大数据处理的效率,并通过构建排队模型来最大化该计算框架的性能.仿真结果表明,所提出的算法具有一定的精确性和有效性,且加入GPU计算后能够明显提升数据处理速度,可以满足大规模数据处理的实时性需求.     

扩展角色的密文数据访问控制模型

提出了一种将分级密钥授权融入角色管理的密文数据访问控制（KRBAC）模型,并基于该模型提出了一种元素级的细粒度数据保护方案. KRBAC模型通过划分独立的密钥控制域,将传统的角色扩展为由角色、角色控制域和密钥控制域构成的具有偏序集继承关系和安全约束性质的三元组;在密钥分级的基础上,通过主密钥及数据的特征信息产生元素级的加解密密钥. 分析结果表明,该模型能减少角色数量,降低访问控制的复杂度,提高权限分配的合理性,并能为细粒度的数据保护提供安全基础.     

多相图像分割的交替凸松弛优化及其Split Bregman 算法

变分水平集模型已成为多相图像分割的基本框架,其求解过程通常为计算水平集函数演化方程的稳态解,计算效率不高.为提高计算效率,本研究采用n个水平集函数划分n个区域的分段常值多相图像分割变分模型,将对水平集函数的优化问题转化为对离散的二值水平集函数的优化问题;然后将其转化为凸优化问题,再通过对结果阈值化得到原问题的解,并且本...     

粒计算规则生成模型

提出了一种粒计算规则生成模型GrCRule.该模型以最优粒化为基础来构造粒的最优划分,避免了决策树方法必需使用同一属性的所有属性值对来构造划分的局限.通过仿真实验说明,该模型能够得到比决策树方法更精简的规则集以及更强的泛化能力.     

基于视觉灵敏度与DCT系数的显著性检测

提出一种基于人类视觉灵敏度与空间加权离散余弦系数差异度的显著性检测模型.该模型将图像块的离散余弦低频系数作为其特征向量,以取代颜色和亮度等基本特征.每个图像块的显著性不仅计算与其余所有图像块的空间加权特征差异度之和,还用人类视觉灵敏度加权.通过与6种典型的显著性检测模型在3个眼动跟踪数据集上进行对比实验,结果表明,该模型显著性检测性能优于所有对比算法.此外,将该显著性检测模型用于新一代高效率视频编码(high efficiency video coding,HEVC)中也获得了很好的效果.     

动态模糊二叉决策树构造方法

动态模糊数据分析是海量数据处理的核心课题之一.讨论了动态模糊决策树的属性算法,通过动态模糊二叉决策树的介绍,给出了动态模糊决策树中各结点以及各层对实例集划分之间的关系.由于划分格是对论域的划分,进一步定义了动态模糊划分格,给出了关于动态模糊决策树各层对实例集划分组成的集合的定理,并且证明了动态模糊决策树的各层对实例集的...     

适用于复杂结构的多路谱聚类算法的改进

为使多路谱聚类方法对复杂结构数据集有效地聚类,根据矩阵扰动理论,利用局部近邻关系更新谱聚类算法(NJW)中的初始相似度矩阵,得到最终的亲和矩阵.理论分析表明,数据集可划分时,该矩阵是理想块矩阵或接近理想块矩阵,保证了本文算法聚类划分的正确性.将本文算法和基于路径的谱聚类、密度敏感的谱聚类以及基于流平面排序的谱聚类进行了比较,结果表明,本文算法在数据集具有复杂分布结构时可以确定聚类个数,得到正确的聚类结果.进一步将本文算法用于真实数据集上的聚类分析,表明本文算法是有效的.     

基于分类和回归树决策树的网络大数据集离群点动态检测算法

针对大数据集中存在海量数据,当数据规模扩大到一定程度时,离散点检测处理效率受到限制的问题,提出了一种基于分类和回归树（CART）决策树的网络大数据集离群点动态检测算法。首先,划分大数据集异常数据标准,利用方差衡量数据离散程度,使用支持向量机建立异常数据样本关联规则矩阵,明确大数据集异常数据范围,并通过动态网格划分策略降低离群点检测计算量;然后,运用CART决策树方法在分支节点采取布尔检测,将待检测数据统一拟作连续数据,升序排列训练数据集,计算数据最高信息增益,剪枝决策树直到没有非叶子节点可被替换,得到离群点动态检测结果。仿真结果证明,本文算法离群点检测准确率高、检测耗时短,具备显著的计算优势,能为大数据集的可靠应用提供积极帮助。     

敏捷化AIOps框架及运维数据质量评估方法

敏捷化智能运维(AIOps)框架将模型构建提前至测试阶段,利用该阶段产生的监控数据代替线上采集的数据以训练AIOps模型,进而实现智能运维的早开发与早使用. 运维数据质量评估方法通过最大均值差异度量方式,分别在健康评估与故障诊断运维场景下对训练数据分别进行趋势性、阶段性、可检测性及可诊断性评估,以预估数据对模型的适用性. 基于华为技术有限公司提供的测试环境设置测试用例并构建实验数据集,在该数据集上的实验结果验证了敏捷化AIOps框架的可行性及数据质量评估方法的有效性.     

对象集变化时相容块的近似集增量更新方法

为解决相容块粗糙集模型中概念近似集静态算法效率低的问题,对象集发生变化时,从新的角度提出一种增量式近似集更新方法。引入相容块粗糙集模型的基本概念,在对象集发生变化的条件下更新论域子集,结合增加(或删除)的对象集与相容块之间的联系,更新每一个相容块,并提出更新相容块在论域上覆盖和划分的方法,设计一种近似集增量式更新算法。6组UCI数据集试验结果表明,在增加对象时,本研究算法比非增量式更新算法时间缩短了1/3,在删除对象时时间缩短了1/2。在同种数据集下,本研究算法的时间消耗均小于其他4种更新算法,验证了算法的高效性和可行性。     

车联网中基于停车协同的边缘计算卸载方法

为解决网络边缘服务器超负荷的问题,提出一个基于停车协同的边缘计算任务卸载框架.在该框架下,服务提供商利用停车场中停靠车辆的空闲计算资源扩展网络边缘服务器的计算能力,停靠车辆协同执行服务提供商卸载的计算任务,从而减少超负荷.为激励停靠车辆执行卸载的计算任务,设计一个基于契约论的激励方案,不仅能够使服务提供商的效益最大化,同时能够满足停靠车辆的效益.基于真实数据集的实验仿真结果证明所提的激励方案有效.     

大数据热点技术综述

大数据是当前学术界和工业界关注的热点,从大数据文件系统、大数据分布式存储策略、大数据资源调度以及大数据计算框架等几个方面阐述了当前典型的大数据相关技术及热点技术,并进一步指出下一步可能的研究方向:如何通过语义提高计算效率以及如何高效处理时空大数据.     

一种海量数据快速聚类算法

为满足海量数据处理要求,提出了一种基于网格的K-means快速聚类算法（SPGK）.设计基于网格质心的聚类簇个数选取算法,对数据进行网格划分得到每个网格的质心,将质心作为K-means聚类的样本点,从而减少K-means的欧氏距离计算次数.该算法基于Spark平台实现并行计算,进一步地提高了算法的运行效率.SPGK不但能够获得良好的聚类效果,而且缩减了欧氏距离计算次数,适用于海量数据的快速聚类.在千万级数据集上的实验结果表明,SPGK的性能明显优于现有的K-means++和基于K均值聚类的递归划分方法.     

带复杂计算的金融领域自然语言查询的SQL生成

研究金融领域基于自然语言查询的结构化查询语言(SQL)生成问题(Text-to-SQL), 构建一个金融领域Text-to-SQL数据集,称为SOFT数据集. 该数据集覆盖了金融领域的常见查询,具有鲜明的特点,并对Text-to-SQL提出了挑战. 提出金融领域Text-to-SQL模型FinSQL,该模型优化了对金融领域复杂查询的支持. 通过分析一类复杂计算查询（行计算查询）的特点,提出一种基于分治的方法,即先将一个行计算查询分解为若干个子查询,分别针对每个子查询生成SQL语句,再将子查询的SQL语句组合在一起得到原始查询的SQL语句. 在SOFT数据集上进行验证,结果显示,本研究所提的方法在复杂查询上效果优于已有方法. 特别地,所提出的模型FinSQL能够较好地支持行计算查询.     

基于组合凸线性感知器的文本分类模型

针对文本分类问题,从分片线性学习的角度出发,提出了一种文本分类的组合凸线性感知器模型.首先,对文本样本集进行预处理,包括特征选择、特征项赋权等;然后,分别利用生长支持组合凸线性感知器算法(growing support multiconlitron algorithm,GSMA)和支持组合凸线性感知器算法(support multiconlitron algorithm,SMA)构造组合凸线性感知器,对样本集进行分类.该模型基于支持向量机的最大间隔思想,通过集成线性分类器,实现了对2类数据的划分,具有计算简单、适应能力强的优点.在标准文本数据集上的实验结果表明:该模型所构造的分类器具有良好的文本分类性能,与其他典型文本分类方法的对比也说明了该方法的有效性.     

人类行为解释与转换系统的多通道进化框架研究

人类行为解释系统已经成为不同学科都感兴趣的研究课题.人类行为的本质是多通道的,本文通过大量的文献分析,总结了研究人类行为解释系统的各种方法,进而提出一种人类行为解释系统的框架.该框架的主要内容包括数据表达、数据流、背景、定义数据集及其表达、数据分析、解释、应用开发、系统工程及可拓学方法等.总结了上述有助于人类行为解释系统进化的框架.在结论中,提出了一个三阶段进化框架,包括根据应用需求训练系统、系统的运行、对预期行为的转化.     

改进P—SVM收视率预测方法及其应用研究

为提高电视收视率预测水平,为相关机构提供决策支持,文中利用改进P—SVM模型对收视率数据进行分析预测．在方法设计上,为了更好解决模型参数选取等优化问题,引入证据框架,通过贝叶斯数据分析方法将样本先验知识引入模型优选过程,提出了用于收视率数据预测的改进P—SVM模型．为了测试方法的有效性,选取某电视机构收视率数据进行分析．算例分析表明,该方法较传统机器算法具有更好的预测能力,能够用于实际收视率数据分析．     

卡尔·斯坦尼兹可变建筑设计模型及优化

为提高生态规划体系下建筑设计效率,缩短设计周期,文中采用卡尔·斯坦尼兹多解设计框架,对建筑设计过程中的环节、要素以及设计数据进行分析.通过建筑设计系统层次划分,对设计过程进行层次化建模,提出了基于卡尔·斯坦尼兹多解框架理论的可变建筑设计模型.结果表明:该模型实现了设计师想法和客户意图的有效协调,减少了设计师和客户的交流...     

基于划分子集的属性约简算法

Pawlak提出的基于属性重要度的约简算法是常用的算法之一,它通过计算等价关系对论域划分的粒度来度量属性的重要度。但用该算法计算每一个属性的重要度时,都要计算不同等价关系对整个论域的划分,计算复杂度非常高。受决策树划分子集思想的启发,对基于属性重要度的属性约简算法进行了改进,提出了一种基于划分子集的属性约简算法。在核属性集形成划分的基础上,通过在核属性中添加非核属性从而形成更细的划分,如此反复。在保持正域不变的框架下,形成最细化分的属性集就是一个约简。理论分析显示该算法减少了求属性约简的计算时间复杂度,提高了求属性约简的效率。