面向规划业务的多终端接入模式可视化识别方法

电网业务规划终端通常采用单一的可视化布局方案,导致电网终端接入模式无法获取完整的规划业务问题,因此研究面向规划业务的多终端接入模式可视化识别方法。本文根据弹性影像金字塔的分布式计算方法,划分多终端接入后的规划业务影像层级,融合层次布局、路径序列布局、网络布局以及圆形布局四种方案,获取规划业务产生问题的源头、路径以及最终结果;设计多终端协同识别模式和可视化识别界面,实现对多终端接入模式的可视化识别。实验表明：与传统方法相比,应用此次提出的方法后,可视化识别平台具有更好的兼容性,可以准确获取规划业务出现问题的源头数据、发生路径和最终结果。     

基于数据集成的多版本控制算法

介绍了一种数据仓库中基于数据集成的多版本控制算法.首先简单介绍了数据集成的概念和数据一致性程度的概念,然后介绍了数据仓库中基于数据集成的多版本算法中的视图维护算法,最后重点介绍了数据仓库中基于数据集成的多版本控制算法中事务和会话如何进行、关系表如何修改、对用户算法描述以及对事务维护算法的描述.     

面向数据集成的多真值发现算法

大数据时代,大规模数据往往由多个数据源组成并服务于多个数据驱动型应用程序。由于数据源的可信度不同,不同数据源往往会产生数据冲突,使得难以判断哪些信息是真实的。近年来,真值发现方法通过从多个数据源中找到最符合现实的真值来解决冲突而成为研究热门。当前真值发现算通常假设实体某个属性只有一个真值,然而在现实中,实体具有多个真值的情况更为常见。针对多值实体提出了一个多真值发现算法,该算法将多真值发现转化为一个函数优化问题。根据对目标函数的求解选取置信度最高的多个值作为实体的真值。同时在计算描述值的置信度时,提出一种非对称的支持度计算方法,结合相似值的支持对其置信度进行修正。通过多个真实数据集上的实验表明本文算法的准确性优于现有的真值发现算法。     

基于XML的数据集成模型研究

随着企业信息化的逐步深入，企业内部及企业之间存在着大量的异构数据，数据集成问题是企业信息化建设所面临的问题之一。应用XML技术，提出了基于XML技术的企业数据集成模型的框架结构，对该框架的各个组成部分给出了说明以及所涉及的关键技术进行了研究。     

基于开源框架的终端安全运维数据信息获取模型

为保证运维管理的高效性与安全性,根据开源框架的基本特征,设计了一种终端安全运维数据信息的获取模型。文章通过Hadoop框架平台和主动学习算法,构建终端安全运维数据信息获取模型,并利用MapReduce框架解算终端安全运维数据信息的获取模型。试验结果表明,设计的模型对5组不同训练数据的获取与处理时间分别为5.618 s、2.154 s、11.504 s、66.217s、24.618 s,具有高效性与可扩展性,获取信息数据集的精度平均值为90.57%,即获取的数据信息具有良好的精度与准度。设计的基于开源框架的终端安全运维数据信息的获取模型,具有高效性、精准性以及可扩展性,能为运维数据信息的管理奠定良好的数据基础。     

基于大数据的数字化系统一体化调度信息集成模型

由于已有集成模型分类过滤能力较差,因此提出一种基于大数据的数字化系统一体化调度信息集成模型。通过小波多窗谱特征提取数字化系统一体化调度信息并进行预处理。在二维空间中对最近邻点进行模糊搜索,获取数字化系统一体化调度信息模糊聚类中心,对信息聚类目标函数进行优化,完成调度信息分类过滤。结合大数据技术对调度信息结构层次进行分析,构建调度信息集成模型。实验结果表明,所提模型不仅能够提升调度信息分类过滤能力,同时还能够加强集成效率和容错性。     

基于大数据集成平台的物联网信息系统设计

为解决目前物联网信息系统导入精度较低的问题,笔者设计了基于大数据集成平台的物联网信息系统。该系统以系统构架为基础,针对系统硬件进行设计,以此完成数据导入、数据预处理与数据分类等功能,并利用仿真实验对系统导入精度进行验证,从而确保系统设计的有效性。     

基于多源数据集成的松嫩平原

以数字地球科学和数据仓理论为指导,以3S技术、环境模拟技术和计算机编程技术为手段,根据空间信息与非空间信息在地理单元和空间上的存储特征,建立了基于域和对象的公共数据模型,继而构建了不同专属性的空间数据库。以此为基础,通过应用空间数据引擎和空间数据操作对象,首次对面向应用的松嫩平原土地资源空间数据仓进行了分析与设计。     

基于XML的数据集成模型研究

随着企业信息化的逐步深入,企业内部及企业之间存在着大量的异构数据,数据集成问题是企业信息化建设所面临的问题之一。应用XML技术,提出了基于XML技术的企业数据集成模型的框架结构,对该框架的各个组成部分给出了说明以及所涉及的关键技术进行了研究。     

基于多中间件的数据集成方案

为了实现分布的异构数据集成,解决"信息孤岛"问题,结合J2EE架构的优势和许多成功的数据集成方案,提出了基于数据访问中间件、消息中间件、数据源集成中间件的数据集成方案.详细讲述了该集成方案的架构和实现,实现结果表明该方案明显提高了数据集成的效率.最后,结合最新技术发展趋势对数据集成的研究前景做出了展望.     

基于数据敏感性的大数据访问控制模型研究

最近大数据的增长正在引发安全和隐私问题,传统的访问控制模型难以对海量数据提供动态的访问控制。针对Hadoop云平台的数据安全问题,提出了一个基于数据敏感性的Hadoop大数据访问控制模型。模型利用数据内容、使用模式和数据敏感性来强化访问控制策略,在评估数据敏感性上用户干预最小,能根据数据集的增加和删除所引起的数据敏感性变化来调整访问控制策略。实验结果表明,该模型能够以较少的开销增强对非多媒体数据集的访问控制,解决了现有Hadoop平台中访问控制模型安全性的不足。     

基于大数据和深度学习的语音识别研究

近年来,现代信息技术进入高速发展的阶段,新的研究成果出现的同时也带来了新的难题和挑战,其中,对人工智能的研究应用到了人们生活和生产的各个方面,给社会生活带来了巨大的改变。在人工智能识别中的语音识别研究一直是重点研究项目,虽然基于人工神经网络引入声学理论的研究,让语音识别智能化的效率和准确率大大提高,但是随着对语音识别需求的增多,仍然出现了一些不足。因此需要基于大数据和深度学习,对语音识别进行改善和深入研究,本文通过探讨语言智能识别的现状,用基于大数据和深度学习的方法,改善语音识别中的语音提取,声音模拟和识别判断等,有效提高语音识别技术的发展。     

基于结果模式的Deep Web数据集成

Deep Web中蕴含了海量可供访问的信息,如何构建一个具有较好适用性和高效数据处理能力的Deep Web数据集成系统是有效利用Deep Web信息的关键.提出一种基于结果模式的Deep Web数据集成机制,通过结果模式可以实现高效的数据抽取,并且在结果模式的基础上可以根据用户查询请求动态生成结果输出模式,为高效的查询结果处理奠定了良好基础;同时,针对Deep Web数据源特点,给出数据源间冲突的分类及解决策略,为解决数据源间的异构问题奠定了良好基础.     

数据共享平台的数据访问及其在Android终端的呈现

实现数据共享,可以使更多的人更充分地利用已有数据资源,创造新的价值. CKAN(Comprehensive Knowledge Archive Network)是世界领先的开源数据平台,对收集的数据实现管理和共享.本文实现了一款基于Android开发的CKAN APP,以便用户可以随时随地查看CKAN平台上的共享数据.本文主要是运用Android客户端的开发技术,通过CKAN的API来访问CKAN平台的数据资源,然后将访问到的数据资源转化为合适的格式存储起来,最终将数据在Android终端呈现出来.测试结果表明:本文开发的CKAN APP,为用户随时随地查看CKAN平台的共享数据提供了一个可用的APP工具.     

社会化媒体大数据多阶段整群抽样方法

在线社会化媒体大数据是行动者自组织关系的集合,其内部蕴含了多层次的社会实体关系,因此,在线社会化媒体大数据抽样方法的研究对于社会计算这一新兴研究领域具有重要的理论和应用价值.现有抽样方法存在大型马尔可夫链难以并行化、样本局部性陷入、马尔可夫链燃烧预热等问题.针对这些问题,提出了在线社会化媒体大数据整群多阶段抽样方法OSM-MSCS.该方法首先进行整群分解,将总体分解成若干小型凝聚子群;而后,使用动态延迟拒绝方法对凝聚子群内部的关系抽样;最后,使用Gibbs方法完成不同凝聚子群之间相干关系的筛选,从而获得整个样本序列.实验结果表明,OSM-MSCS方法能够有效地对各种结构特征的在线社会化媒体大数据进行抽样,从“个体地位-群体凝聚性-整体结构性”这3个层次进行综合评价,其抽样效果要明显好于MHRW和BFS这两种最主流的抽样方法.     

基于用电大数据的用电异常状态辨识方法

用电异常状态的辨识是用电环节的重点和难点。本文基于计量自动化系统智能电能表所采集的用电大数据,对用电异常状态辨识方法进行研究。首先,基于用电海量数据及高维随机矩阵理论,研究分析了大维随机矩阵的协方差矩阵特征谱分布;然后,根据矩阵的统计特性提出基于用电大数据矩阵的用电异常状态辨识方法;最后,以贵州实际用电数据为例进行了仿真研究。仿真结果表明该文方法不仅能满足电网对可视性、时效性、可靠性、安全性的迫切要求,而且为数据驱动用电环节智能化、可视化监控提供了新思路。     

基于多业务场景的大数据脱敏技术研究及其在电力用户隐私信息保护中的应用

数据流转过程中,保证数据安全使用的最有效方法即数据脱敏,通过将数据中的敏感信息标识化处理,确保隐私信息在使用过程中的安全可靠。本文首先对数据脱敏技术进行介绍,包括脱敏概念、脱敏原则和脱敏方法等;之后对电力企业数据特点进行分析,梳理形成用户隐私信息类别;进一步对电力系统中用户隐私信息的实际应用场景进行提取划分;在此基础上,应用不可逆的数据脱敏方法,制定形成数据脱敏规则,并根据数据使用的不同业务环境,提出动/静态大数据脱敏技术方案。该方案紧密结合电力企业实际业务需求,在应用过程中,无论是对现有系统进行改造,或是部署新的设备,都最大限度的保证了投入成本与实际产出间的合理配比,使得数据价值得到充分挖掘的同时,保障用户隐私信息安全。     

基于区块链的大数据访问控制机制

针对大数据资源来源广泛、动态性强且呈现出分布式管理的特点,当前主流集中式访问控制机制存在权限管理效率低、灵活性不足、扩展性差等不足.基于此,以ABAC模型为基础,提出一种基于区块链的大数据访问控制机制：首先,对区块链技术的基本原理进行描述,并对基于属性的访问控制模型进行形式化的定义;然后提出基于区块链技术的大数据访问控制架构,并对访问控制的基本框架与流程进行了详细的阐述与分析;同时,对基于区块链事务的访问控制策略及实体属性信息管理方法进行了说明,以此保证访问控制信息的不可篡改性、可审计性和可验证性;随后,采用基于智能合约的访问控制方法实现对大数据资源由用户驱动、全程透明、动态、自动化的访问控制;最后,通过仿真实验验证了该机制的有效性,并对该研究内容进行总结与展望.     

大数据在人脸识别在智慧城市的应用

目前人脸识别技术无法满足智慧城市高增长率人脸识别需求,因此提出大数据在人脸识别在智慧城市的应用。以智慧城市应用需求为基础,建立大数据人脸识别模型,处理过程中人脸特征光照、距离以动态特征等影响因素,建立数据库,对数据低频处理后信息分类,完成人脸特征识别。设计仿真实验,对比大数据人脸识别方法、OpenCV人脸识别方法以及BP神经网络人脸识别方法的识别准确率,证明研究的有效性。     

基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。