基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

多源异构空间数据集成在海洋地学中的研究与应用

针对海洋地学中大量出现的多源异构空间数据,本着实现数据融合、共享的目的,最终达到节省人力、物力的目标,本文介绍了海洋地学中多源异构空间数据产生的缘由以及各种集成方法,最后笔者通过对FME软件的研究成功地实现了实例数据间的集成融合。     

多源异构大数据平台的建设及应用

针对公安机关使用的信息系统普遍存在"数据壁垒",不利于侦查办案的实际问题,设计并实现了多源异构大数据平台.该平台能够实现侦查、治安、交管等多类业务系统结构化、非结构化、半结构化异构数据的有效汇集整合,通过数据处理、目录管理、分析研判等功能,解决由于数据无法有效利用而导致"信息孤岛"、无法服务于侦查破案的问题.该平台应用...     

基于多目标优化技术的多源异构数据分类研究

针对多源异构数据不平衡分类问题,论文建立了自适应多目标群交叉优化(AMSCO)算法来处理并行采样两个类时的类不平衡数据集。以重新平衡数据集时间最优为目标,采用两种群优化算法逐步找出特定分类器的最佳性能。将少数类样本合成过抽样技术(S MOTE)扩展为OSMOTE用于将少数多源异构数据扩充到适当的数量,结合群实例选择(S IS)有用的实例来过滤大部分多源异构数据。实验结果表明,所提出的算法能够提高多源异构数据分类模型的可信度并保持较高的准确性。     

异构云计算海量多源数据在线共享方法

异构云计算中的数据多源化严重,传统数据共享方法难以统一数据的格式,导致共享过程中学习泛化能力较弱,影响了最终的数据共享结果。对此设计一种异构云计算海量多源数据在线共享方法,为使异构云计算中海量多源数据实现精准在线共享,首先将多源数据的格式进行归一化转换,提取数据的特征矩阵进行坡度归一化,设计数据在线共享接口,实现异构云计算中海量多源数据的在线共享。共享方法性能测试结果表明,相同测试环境下,设计的数据在线共享方法共享数据量最高,ER与F1的平均值最低,说明设计的异构云计算海量所有数据的在线共享方法在数据共享的过程中泛化能力更好。     

多源异构数据整编系统的设计和实现

随着各行各业信息系统的不断建设发展,信息资源总量急剧膨胀,不同行业、不同部门之间的数据壁垒现象也越来越严重,大大增加了数据信息整编工作量以及复杂程度。分析了多源异构数据的特点及导致数据壁垒的原因,结合数据整编业务的实际需求,提出了一种面向多源异构数据的整编系统,并阐述了该整编系统的模型框架及实现方式。     

智慧养老平台中多源异构数据融合技术研究

智慧养老系统由于其管理关系到多元异构数据,对于目前智慧养老系统存在的数据存储、扩展能力、存储类型等方面的缺陷,通过云数据、云计算在智慧养老系统中的运用,将Hadoop云平台应用到智慧养老系统多源异构数据融合中,实现养老数据的云查询、云存储.首先研究智慧养老系统的数据多元性,进而分析多元数据特点,将其划分成空间数据、医学...     

数据跨境流通合规治理与技术实践

数字经济时代,数据的跨境流通成为推动全球经济发展与科学技术增长的重要动力,但同时也引发了数据红利与数据安全之间的矛盾。当前,数据跨境流通受到政治、制度、技术等多种因素制约,亟需提出保障数据跨境流通的新途径新模式。通过对比不同国家的数据跨境流动规制和技术手段,从遵循法治思想、构建和完善法律规则的角度出发,探索构建多层次的数据跨境流通治理体系,并发挥网络安全技术的支撑保障作用,切实维护国家安全和社会公共利益,促进数据跨境安全、自由流动。     

面向多源异构数据的云推送平台的研究与应用

在传统推送中,多源异构数据的推送面临时效性不强、安全性不高、数据难以重用等问题。针对多源异构数据的特征,综合移动互联网的安全性和隐私性等特点,提出了一种多维决策云推送模型来计算分布式环境中多源异构数据的特征值和特征向量,以快速分离数据源中的同构数据和异构数据;并基于此模型设计了云推送平台,其利用云推送技术来实现同构数据和异构数据的自动分离和高效推送。根据云推送平台在实验环境中的运行情况及相关指标分析,说明该平台适用于多源异构数据的推送,是一种高效可行的推送方式。     

多源异构传感通信大数据的融合调度算法

本文研究了在能量受限条件下服务于多种类型的数据处理和传输的多源异构通信簇交通传感器节点系统的最优大数据的融合调度控制问题。传统方法需要大量关于系统动态的统计信息,并且求解效率低。使用针对更新帧的李雅普诺夫优化技术,本文设计了一种新的在线多源传感通信大数据融合调度算法来克服以上困难。仿真实验表明所设计算法稳定、鲁棒,为后续利用交通传感器网络传输大规模数据奠定基础。     

基于GML的多源异构空间数据集成系统的设计

多源异构的空间数据成为空间信息共享的瓶颈,在网络环境下如何实现多源异构空间数据的集成,成为当前GIS(地理信息系统)发展的一个热点和难点问题.提出了一个基于GML(地理标记语言)的多源异构空间数据集成模型,解决了多源异构空间数据向GML文档的转换,GML与空间数据库服务器的交互以及GML向SVG(可缩放矢量图形)的转换,并使用WebService技术,在Microsoft.NET平台上设计实现了多源异构空间数据集成系统,从而实现了基于GML的空间数据集成和基于SVG的空间数据可视化.     

异构数据集成方案的优化设计与实现

针对现有数据集成方案在处理特定问题时系统查询性能不理想的情况,以Mediator／Wrap-per集成模式为基础,结合数据仓库思想,提出1种异构数据集成的优化方案．该方案基于XML和元数据设计查询构造、解析搜索及缓存等模块,优化系统的查询性能．将该方案应用于石油储层评价系统的数据集成中能明显缩短查询的平均耗用时间,提高查询效率。     

地籍数据网上汇交系统关键技术研究

国土地籍数据采用分级管理机制,不同地区的地籍管理系统是异构的,为实现分布异构环境下,国土地籍数据网上汇交,不允许改变已有现有数据存放方式,不允许操作现有数据库,必须要在保证地籍数据安全的前提下,通过元数据技术定位下级数据存放服务器,实现异构数据库间表与字段的映射,通过数据监听实现数据变化的提取,通过Web和XML实现数据实时同步.通过地籍数据汇交中间件,建立了区、市、省,国家四级地籍数据的汇交机制.实践结果表明,地籍数据汇交中间件,具有通用性,同时独立于数据库平台,实现地籍数据的实时、准确传榆,但也存在着数据传输速度较慢的问题,有待下一步工作解决.     

考虑监管惩罚的两类运作系统应急运作模型

针对电力、石化等区域垄断性运作系统能力因突发事件受损的情况,从运作管理的视角探讨监管惩罚、管理者应急态度和应急决策之间的关系,并以此构造相应的单阶段和多阶段应急运作模型.从理论上证明了监管惩罚的边界和惩罚机制参数与应急决策变量的相关关系,在此基础上对服务和生产两类系统的监管机制和管理者应急决策进行数值模拟分析.仿真结果表明,所提出的方法对监管部门制定惩罚机制、管理者改善应急管理绩效具有较好的启示.     

物联网技术在起重机动态监管中的应用

随着起重机事故的频繁发生,人们越来越重视对起重机的动态监管,而物联网技术的应用可保障起重机动态监管的顺利进行。文章介绍了物联网技术的定义、特点及其技术架构,并从运行状态监控、金属结构状态监控、人机互认管理系统以及故障识别诊断技术等四个方面详细论述和分析了物联网技术在起重机动态监管中的应用现状,最后从云计算、多网融合及人工智能角度给出了起重机动态监管的建议和未来发展方向。     

数据挖掘技术在高校管理决策中的应用

针对高校教育方式的灵活多样化和学生人数急剧增加与教学资源日渐紧张的矛盾,通过对数据仓库、数据挖掘技术和决策支持系统的研究,提出了基于数据挖掘技术的高校管理决策支持系统的设计方案,为高校决策提供科学的依据。该方案对建设科学合理的高校数据仓库,有效提高高校信息管理和数据利用的能力,加强高校管理决策的合理性和科学性,具有现实意义。     

基于并行数据库的海量商务数据管理系统研究

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。     

大数据时代合同管理的前沿技术和实践探索

当前合同管理从数字化到智能化的转变对信息质量提出了更高的要求。面对合同数量多、管理人员少的现状,传统的人工管理模式已无法满足已无法满足当前合同管理发展需要。因此只有引入大数据、人工智能等新技术辅助合同管理,才能有效实现项目控制,降低合同风险,提高工作效率。通过对水利部信息中心的合同进行分析,从合同起草和审核环节中总结出13个问题,针对这些问题提出了合同文本格式模板化和问题库等解决方法,实现大数据在合同管理过程中的初步探索和研究。     

本体技术在城市规划异构数据集成中的应用研究

多源异构的规划数据集成问题一直是国内外空间信息技术研究的热点和难点,在分析有关集成技术的基础上,从本体技术入手,分析了利用本体技术实现规划数据集成的优势及可行性,并确定了规划本体的特点,在此基础上提出了基于本体的数据集成体系结构及利用该体系实现规划数据集成的方法,为实现数字城市规划进行了有益的理论和实践探讨。     

全太阳能数据中心整体技术方案与实践

如何在提高数据中心数据处理能力的同时又降低用电量,成为数据中心行业进一步发展的瓶颈问题。为此,提出全太阳能数据中心整体技术方案,以微服务器集群构架为核心,以太阳能光伏发电为主供电源,在此基础上,再配合高压直流配电系统和分布式内嵌UPS系统。首个全太阳能数据中心已经建成投入使用,根据实际运行结果表明,能耗减少到常规数据中心的1/4,节能减排效果十分显著。同时,机房运行成本下降50%,利润率提高400%,一次性建设费用只有常规同等规模数据中心的60%,社会效益和经济效益同样明显。