基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

异构云计算海量多源数据在线共享方法

异构云计算中的数据多源化严重,传统数据共享方法难以统一数据的格式,导致共享过程中学习泛化能力较弱,影响了最终的数据共享结果。对此设计一种异构云计算海量多源数据在线共享方法,为使异构云计算中海量多源数据实现精准在线共享,首先将多源数据的格式进行归一化转换,提取数据的特征矩阵进行坡度归一化,设计数据在线共享接口,实现异构云计算中海量多源数据的在线共享。共享方法性能测试结果表明,相同测试环境下,设计的数据在线共享方法共享数据量最高,ER与F1的平均值最低,说明设计的异构云计算海量所有数据的在线共享方法在数据共享的过程中泛化能力更好。     

基于USDR模型的云推荐方法研究

在云环境中,对于云数据的统一建模一直是研究热点。尤其在推荐系统中,对于多源异构数据灵活性和安全性的要求更高。随着数据信息技术的不断发展,网络更新逐步加快,数据的更新也越来越快,从海量信息中如何快速帮助用户获取偏好的信息变得更加困难。针对多源异构数据的特征,综合移动互联网安全性和隐私性等特点,提出了一种USDR模型,并在该模型的基础上对云环境中的推送方法进行了研究,主动帮助用户发现自己偏好的信息,并将这些信息展现给可能需要的用户,并且实现了传统的数据推荐方法无法处理的多源异构数据的云推荐。根据云推送平台在实验环境中的运行情况及相关指标分析,说明该云推荐方法能适用于多源异构数据的推荐,是一种高效可行的推荐方法。     

多源异构大数据平台的建设及应用

针对公安机关使用的信息系统普遍存在"数据壁垒",不利于侦查办案的实际问题,设计并实现了多源异构大数据平台.该平台能够实现侦查、治安、交管等多类业务系统结构化、非结构化、半结构化异构数据的有效汇集整合,通过数据处理、目录管理、分析研判等功能,解决由于数据无法有效利用而导致"信息孤岛"、无法服务于侦查破案的问题.该平台应用...     

基于多源异构数据的水行政执法综合管理平台研究与应用

为解决全国水行政执法数据共享及业务协同存在的问题,进一步提高水行政执法工作信息化水平,依托数据湖技术,聚类水行政执法相关数据,开展多源异构数据整合与分析,在此基础上,提出满足数据交换、预警研判、业务协同、案件督办、辅助决策和调度指挥等功能为一体的水行政执法综合管理平台总体设计方案。通过前期应用,目前已完成流域级已建数据成果汇集,水行政执法综合管理平台初步搭建完成,对解决流域间水行政执法数据共享和业务协同起到积极作用,有效提高水行政执法管理水平。     

多源异构海量数据实时处理平台研究与应用

目前许多业务部门以多种形式记录各种海量且异构多源的业务数据,在进行高端决策时,对数据的读取及多维计算分析等方面效率较低,特别是对具有"时空"特性的数据处理。针对这类数据的多源异构性、海量性、高度时空性等特点,结合数据实时性需求,设计并实现了"多源异构海量数据实时处理平台"。该平台从多途径实时获取、处理多种海量数据文件,并实时保存到数据库,方便其他各业务系统更加直接、实时地使用各种实时数据,最终实现各业务系统间的多源异构海量数据的实时共享,同时该平台对其他领域的复杂数据处理也具有很好的参考价值。     

多源异构数据整编系统的设计和实现

随着各行各业信息系统的不断建设发展,信息资源总量急剧膨胀,不同行业、不同部门之间的数据壁垒现象也越来越严重,大大增加了数据信息整编工作量以及复杂程度。分析了多源异构数据的特点及导致数据壁垒的原因,结合数据整编业务的实际需求,提出了一种面向多源异构数据的整编系统,并阐述了该整编系统的模型框架及实现方式。     

基于多目标优化技术的多源异构数据分类研究

针对多源异构数据不平衡分类问题,论文建立了自适应多目标群交叉优化(AMSCO)算法来处理并行采样两个类时的类不平衡数据集。以重新平衡数据集时间最优为目标,采用两种群优化算法逐步找出特定分类器的最佳性能。将少数类样本合成过抽样技术(S MOTE)扩展为OSMOTE用于将少数多源异构数据扩充到适当的数量,结合群实例选择(S IS)有用的实例来过滤大部分多源异构数据。实验结果表明,所提出的算法能够提高多源异构数据分类模型的可信度并保持较高的准确性。     

多源异构数据的实体匹配方法研究

近年来,针对多源异构数据的实体匹配问题,已经有诸多学者提出不同的解决方法。然而,这些方法几乎都集中在RDFS或OWL等语义框架下进行实体匹配,不具有通用性。此外,针对多数据源实体匹配问题,目前主流解决方式是将其转换为多组两两数据源的实体匹配问题,该种方式直接进行两两匹配的计算复杂度过高,且没有从多数据源全局的角度分析问题。从这些问题出发,提出了一种的实体匹配方法,利用了实体中普遍存在的名称、属性和上下文信息,构建多种索引,缩减计算空间同时生成高质量的候选集;还定义了度量实体相似度的计算方法,有效地判别了实体对是否匹配。并根据实体间边的权重以及互斥关系,提出一种基于图划分的优化算法,划分多个等价实体构成的集合。从互联网中抓取商业领域下品牌和人物类别的真实数据进行实验测试,实验结果表明该方法取得了良好的效果。     

多源异构环境下数据同步复制技术的研究

针对多源异构环境下数据的特点,提出一种数据同步复制新方案。该方案解决了多源异构环境下数据库的访问,数据的获取与复制,动态数据源的处理以及同步过程中数据冲突与同步的实时性等问题。最后将所提出的方案应用于某省高速公路车辆监控系统中,达到了实际应用要求,表明了该方案的正确性与有效性。     

多源异构数据库的集成的研究

本文简要介绍了在大型企业中普遍存在的多源异构数据库状况．及几种行之有效的数据集成方法,同时以一种用对照表完成结构差异较大的数据库数据转化方法为例．详细阐述了多源异构数据库数据转化和共享的思路。     

多源异构数据库的集成的研究

本文简要介绍了在大型企业中普遍存在的多源异构数据库状况,及几种行之有效的数据集成方法,同时以一种用对照表完成结构差异较大的数据库数据转化方法为例,详细阐述了多源异构数据库数据转化和共享的思路。     

面向产业链协同SaaS平台的多源异构信息动态集成技术研究

为降低协作企业内部系统与产业链协同SaaS平台交换大量数据所消耗的时间和空间代价,提高实时数据查询的准确性,对多源异构信息集成服务技术进行了研究。设计了面向产业链协同SaaS平台的多源异构信息集成模型;构建了多源异构信息动态发布和动态发现机制;提出了以SaaS平台为核心的多源异构信息转换与注册算法以及事件驱动的数据源动态调用算法;实现了面向产业链协同SaaS平台的多源异构信息实时准确查询服务。该模型和算法在汽车零部件产业链协同平台服务商配件库存管理中的应用证明了该技术的可行性和有效性。     

基于云计算的网络安全数据传递方法研究

研究云计算中数据的安全传递问题,在云计算进行大规模数据传递时,由于传递的数据信息量巨大,发生云空间不足,或者被外界恶意攻击的几率较高,容易发生数据泄漏、数据异常,造成海量数据传递的机密性和安全性不高的问题。为提高数据传递的安全性,提出一种多层防护的云计算安全数据传递方法,运用多层数据防护技术对海量数据传递时发生的异常进行检测,采用多点校验技术使得数据偏差幅度最小,保证数据的安全性,克服传统方法的缺陷。实验证明,利用改进方法能够大幅提高海量数据在传递过程的安全性,取得了令人满意的效果。     

云计算环境中基于访问量和依赖性评价的数据分配算法

大量的大规模密集型数据需要存储在多个数据存储中心,而应用越来越广泛的云计算环境很好地解决了大规模密集型数据在分配中遇到的规模性问题。但是,云计算环境中多数据存储中心的数据分配会带来数据存储中心之间数据量的传输,从而导致数据访问效率低下。同时,单位时间上数据访问量的不平衡性会引起数据存储中心的访问瓶颈。以大规模密集型数据中的数据流为建模对象,提出了一种数据分配算法,它在保证数据存储中心负载平衡的基础上兼顾了密集型数据之间的依赖性。实验表明,相比于同类的数据分配算法,所提算法具有更好的综合表现,特别是在保证数据存储中心的负载平衡方面,效果突出。     

基于云计算的健康医疗大数据平台

中国新医改的大背景下,用互联网+、大数据等技术助推进行深化医改,让改革红利惠及更多群众,加快健康信息化资源体系建设,实现全区域数据共享、全过程业务监督、全方位数据分析、跨部门业务协同、全流程惠民服务的全面健康医疗大数据平台应运而生。平台运用大数据与云平台技术、OLAP多维分析、SOA体系结构,解决了制约平台建设的系统分割、业务流程不统一、以及纵向信息系统的“孤岛”问题。     

基于XML的多源多分辨率数据模型

对数据建模技术进行了拓展,构建了基于XML技术的多源多分辨率数据模型(XMM)．有效地访问多源数据只需进行归一化转换,而且支持多分辨率数据分析。进一步地从具体的应用中抽象出适用于动态处理的框架,在此基础上实现了基于XMM的原型系统。它允许应用程序在运行时动态扩展,使其一方面能够独立于应用程序．维护其自身的稳定性,另一方面又能够和应用程序有机地结合在一起。     

基于大学生精准资助的多源异构数据仓库系统研究

本文针对大学生精准资助设计多源异构数据仓库系统.首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析.此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平.