数据清理中同体不同源数据的数化算法研究

在数据仓库构建的数据清理过程中,同体不同源数据的发现一直是清理过程的难点。在现实情况下,存在的单一实体在不同的数据源中以不同的方式进行存储或者表达的同体不同源数据,传统数据清理技术对其发现、修正需要花费大量的时间和系统资源进行比较,实际效果并不理想。该文提出一种新型的、利用数据数字化存储特点来查找同体不同源数据的算法,能够有效减少数据间的比较次数,并确保数据清理结果的质量。     

数据增量探测技术在电子地图更新中的应用

文章介绍了地图数据更新的目的和方法,以及数据增量探测与数据更新技术的关系.在AutoCAD 2007开发环境下,对地图数据不同版本间的增量进行探测和记录,实现地图数据快速准确更新.     

用户数据的迁徙

不同平台云盘文件的数据迁移，也分相同类别云盘和不同类别云盘问数据迁移两种情况；而相同类别云盘数据迁移又分同一账号和不同账号两种情况；迁移的数据又分为本地同步数据和云端的数据。     

先进数据技术

程序的能力在处理数据,大数据新潮流的基础同样是数据技术。先进数据技术深刻清晰地宣言和播种脚下的疆土:数据定位技术包括存储定位和处理定位,即找到一个数据、组织数据;数据映射技术实质是确定数据之间的关系,演绎目标数据映射和计算映射;数据处理范围则是数据操作所对应的相关数据范围的定界,确定数据处理时所对应的不同数据的范围;并行多序归纳了同步处理数据的算法构成主序的方法;数据动态组织在与静态组织的不同中灵活地建立数据处理的高效率运行结构;数据集合扩展方法证明选择新元素与道路的向前延伸相同;数据子集合的特征以kMP算法为代表,通过发现子集合特征以保存前边操作的结果。先进数据技术为程序设计的数据处理提供了轻灵而坚实的技术基础。     

异构数据迁移方法研究

企业的信息管理系统更新时,经常会遇到不同数据库系统之间的数据互访和转换的问题,这种异构数据库数据转换和迁移的问题已经成为数据库技术领域重要的研究课题之一。该文根据数据存储特点,讨论了数据迁移的内容和实现方法,并给出迁移质量分析方法,为数据迁移的开发与研究提供指导。     

科研大数据发展状况探讨

科研正迈入大数据时代,大数据有望改变或重构传统的科学探索和科技创新模式,形成全新的科研业态。通过立法推动科研数据输出,构建平台与中心以促成科研数据开放与共享,建立评估机制以保证科研数据质量、推动不同学科与专业间数据融合和关联,体现大数据的作用与价值、大数据带动的科研新热点等,对近两年科研大数据的发展状况进行论述。     

数据可视化在企业的应用研究

企业本身有大量的数据,每月企业领导都会跟企业数据打交道,数据本身枯燥、乏味,阅读起来需要花较大的时间来梳理、思考.而通过数据可视化技术,可有效实现数据管理,借助于可视化手段,能够清晰有效地传达沟通信息.对于数据之间的逻辑关系、变化趋势、分布情况等通过数据可视化技术可以直观地进行展现,并对相关数据指标加以关注,从而能够对不同的业务层级、不同业务之间的关联数据进行便捷管理.     

用PowerBuilder实现数据转换

《计算机时代》１９９８．１２（总第７８期）中介绍了用Ｅｘｃｅｌ获取外部数据，用ＰｏｗｅｒＢｕｉｌｄｅｒ实现数据转换。的确，当前在工作中很可能应用不同的软件，甚至不同的数据管理系统。有时数据明明存放在某一库中，另一软件却无法使用。因而数据在不同的库间，...     

基于DRM的政务数据调度模型研究与实现

为了保证政务信息资源有效共享与交换,实现政务部门不同业务系统、不同类型政务数据转换和重用,最终构建政务一体化.基于电子政务5大参考模型中的数据参考模型(data reference model,DRM)和数据集成方式论述数据调度规范标准的相关内容,提出了一种政务系统数据调度框架模型.该模型能够有效的指导政务数据资源的规划和实施,已成功应用于某直辖市某区数据调度中心系统.     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

数据汇聚与发布服务在水环境实时监控系统中的应用

以“苏州市古城区水环境实时监控系统”为背景,基于智能Agent和Web服务的思想,提出了一类数据汇聚与发布服务的模型并予以实现。数据汇聚子模块收集来自不同单位、不同地点、不同监测仪及采用不同测试方法所得到的数据,主要解决数据格式不一致及同一监测项多数据源的融合等问题;数据发布子模块为不同权限的用户提供不同程度、不同形式的数据共享。所实现的数据汇聚与发布服务具有良好的可扩展性和互操作性,适用于大规模的水环境分布式应用。     

MIS系统中不同数据平台数据集成技术的实现

本文针对MIS系统中不同数据平台数据的集成，在Ⅶ中通过OLE、DAO对象和ADO对象，从而实现不同数据平台之间的数据读取，为当前不同数据平台系统的集成提供了一种典型的解决方案。并给出了一个实例。     

远程复制系统数据一致性研究与实现

针对远程数据复制容灾系统中的数据一致性问题,提出了保证数据一致性和视图一致性并优化系统性能的实现思想,即使用日志卷记录用户请求顺序,通过保持主、从两端数据卷上数据块的更新顺序来保证数据一致性,对于不同的数据类型采用不同的传输方法。论述了它的组织结构、实现流程以及关键技术。     

基于资料管理软件的电子数据资料整理方法探讨

将电子数据资料划分为结构化数据和非结构化数据进行分类整理,结构化数据可以分为矢量、栅格、表格数据,非结构化数据主要是报告、图件以及其他多媒体数据。根据不同的数据类型,划分不同的物理存储空间,对标准的格式化数据,建立数据库进行存放,对于非标准的数据建立目录信息,根据目录位置进行存放。在数据资料整理入库后,便于资料的管理,极大提高数据的利用率。     

基于数据密度分布的欠采样方法研究*

针对传统欠采样方法对不平衡数据集重采样时,容易丢失多数类样本信息的问题,本文提出一种基于数据密度分布的欠采样方法US-DD,该方法引入数据密度的概念,并以此概念为依据将数据划分为高密度数据簇和低密度数据簇,高密度数据簇数据高度集中,低密度数据簇数据稀疏松散,两种不同数据簇对分类的意义也不同,因此可以针对不同密度的数据簇,执行不同的重采样策略,以达到改善数据平衡度的目的。实验通过选取6组UCI数据集,采用C4.5决策树、支持向量机作为分类器,将US-DD与随机欠采样、KNN-NearMiss等方法进行比较,实验结果表明,该方法对不平衡数据分类有较好的效果,能有效提升分类器对少数类的识别性能。     

不完备或缺失数据及其填补方法研究

本文总结了缺失数据产生的原因及处理缺失数据的重要性,分析讨论了针对不同缺失数据类型的处理方法、策略;给出了缺失数据填补的标准原则,即填补数据应当使决策表尽量产生高支持度、高置信度的规则     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

多源异构数据整编系统的设计和实现

随着各行各业信息系统的不断建设发展,信息资源总量急剧膨胀,不同行业、不同部门之间的数据壁垒现象也越来越严重,大大增加了数据信息整编工作量以及复杂程度。分析了多源异构数据的特点及导致数据壁垒的原因,结合数据整编业务的实际需求,提出了一种面向多源异构数据的整编系统,并阐述了该整编系统的模型框架及实现方式。     

异构数据库间的数据集成

针对不同数据库之间的产品,给出了Ｐｏｗｅｒｂｕｉｌｄｅｒ与不同数据库之间的连接方法,动态地生成数据管理及数据窗口,以实现异构数据库之间数据集成。     

可视化的数据标准化转换系统的设计与研究

数据采集的源数据来源于不同领域建立的不同的信息管理系统,数据的格式多样化,对于统一数据管理带来诸多不便,为统一化、规范化数据采集得到的数据,本文研究和设计了一个可视化的数据标准化转换系统.该系统采用可自定义的数据规则,通过建立数据源与元数据模型的逻辑映射,将非标准的源数据转换成标准的目标数据.其数据标准化转换系统具有通用性、快速性的特点,可应用于其它领域的数据采集工作.