移动型数据与静态型数据的混合聚类算法

针对移动型数据与静态型数据同时存在的混合数据聚类问题,提出了混合数据聚类MMPSP算法.首先分析了包含静态型数据集与只有一个移动型数据的混合数据聚类问题,再扩展到包含静态型数据集与移动型数据集的混合数据聚类问题.混合数据聚类研究中对两种类型的数据分别进行聚类处理,即对静态型数据聚类处理得到静态簇,对移动型数据聚类处理得...     

斜井有杆泵数据挖掘系统中的预处理设计

利用数据挖掘可以优化有杆泵系统的生产管理方案,其数据挖掘目标值宜定为单井生产成本。挖掘数据应是包括油层基础数据、井眼轨迹数据、井下流体数据、井下工具数据、井下作业数据、地面设备数据、日常生产数据等7大类数据在内的所有相关数据。在数据预处理设计中,应进行数据的标准化处理、过滤噪声数据、数据单位的规范化处理、表达术语的统一化处理、成本量化处理等工作。     

自标准数据及其在数据交换中的应用

为弥补数据交换实际应用中交换标准的不足,本文首次提出了"自标准数据"、"数据港口"、"数据码头"和"数据泵"的观点。为提供更加灵活的数据提供方式,数据提供者可以"自标准化"所提供的数据,并将这些数据存放在数据港口;对于数据消费者,可以利用数据泵从数据港口获取并解析出所需要的数据。文中对自标准数据的定义、特性、产生的背景、基于自标准数据和数据港口的数据交换的技术架构以及应用的领域等进行了论述。原型系统实现及企业应用验证了自标准数据和数据港口技术的有效性和可行性。     

高校智慧校园数据治理的研究与应用

高校各部门之间数据纵横交错,数据与数据之间难以互联互通,很难实现数据的共享利用,客观上造成了数据孤岛问题,无法充分发挥数据价值。针对上述问题,从数据治理面临缺少顶层的统筹规划、数据质量差、数据服务能力不足等问题出发,通过建设智慧校园数据治理构建数据服务平台方式,提出切实可行的解决方案,为建设智慧校园数据治理提供更多可能性。     

事务数据向数据仓库转移的方法

数据转移是联结事务型数据环境和决策支持环境的纽带，对这一技术的研究有着重要意义。从讨论数据转移面临的问题开始，逐步就数据抽取、数据净化、数据转换和数据集成等数据转移的重要环节进行深入的探讨，给出了若干数据转移问题的解决方法和实现实例。     

基于虚拟视图的数据集成方法研究及其应用

传统虚拟数据库产品在数据集成中存在着系统配置过程、数据查询过程复杂及数据大量复制移动等问题.针对这些问题,提出一种基于虚拟视图的多源数据集成方法.该方法利用分类包装器对底层物理数据进行包装和转换,统一异构数据源访问接口、把底层的数据转换为统一的数据模型.在上层保持原物理数据不变的情况下,建立物理数据局部虚拟数据视图和全局虚拟数据视图、建立数据映射字典,无需进行数据的复制和移动就能为用户提供统一的数据查询接口,使其能在各个系统中查询信息.实验证明,该方法解决了多源数据集成过程中的同名异义及异名同义问题,简化了数据集成的查询定义过程,有效地实现了多源异构数据的集成.     

装备数据应用基本问题探析

分析了装备数据、装备数据应用、装备数据服务等基本概念的内涵,研究了通用装备数据应用、平时装备数据应用、战时装备数据应用、演习演练装备数据应用、非战争军事行动装备数据应用5种装备数据的应用模式;建立了装备数据应用体系框架,分析了各组成部分的功能及相互关系。     

基于谱聚类的多维数据集异常数据检测方法

针对多维数据集异常数据检测过程中未对多维数据集进行降维处理,导致多维数据集中异常数据检测精度较低、误检率较高、检测时间较长的问题,提出一种基于谱聚类的多维数据集异常数据检测方法。首先,通过拉普拉斯矩阵对多维数据集中的数据进行聚类,初步分类数据;其次,采用局部线性嵌入（LLE）算法对分类后的数据进行降维处理,用特征向量表达高维数据集,去除多维数据集中的冗余信息;最后,将处理后的多维数据集输入到支持向量机模型中,根据回归估计值的计算,完成异常数据的检测。实验结果表明,本文算法进行多维数据集中异常数据检测的精度更高、误检率更低,检测时间较短。     

海量多文件存储模式的CNSDTF-DEM数据转换方法研究

区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来的格式转换与数据合并的问题展开研究,分析CNSDTFDEM数据与USGS-DEM数据的存储结构,采用C#程序设计语言实现了海量CNSDTF-DEM数据向USGSDEM数据的自动批量转换,并在ArcGIS软件平台下采用VBA宏语言将USGS-DEM数据批量转换为可直接读取的img格式的数据,为区域高分辨率DEM数据的应用提供了便利.     

大数据安全保护技术

大数据技术的发展和应用对国家的治理模式、企业的决策架构、商业的业务策略以及个人的生活方式都产生了深远影响。但是,大量数据的汇集不仅加大了用户隐私泄露的风险,而且大数据中包含的巨大信息和潜在价值吸引了更多的潜在攻击者。此外,大数据的应用是跨学科领域集成的应用,引入了很多新的技术,可能面临更多更高的风险。作者回顾了大数据的定义和特征,提出大数据架构和大数据安全体系,在此基础上分析大数据安全在法律法规、标准、数据生命周期保护和大数据平台4个方面的研究进展。梳理美国、欧盟、中国等在大数据安全方面的法律法规现状和国际标准化组织、美国、中国等大数据安全标准化研究现状。大数据在生命周期过程中需要大数据平台为其提供支撑,以实现大数据的收集、传输、存储和分析等功能。从大数据生命周期和大数据平台两个维度分析大数据面临的安全问题和关键技术研究现状。生命周期包括收集、存储、使用、分发和删除5个阶段。收集阶段的数据质量决定了数据价值,提升数据质量的技术手段主要有数据与模型不一致性的检测、数据清洗两类。大数据分发将处理后的大数据传递给外部实体,隐私保护或敏感信息保护至关重要,相关的关键技术有数据匿名化、支持隐私保护的数据检索和分析等。大数据的管理主要包含元数据管理、数据血缘管理等方面,可以为有效使用大数据和确保大数据安全提供支持。大数据平台安全主要解决大数据组件之间的身份认证、数据隔离、数据加密存储、大数据平台边界保护和审计,主要的关键技术有身份认证、访问控制、数据加密和审计等。目前,在国际上仍缺乏完善的大数据安全标准体系,在隐私保护、数据共享和数据跨境传输等方面缺乏标准的规范和指导。大数据分析技术仍处于快速发展阶段,很难预测今后的大数据关联分析对隐私保护和敏感信息保护带来的问题,因此,现有的数据脱敏技术和隐私保护技术有待进一步研究。数据同态加密实现了分析数据时不暴露数据隐私和敏感信息,现有的同态加密算法还远未成熟。现有的大数据平台的身份认证、数据加密、访问控制仍采用的传统技术,不能适应大数据面临的数据规模大、处理逻辑复杂、用户量大等新环境。一些大数据安全关键技术在性能和可用性方面还值得深入研究,以期可早日投入实际应用。另外,使用大数据处理技术研发安全态势感知、网络安全入侵检测、威胁情报分析等安全应用,利用大数据技术抵御针对大数据的攻击威胁也已成为大数据安全领域新的研究热趋势。大数据安全的发展需要法律法规、标准和关键技术的共同支撑和推动。     

基于虚拟中心数据源的飞机装配数据集成

为了解决飞机装配数据中存在的多源异构问题，促进数据共享和充分利用，提出基于虚拟中心数据源的飞机装配数据集成方法.通过在所有局部数据源之上构建一个虚拟中心数据源，解决飞机装配数据的多源异构问题并改善数据的可访问性.将飞机装配数据分为装配对象数据、装配系统数据和装配任务数据3类.提出5层支全局系统数据模型，建立全局统一的索引规则，持数据请求者无歧义地表达数据需求，避免出现语义异构问题.对提出的数据集成方法进行软件实现，构建了装配数据集成中间件，并利用该中间件实现外翼翼盒装配的数据集成.进行中间件的应用验证与测试，结果表明数据集成中间件能够以毫秒级额外数据访问时间为代价，实现多源异构飞机装配数据的集成，改善多源异构数据的可访问性，具有较高的并发性能.     

数据挖掘中的数据准备工作

提出数据准备的一些原则，讨论了数据准备工作的内容，包括数据选择、数据清洗、数据集成、数据约简、数据转换等几个方面，并根据不同的内容给出了相关的处理办法和一些分析工具。     

基于层级设计的输变电工程数据存储架构

针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算法的数据迁移方法实现海量数据的迁移,使用不同配置的数据存储中心进行仿真与测试.结果表明,所提出的存储架构和数据迁移方法能有效解决海量输变电工程数据存储的问题,提升输变电工程数据存储系统的性能.     

GIS数据建库与地图制图一体化方案研究与实现

为了满足地图制图和数据入库的需要,传统的解决方案往往是同时存储两套数据,增加了数据冗余,提高了数据维护成本.以AutoCAD数据入库到ArcGIS Geodatabase数据库为例,提出了数据建库和地图制图一体化的方案.基于数据库设计实现了数据编辑、转换、入库的一体化控制,通过设计要素表达规则和开发地图制图系统,实现了从数据库数据派生制图数据,实现了入库数据和制图数据的一体化管理,达到了一库两用的目的,避免了数据的重复建设.     

基于数据库集群的飞参数据分布存储技术研究

针对飞参数据量快速增加及用于查询和分析的数据使用特点,提出采用数据库集群存储飞参数据的分布式数据存储方案;提出一种按照飞机故障分析的数据使用特征进行数据分区的飞参数据划分方法。实验结果显示,这种存储方案缩短了查询响应时间。结论是利用数据库集群存储飞参数据,支持对飞参数据的并行访问,飞参数据的存储扩充容易;按照故障分析属性的数据分区策略提高了故障分析时飞参数据的查询效率。     

基于5点数据手套的虚拟手精确控制方法

数据手套中的传感器数目直接决定数据手套的价值。为了能够使传感器较少的数据手套达到传感器较多的数据手套同样的精确控制能力,以5点数据手套为研究对象,提出了精确的数据手套的控制方法,达到了14点数据手套的控制能力,大幅度提高了数据手套的应用范围,有效降低了数据手套的使用成本。     

大数据安全保护技术

大数据技术的发展和应用对国家的治理模式、企业的决策架构、商业的业务策略以及个人的生活方式都产生了深远影响。但是,大量数据的汇集不仅加大了用户隐私泄露的风险,而且大数据中包含的巨大信息和潜在价值吸引了更多的潜在攻击者。此外,大数据的应用是跨学科领域集成的应用,引入了很多新的技术,可能面临更多更高的风险。作者回顾了大数据的定义和特征,提出大数据架构和大数据安全体系,在此基础上分析大数据安全在法律法规、标准、数据生命周期保护和大数据平台4个方面的研究进展。梳理美国、欧盟、中国等在大数据安全方面的法律法规现状和国际标准化组织、美国、中国等大数据安全标准化研究现状。大数据在生命周期过程中需要大数据平台为其提供支撑,以实现大数据的收集、传输、存储和分析等功能。从大数据生命周期和大数据平台两个维度分析大数据面临的安全问题和关键技术研究现状。生命周期包括收集、存储、使用、分发和删除5个阶段。收集阶段的数据质量决定了数据价值,提升数据质量的技术手段主要有数据与模型不一致性的检测、数据清洗两类。大数据分发将处理后的大数据传递给外部实体,隐私保护或敏感信息保护至关重要,相关的关键技术有数据匿名化、支持隐私保护的数据检索和分析等。大数据的管理主要包含元数据管理、数据血缘管理等方面,可以为有效使用大数据和确保大数据安全提供支持。大数据平台安全主要解决大数据组件之间的身份认证、数据隔离、数据加密存储、大数据平台边界保护和审计,主要的关键技术有身份认证、访问控制、数据加密和审计等。目前,在国际上仍缺乏完善的大数据安全标准体系,在隐私保护、数据共享和数据跨境传输等方面缺乏标准的规范和指导。大数据分析技术仍处于快速发展阶段,很难预测今后的大数据关联分析对隐私保护和敏感信息保护带来的问题,因此,现有的数据脱敏技术和隐私保护技术有待进一步研究。数据同态加密实现了分析数据时不暴露数据隐私和敏感信息,现有的同态加密算法还远未成熟。现有的大数据平台的身份认证、数据加密、访问控制仍采用的传统技术,不能适应大数据面临的数据规模大、处理逻辑复杂、用户量大等新环境。一些大数据安全关键技术在性能和可用性方面还值得深入研究,以期可早日投入实际应用。另外,使用大数据处理技术研发安全态势感知、网络安全入侵检测、威胁情报分析等安全应用,利用大数据技术抵御针对大数据的攻击威胁也已成为大数据安全领域新的研究热趋势。大数据安全的发展需要法律法规、标准和关键技术的共同支撑和推动。     

通过核心/边缘网络表征COVID-19射线图像的分散模式

传统的数据分类任务中,每个类别内的数据特征之间都呈现一定程度的相似性,即每个类别内的数据特征都呈现出规则的模式.然而现实世界的数据分类任务中,通常情况下,正常数据样本的数据特征之间很相似,并且呈现出规则的模式,而异常数据样本的数据特征之间差别很大,并且没有呈现出规则的模式.传统的分类任务与现实世界的数据分类任务中数据模...     

基于分区和分区重组的多不良数据辨识

在电力系统状态估计中,存在多个相关不良数据时,对不良数据的辨识就会比较困难,本文通过对电网分区,对不良数据进行了检测,对于存在不良数据的区域,通过区域的重组对不良数据进行了辨识。解决了存在多不良数据时的不良数据辨识问题,使得存在多个不良数据时不良数据辨识及状态估计结果的可靠性大大提高。     

通用数据标准制定方法的研究

本文在进一步完善通用数据标准中的数据需求的定义、数据清单的产生、数据标准的制定和数据标准的审定的基础上,研究了通用数据标准的制定方法和流程,可以做为保证数据仓库的数据一致性方面工作的实例,为企业业务系统建设中做好统一数据规划提供了很好的思路和借鉴。