随机森林在运营商大数据补全中的应用

电信运营商有大量数据,但是鉴于多种原因,数据的质量不够理想,出现大量数据不完整甚至缺失。对于已有数据的挖掘,必须在数据满足质量要求且达到足够采样比例的前提下开展。依托现有的全国日志留存系统,设计完整数据的模板样库,鉴别不能满足质量要求的数据,使用随机森林算法,找到最符合的相同或相关数据,补全数据并提升数据质量;用回溯反馈的方法优化并扩充模板样库。在全国日志留存系统中构建数据补全子系统,实现端到端的数据质量保障和提升,补全并改善历史数据甚至实时数据的质量,最终满足数据处理和挖掘的要求,提升运营商数据质量和价值。     

数据标签在共享数据溯源中的应用研究

大数据时代,数据资产已成为企业的核心发展要素之一。一方面企业迫切希望能够将数据整合、分析和挖掘,以达到数据驱动业务、数据创新业务及实现业务转型的目标。另一方面,层出不穷的数据泄露事件制约着数据共享的进展。因此,急需一套数据共享管理体系,辅以数据共享技术管控措施,解决数据共享“不愿”“不敢”“不会”的三难问题。这种情形下,提出了一种基于数据标签的共享数据溯源方法,通过数据标签标记合法授权的数据共享信息流,结合数据共享规则特征库进行非法数据共享数据信息流的追踪溯源,并可对合法授权的数据共享信息流的违规操作进行追踪。     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

基于大数据技术的IT运维数据管理系统构建方法

随着各种信息系统的建设和应用的不断深入,信息系统所产生的监控数据成级数增长,海量运维数据的有效存储与实时分析处理成为企业所面临的新挑战。为此,文中提出了基于大数据技术的IT运维数据管理系统解决方案,该方案从逻辑上将数据管理系统分为数据集成、数据存储、数据计算、数据访问4层,层与层之间既独立又协作,充分发挥大数据技术在数据存储、并行计算、大规模数据分析挖掘等方面的优势,为信息中心海量数据的储存提供了高效的处理能力和统一的数据管理模式,并全面支撑数据分析的应用,促进智能运维的建设。     

嵌入式数据挖掘模型及其在银行卡业务中的应用

针对现有数据挖掘体系结构松散揭合、算法运行效率不高的问题,提出了嵌入式数据挖掘模型。该模型实现了算法的组件化管理,并将整个数据挖掘流程控制在数据库、数据仓库中,在简化数据挖掘过程的同时,大大提高了数据挖掘的效率。通过对几种典型数据挖掘算法在银行卡业务数据中的试验,证实了该模型的有效性和实用性。     

电力大数据质量评价模型及动态探查技术研究

针对电力数据数量多、种类庞杂、横跨专业多等特点而引起的数据质量不高的现状,该项目以数据中心数据为研究对象,通过分析产生数据质量问题的原因,以元数据、数据质量、数据建模等理论为基础,对数据流动过程中的质量检查、质量控制和质量评估等进行深入的研究。构建电力大数据质量评价指标体系,研究电力大数据质量实时监控、快速动态检测方法与关键技术,提出了适合于电力大数据数据质量控制与评估体系模型,实现数据质量管控平台开发,确保企业数据质量,提升数据应用价值。     

智慧城市数据中台设计与应用

随着城市信息化水平的不断提升,智慧城市建设应运而生。为解决智慧城市领域数据孤立、利用率低、分析指标零散的问题,设计了数据中台系统。通过设计数据抽取、数据加工、数据共享的服务架构,实现了数据中台的数据共享与交换。结合智慧楼宇的具体业务,设计数据分层架构和数据分析模型,验证了数据中台的可行性。数据中台系统可以深入地挖掘数据价值,提升业务数据服务水平,引领智慧城市业务向深层次发展。     

电力企业数据资产管理平台功能研究

信息和数据是智能电网建设实现电网资产高效利用和全寿命周期管理、电力用户与电网之间的便捷互动等目标的基础,公司运营分析和有效管理的核心资源,将数据进行资产化并进行有效管理,是后续数据分析、挖掘的基础,通过数据的分析挖掘可有效发现公司生产、运行及管理过程规律,提高企业数据共享交换范围和效率,为真正满足智能电网建设和发展奠定坚实的数据基础、为公司做出有效决策提供有利依据.数据资产管理平台功能方面主要包括数据资产管理需涉及的数据架构、数据生命周期管理、数据模型、数据标准管理、数据质量管理、主数据管理、元数据管理和数据安全管理等功能,为实现公司未来数据资产管理平台建设提供有力支撑.     

大数据环境下的网络安全分析

随着计算机技术和互联网技术的发展,数据正以指数速度迅速膨胀,海量的数据包括敏感数据、隐私数据等。大数据网络安全是一个综合性的课题,涉及技术、管理、使用等许多方面。本文介绍了大数据的国内外发展现状;分析了大数据的网络安全,包括物理安全、数据内容安全、数据传播安全、数据管理安全等;并讨论了大数据网络安全的防护措施,包括访问控制、数据加密、网络隔离、入侵检测、病毒防治、安全审计、数据备份、增强安全意识等;最后展望了大数据网络安全的情景。     

计算机网络中DES数据加密和解密技术

计算机网络中的数据总是通过介质传送，所以数据常常出现被截取、中断、篡改、伪造等安全性问题。随着数字签名、身份验证、数据加密技术的应用，数据安全问题得到了缓解，尤其是数据加密技术使网络数据传输更加安全。本文介绍了数据加密的一般原理，重点研究了计算机网络中DES数据加密过程，并对DES数据加密算法的安全性进行了探讨，同时研究了DES加密算法的安全性。     

数据交换平台中异构数据转换技术的研究

为了有效地解决数据交换时数据表示的通用性问题,使得数据在不同的业务系统间都能够被识别,本课题采用调查研究和文献研究相结合的方法,首先对淮北矿业集团各业务系统数据库中数据表进行统计和分析,重点分析了需要转换数据的类型和逻辑关系,总结出其所有数据转换的逻辑关系,然后参考现有文献资料中提出的数据转换模型,最后制定出有独创性的数据源标准和数据映射标准。并采用通用的数据描述语言——XML(eXtensive MakeupLanguage)将其主要部分表示出来。该数据标准有着数据表示范围超越数据表、数据转换的静态模型和动态模型相结合、数据表示和实体数据库相分离等特点。通过项目实践,证明了该标准能够解决数据表示的通用性问题,能够实现了数据在不同业务系统之间识别与转换。     

基于虚拟现实技术的激光传感器数据多维可视化方法

传统的基于WebVR的激光传感器数据多维可视化方法,基于几何模型的激光传感器数据多维可视化方法与基于三维GIS空间的激光传感器数据多维可视化方法均存在数据处理速度慢的问题,为此设计一种基于虚拟现实技术的激光传感器数据多维可视化方法。采集激光传感器数据,对数据预处理,利用八叉树方法对数据空间进行划分,并定义传递函数,目的是为了获得三维数据场的数据属性,建立三维对象渲染模型,根据虚拟现实技术中的点、线、面等构建模型,以此完成激光传感器数据多维可视化处理。实验对比结果表明此次设计的基于虚拟现实技术的激光传感器数据多维可视化方法比传统的三种方法处理速度快,能够快速地传递激光传感器数据信息。     

面向对象流程驱动的大数据集中管控模式

随着大数据时代的来临,数据快速增长,大规模并行处理和访问要求日益迫切,分区分域的数据存储、处理和应用架构已逐渐形成。企业迫切需要通过实现全网数据一体化运营管理,有效开展数据应用,保障数据质量,充分发挥数据对经营管理的价值。为此,提出了一种面向对象流程驱动的大数据集中管控模式,应用数据的生命周期方法,梳理出几大典型的数据对象,并通过规范化的流程来驱动数据的协同管理。     

基于智能化数据探索的数据质量管理方法

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据质量已成为影响数据要素发挥价值的重要因素。在政务领域,随着数据应用的深度和广度逐渐加强,数据质量问题已成为数据深化应用的制约因素。以数据质量管理相关理论为基础,以源头数据质量管控为手段,提出了基于智能化数据探索的数据质量管理方法,即通过数据质量管理激活数据资源价值,该方法在政务数据质量管理工作中具有借鉴意义。     

数据流聚类算法研究

近几年来,流数据成为主流的数据形式之一。如网络入侵监测数据,股票数据等都是不断变化的流数据。聚类作为数据挖掘领域的主要技术手段之一,因此流数据的聚类也受到了众多学者的广泛关注。而流数据不同于静态数据的特性给流数据的聚类带来了挑战。本文总结了传统数据的聚类算法和流数据聚类挖掘的研究方法,并提出了对未来将群智能应用于流数据聚类算法的展望。     

物联网环境下多方位传感器数据的关联性挖掘

Sensors are ubiquitous in the Internet of Things for measuring and collecting data. Analyzing these data derived from sensors is an essential task and can reveal useful latent information besides the data. Since the Internet of Things contains many sorts of sensors, the measurement data collected by these sensors are multi-type data, sometimes containing temporal series information. If we separately deal with different sorts of data, we will miss useful information. This paper proposes a method to discover the correlation in multi-faceted data, which contains many types of data with temporal information, and our method can simultaneously deal with multi-faceted data. We transform high-dimensional multi-faceted data into lower-dimensional data which is set as multivariate Gaussian Graphical Models, then mine the correlation in multi-faceted data by discover the structure of the multivariate Gaussian Graphical Models. With a real data set, we verifies our method, and the experiment demonstrates that the method we propose can correctly find out the correlation among multi-faceted measurement data.     

A Data Quality Management Maturity Model

Many previous studies of data quality have focused on the realization and evaluation of both data value quality and data service quality. These studies revealed that poor data value quality and poor data service quality were caused by poor data structure. In this study we focus on metadata management, namely, data structure quality and introduce the data quality management maturity model as a preferred maturity model. We empirically show that data quality improves as data management matures.     

基于知识图谱的安防数据中台智能化研究与应用

传统安防数据平台存在数据组织形式单一、数据管理困难、难以适用于复杂应用场景等问题.如何做好数据源管理,理清数据源之间的关系,有效利用数据价值,成为安防领域的迫切需求.本文设计了基于知识图谱的安防数据中台构建方法,利用知识图谱强大的实体描述、语义处理和互联组织等能力,将安防数据以接近人类思考的模式组织起来,并结合数据中台...     

基于激光传感器的数码管显示驱动电路控制方法研究

传统的数码管显示驱动电路控制方法电路控制有效度低,控制强度差,为了解决上述问题,基于激光传感器设计了一种新的数码管显示驱动电路的控制方法,首先利用激光传感器定位系统对驱动电路进行初步定位与分析,选择相应的操作系统进行数据筛选,过滤无关数据信息,减少系统操作步骤,提升系统工作效率,并采用OCR技术扫描仪对驱动电路进行数据扫描,了解电路数据的基础状态,进而实现数据获取与数据情况处理操作,并将数据进行分类,追踪数据所处位置,调节数据查找手段,选取电路信息数据进行数据目标标定,结合获取数据进行最终的驱动电路控制,掌握数据信号信息,整合数据控制条件,并按照电路数据处理准则进行数据协同对比,达到对数码管显示驱动电路控制的目的。实验结果表明,该方法能够在较高程度上解决了数据系统的操作问题,能够较好地对数据进行筛选与处理,增强数据系统的自主保护能力,提高系统运行效率,减少操作性浪费,能够为使用者提供便利的操作服务。     

大数据时代下的数据安全防护——以数据安全治理为中心

大数据时代,数据泄露事件层出不穷,数据安全已经成为阻碍大数据发展的主要因素之一。因此,确保大数据时代下敏感数据的安全尤为重要。针对大数据安全所面临的挑战,提出以数据安全治理为中心的安全防护方案,重点从数据全生命周期的角度阐述了数据流转每个环节中的安全风险以及防护措施,为大数据环境下敏感数据的安全提供全方位的保障。