随机森林在运营商大数据补全中的应用

电信运营商有大量数据,但是鉴于多种原因,数据的质量不够理想,出现大量数据不完整甚至缺失。对于已有数据的挖掘,必须在数据满足质量要求且达到足够采样比例的前提下开展。依托现有的全国日志留存系统,设计完整数据的模板样库,鉴别不能满足质量要求的数据,使用随机森林算法,找到最符合的相同或相关数据,补全数据并提升数据质量;用回溯反馈的方法优化并扩充模板样库。在全国日志留存系统中构建数据补全子系统,实现端到端的数据质量保障和提升,补全并改善历史数据甚至实时数据的质量,最终满足数据处理和挖掘的要求,提升运营商数据质量和价值。     

基于元数据的动态数据需求定制中间件设计

文中利用元数据作为中介,基于数据集成的中介模式设计了一种基于元数据的数据需求定制中间件。利用元数据作为数据源和数据需求之间的中介,完成异构的原始数据到统一的数据视图再到需求数据之间的数据格式转换与集成操作,并能够支持运行时的数据源结构修改和数据需求变更的操作。     

数据标签在共享数据溯源中的应用研究

大数据时代,数据资产已成为企业的核心发展要素之一。一方面企业迫切希望能够将数据整合、分析和挖掘,以达到数据驱动业务、数据创新业务及实现业务转型的目标。另一方面,层出不穷的数据泄露事件制约着数据共享的进展。因此,急需一套数据共享管理体系,辅以数据共享技术管控措施,解决数据共享“不愿”“不敢”“不会”的三难问题。这种情形下,提出了一种基于数据标签的共享数据溯源方法,通过数据标签标记合法授权的数据共享信息流,结合数据共享规则特征库进行非法数据共享数据信息流的追踪溯源,并可对合法授权的数据共享信息流的违规操作进行追踪。     

基于大数据技术的IT运维数据管理系统构建方法

随着各种信息系统的建设和应用的不断深入,信息系统所产生的监控数据成级数增长,海量运维数据的有效存储与实时分析处理成为企业所面临的新挑战。为此,文中提出了基于大数据技术的IT运维数据管理系统解决方案,该方案从逻辑上将数据管理系统分为数据集成、数据存储、数据计算、数据访问4层,层与层之间既独立又协作,充分发挥大数据技术在数据存储、并行计算、大规模数据分析挖掘等方面的优势,为信息中心海量数据的储存提供了高效的处理能力和统一的数据管理模式,并全面支撑数据分析的应用,促进智能运维的建设。     

基于智能化数据探索的数据质量管理方法

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据质量已成为影响数据要素发挥价值的重要因素。在政务领域,随着数据应用的深度和广度逐渐加强,数据质量问题已成为数据深化应用的制约因素。以数据质量管理相关理论为基础,以源头数据质量管控为手段,提出了基于智能化数据探索的数据质量管理方法,即通过数据质量管理激活数据资源价值,该方法在政务数据质量管理工作中具有借鉴意义。     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

数据流聚类算法研究

近几年来,流数据成为主流的数据形式之一。如网络入侵监测数据,股票数据等都是不断变化的流数据。聚类作为数据挖掘领域的主要技术手段之一,因此流数据的聚类也受到了众多学者的广泛关注。而流数据不同于静态数据的特性给流数据的聚类带来了挑战。本文总结了传统数据的聚类算法和流数据聚类挖掘的研究方法,并提出了对未来将群智能应用于流数据聚类算法的展望。     

数据轮广播的数据结构分析和设计

数据轮是数据广播的重要方式,对于数据轮数据结构进行分析是实现数据广播服务器以及实现数据广播接收的关键.详细说明数据轮数据广播方式的整体结构和各个数据结构的特点,讨论实现数据轮广播方式的各个关键数据结构之间的相互关联关系,以利于数据轮发端、收端的数据一致性.最后针对数据轮数据结构的特点,对实现数据轮数据广播方式的设计提出一些建议.     

电力大数据质量评价模型及动态探查技术研究

针对电力数据数量多、种类庞杂、横跨专业多等特点而引起的数据质量不高的现状,该项目以数据中心数据为研究对象,通过分析产生数据质量问题的原因,以元数据、数据质量、数据建模等理论为基础,对数据流动过程中的质量检查、质量控制和质量评估等进行深入的研究。构建电力大数据质量评价指标体系,研究电力大数据质量实时监控、快速动态检测方法与关键技术,提出了适合于电力大数据数据质量控制与评估体系模型,实现数据质量管控平台开发,确保企业数据质量,提升数据应用价值。     

智慧城市数据中台设计与应用

随着城市信息化水平的不断提升,智慧城市建设应运而生。为解决智慧城市领域数据孤立、利用率低、分析指标零散的问题,设计了数据中台系统。通过设计数据抽取、数据加工、数据共享的服务架构,实现了数据中台的数据共享与交换。结合智慧楼宇的具体业务,设计数据分层架构和数据分析模型,验证了数据中台的可行性。数据中台系统可以深入地挖掘数据价值,提升业务数据服务水平,引领智慧城市业务向深层次发展。     

大数据环境下的网络安全分析

随着计算机技术和互联网技术的发展,数据正以指数速度迅速膨胀,海量的数据包括敏感数据、隐私数据等。大数据网络安全是一个综合性的课题,涉及技术、管理、使用等许多方面。本文介绍了大数据的国内外发展现状;分析了大数据的网络安全,包括物理安全、数据内容安全、数据传播安全、数据管理安全等;并讨论了大数据网络安全的防护措施,包括访问控制、数据加密、网络隔离、入侵检测、病毒防治、安全审计、数据备份、增强安全意识等;最后展望了大数据网络安全的情景。     

Validity as a Measure of Data Quality in Internet of Things Systems

Data quality became significant with the emergence of data warehouse systems. While accuracy is intrinsic data quality, validity of data presents a wider perspective, which is more representational and contextual in nature. Through our article we present a different perspective in data collection and collation. We focus on faults experienced in data sets and present validity as a function of allied parameters such as completeness, usability, availability and timeliness for determining the data quality. We also analyze the applicability of these metrics and apply modifications to make it conform to IoT applications. Another major focus of this article is to verify these metrics on aggregated data set instead of separate data values. This work focuses on using the different validation parameters for determining the quality of data generated in a pervasive environment. Analysis approach presented is simple and can be employed to test the validity of collected data, isolate faults in the data set and also measure the suitability of data before applying algorithms for analysis. On analyzing the data quality of the two data sets on the basis of above-mentioned parameters. We show that validity for data set 1 was found to be 75% while it was found to be 67% only for data set 2. Availability and data freshness metrics performance were analyzed graphically. It was found that for data set 1, data freshness was better while availability metric was found better for data set 2. Usability obtained for data set 2 was 86% which was higher as compared to data set 1 whose usability metric was 69%. Thus, this work presents methods that can be leveraged for estimating data quality that can be beneficial in various IoT based industries which are essentially data centric and the decisions made by them depends upon the validity of data.

     

DDC-OMDC: Deadline-based data collection using optimal mobile data collectors in Internet of Things

Mobile data collectors (MDCs) are very efficient for data collection in internet of things (IoT) sensor networks. These data collectors collect data at rendezvous points to reduce data collection latency. It is paramount to determine these points in an IoT network to collect data in real time. It is important to consider IoT network characteristics to collect data on a specific deadline. First, the disconnected IoT sensor network is a real challenge in IoT applications. Second, it is essential to determine optimal data collection points (DCPs) and MDCs simultaneously to collect data in real time. In this study, Deadline-based Data Collection using Optimal Mobile Data Collectors (DDC-OMDC) scheme is proposed that aims to collect data in a disconnected network with the optimal number of mobile data collectors in a specific deadline for delay-intolerant applications. DDC-OMDC works in two phases. In the first phase, the optimal number of MDCs is determined to collect data at the optimal data collection points to guarantee one-hop data collection from each cluster. The optimal mobile data collectors are determined using optimal DCPs, data collection stopping time, and a specific deadline. In the second phase, the optimal data collection trajectory is determined for each MDC using the nearest neighbor heuristic algorithm to collect data in real time. The simulation results show that the proposed scheme outperforms in collecting data in real time and determines optimal mobile data collectors and optimal data collection trajectory to collect data in a specific deadline for delay-intolerant applications.     

电力企业数据资产管理平台功能研究

信息和数据是智能电网建设实现电网资产高效利用和全寿命周期管理、电力用户与电网之间的便捷互动等目标的基础,公司运营分析和有效管理的核心资源,将数据进行资产化并进行有效管理,是后续数据分析、挖掘的基础,通过数据的分析挖掘可有效发现公司生产、运行及管理过程规律,提高企业数据共享交换范围和效率,为真正满足智能电网建设和发展奠定坚实的数据基础、为公司做出有效决策提供有利依据.数据资产管理平台功能方面主要包括数据资产管理需涉及的数据架构、数据生命周期管理、数据模型、数据标准管理、数据质量管理、主数据管理、元数据管理和数据安全管理等功能,为实现公司未来数据资产管理平台建设提供有力支撑.     

基于知识图谱的安防数据中台智能化研究与应用

传统安防数据平台存在数据组织形式单一、数据管理困难、难以适用于复杂应用场景等问题。如何做好数据源管理,理清数据源之间的关系,有效利用数据价值,成为安防领域的迫切需求。本文设计了基于知识图谱的安防数据中台构建方法,利用知识图谱强大的实体描述、语义处理和互联组织等能力,将安防数据以接近人类思考的模式组织起来,并结合数据中台具备打通安防行业固有多业务系统之间的数据壁垒、融合各业务系统产生的多源异构数据的特性,对传统的安防大数据平台进行了形式重组和架构优化。实现从数据采集、数据管理、数据分析、数据应用的全生命周期高效管理,有效的提升了智能化安防水平。     

数据交换平台中异构数据转换技术的研究

为了有效地解决数据交换时数据表示的通用性问题,使得数据在不同的业务系统间都能够被识别,本课题采用调查研究和文献研究相结合的方法,首先对淮北矿业集团各业务系统数据库中数据表进行统计和分析,重点分析了需要转换数据的类型和逻辑关系,总结出其所有数据转换的逻辑关系,然后参考现有文献资料中提出的数据转换模型,最后制定出有独创性的数据源标准和数据映射标准。并采用通用的数据描述语言——XML(eXtensive MakeupLanguage)将其主要部分表示出来。该数据标准有着数据表示范围超越数据表、数据转换的静态模型和动态模型相结合、数据表示和实体数据库相分离等特点。通过项目实践,证明了该标准能够解决数据表示的通用性问题,能够实现了数据在不同业务系统之间识别与转换。     

A Data Quality Management Maturity Model

Many previous studies of data quality have focused on the realization and evaluation of both data value quality and data service quality. These studies revealed that poor data value quality and poor data service quality were caused by poor data structure. In this study we focus on metadata management, namely, data structure quality and introduce the data quality management maturity model as a preferred maturity model. We empirically show that data quality improves as data management matures.     

嵌入式数据挖掘模型及其在银行卡业务中的应用

针对现有数据挖掘体系结构松散揭合、算法运行效率不高的问题,提出了嵌入式数据挖掘模型。该模型实现了算法的组件化管理,并将整个数据挖掘流程控制在数据库、数据仓库中,在简化数据挖掘过程的同时,大大提高了数据挖掘的效率。通过对几种典型数据挖掘算法在银行卡业务数据中的试验,证实了该模型的有效性和实用性。     

交通大数据环境下的数据治理策略

随着科技的进步，大数据在交通领域中的应用日益广泛，如流量预测、拥堵管理、安全和智能系统等。然而，大数据的海量、高速、多样性和低价值密度也带来了一定的挑战，如数据存储、处理、整合、清洗、质量、准确性、安全性和隐私保护等。因此，数据治理显得尤为重要。数据治理是对数据的全面管理和运营，对于交通大数据环境而言，其重要性尤为突出。良好的数据治理策略可以提升数据管理成效，提高数据的质量和准确性，保障数据安全和隐私，增加数据的应用价值。文中提出了一套交通大数据的数据治理策略，包括数据质量管理、数据集成、数据安全和隐私保护、数据存储和处理、元数据管理等，以期实现更好的数据治理效果。     

基于激光传感器的数码管显示驱动电路控制方法研究

传统的数码管显示驱动电路控制方法电路控制有效度低,控制强度差,为了解决上述问题,基于激光传感器设计了一种新的数码管显示驱动电路的控制方法,首先利用激光传感器定位系统对驱动电路进行初步定位与分析,选择相应的操作系统进行数据筛选,过滤无关数据信息,减少系统操作步骤,提升系统工作效率,并采用OCR技术扫描仪对驱动电路进行数据扫描,了解电路数据的基础状态,进而实现数据获取与数据情况处理操作,并将数据进行分类,追踪数据所处位置,调节数据查找手段,选取电路信息数据进行数据目标标定,结合获取数据进行最终的驱动电路控制,掌握数据信号信息,整合数据控制条件,并按照电路数据处理准则进行数据协同对比,达到对数码管显示驱动电路控制的目的。实验结果表明,该方法能够在较高程度上解决了数据系统的操作问题,能够较好地对数据进行筛选与处理,增强数据系统的自主保护能力,提高系统运行效率,减少操作性浪费,能够为使用者提供便利的操作服务。