浅谈大数据时代运营商数据平台转型及应用引入

伴随移动互联网的快速发展,数据以爆炸式增长,我们进入了大数据时代.大数据时代的来临,运营商传统的数据平台转型越来越迫切.本文在对当今主流大数据技术研究和分析基础上,浅谈大数据时代运营商数据平台的转型,提出了一种传统关系型数据库+Hadoop生态系统+实时计算Storm的混合搭建的方法,并对其应用场景进行探讨研究.     

大数据环境下基于NoSQL数据库的存储技术研究

文章通过研究和分析了典型的NoSQL数据库技术,基于该平台和Hadoop云架构,完成了非结构化的数据云存储架构的设计,可以很好的解决传统的关系型数据库在应对非结构化数据存储过程中的效率低下等问题。     

云平台下CRM系统数据存储的设计与实现

目前,在这个海量数据时代,传统的关系型数据库在存储和查询等方面暴露了许多问题。我们在对非关系型数据库进行了详细的研究后,在云平台下CRM系统中提出关系型数据库和非关系型数据库结合使用的方案。其中在具体实现时关系型数据库选择使用MySQL,非关系型数据库选择使用MongoDB。该方案大大提高了系统的读写性能。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

EXCEL到mongoDB数据迁移解决方案

MongoDB是一种面向文档的非关系型数据库,具有高可用性和高扩展性,目前在某些SNS网站和商业网站中常用它来替代传统的关系型数据库。文章对mongoDb的数据导入方法进行了研究,并以CSV文件为媒介实现了从EXCEL到mongoDb的数据迁移,这种方法也适用于其他关系型数据库到mongoDb的数据迁移。     

多源异构检测大数据采集与存储方法研究

随着检测行业的不断发展,检测数据也日渐庞大.由于检测设备的多样性,检测数据呈现了数据来源多样化、数据结构差异化的特点,传统的数据采集和存储方法无法有效地支撑多源异构检测大数据的使用需求.该文采用结合关系型数据库和非关系型数据库相结合的方式,搭建集成数采、存储功能于一体的多源异构检测大数据存储架构,解决检测数据信息孤岛问...     

大数据背景下的数据库技术研究

随着大数据技术的发展,适应大数据的数据库技术的重要价值日益显现。本文首先介绍了大数据的4v特性、影响以及一些典型的产品应用案例,从数据库技术的角度出发,详细讨论了大数据背景下数据库技术的键值存储模型、云数据库概念、Big Table非关系型数据库等研究问题。分析比较Big Table与传统RDMBS数据库的不同之处。最后探讨了未来数据库技术的发展趋势,以及未来海量异构数据的融合、高维度数据的存储等数据库技术的发展方向。     

基于Kettle的医院多源异构数据采集应用案例分析

通过分析医院信息化建设中的多源异构数据采集上报问题。利用开源ETL工具Kettle,将医院需要上报数据定时抽取、转换到DMZ区前置服务器,再通过VPN传输到上报平台。通过实际案例分析可以看出,在医院数据采集和上报工作中,Kettle不仅可以支持关系型数据库Oracle、SQL Server、MySQL等,还能很好地支持后关系型数据库Caché。Kettle友好的用户图形界面化操作、高效稳定的数据处理功能、多源异构数据采集功能等可以优化医院数据采集流程,提高医院各种数据的上报效率。     

基于XML的异构数据库数据集成

由于计算机的广泛应用以及各大数据库厂商的不同商业标准,使得现代社会在海量数据中的数据交换成为一种难题.分析了数据库的特点及XML的特点,设计了基于XML的异构数据库数据集成方案.并以关系型数据库为例阐述了XML与关系型数据之间的双向映射方法.     

关系型大数据查询的层次结构

数据查询是获取信息的重要手段,大数据的特征从不同维度上给经典的数据查询理论和方法带来了新的挑战,如何最大限度地获取信息是大数据应用亟待解决的问题。在大数据规模庞大、时效性强、类型多样化、准确性弱等特征中,规模庞大最为突出,围绕该特征的大数据查询解答问题是目前的研究热点。本文针对数据规模庞大这一特征,以关系型数据为对象,描述了由数据库向大数据转化的演变历程,并根据大数据的特征将大数据分成八类,给出了大数据的形式化定义,以关系型大数据库为例,讨论了查询的层次结构,并将查询分类为：一阶查询、存在性查询及不动点查询。针对不同的查询,讨论了其预处理方法并进行实验。     

中原地区古代陶器数据预处理研究

利用数据挖掘技术对中原地区古代陶器数据进行分析研究,会对探究古陶器的发展演变规律及中原地区各类型文化之间的传承源流、关系起到积极的推动作用。数据预处理作为数据挖掘过程的主要步骤,可提高数据质量和其后挖掘过程的准确率及效率。阐述了针对中原地区古代陶器数据具有的类型复杂、数据量大、不正确、不完整和不一致的特点,采用数据清理、数据集成和数据变换技术对其进行数据预处理,从而提高了数据挖掘模式的质量。     

非编文稿网数据交换存储架构及辅助软件的应用

根据玉环县广播电视台非编文稿网的运行实践,分别从非编文稿网的安全架构、非编文稿两网间的数据安全交换、文稿网数据安全存储备份、非编网数据库安全定时备份、非编网数据恢复软件应用、磁盘碎片整理方法等方面,介绍确保电视台非编制作系统安全高效运行的经验和方法。     

“数据信托”探析:基于数据治理与数据资产化的双重视角

在千行百业数字化转型加快推进,数字经济时代全面到来的大背景下,数据要素的重要价值得到普遍重视,与此同时,个人隐私保护与数据安全问题也日益严峻。数据信托作为兼顾数据价值实现与数据权益保护的全新探索,受到国内外广泛关注,形成了数据治理与数据资产化两种不同视角下的发展思路,并加速从理论走向实践。结合我国法律制度环境与数字经济发展战略导向,提出未来我国数字信托发展的设想与建议。     

浅谈大数据时代的数据支撑系统建设

简要介绍了江苏有线泰州分公司现有的3大数据支撑系统,并结合大数据时代理解、处理和运用数据的特点,从多元化数据源建设、深度挖掘数据价值和数据安全管控方面,进一步探讨了江苏有线泰州分公司深入发展数据支撑系统的思路。     

论数据质量的“真实性”与相关融合计算策略

数据成为数字化时代政府和企业的要素资产,数据质量是数据资产建设的核心工作。对数据质量的概念和传统“六维度”方法论进行了系统性审视,并结合实际案例阐述数字化时代应以“业务真实性”为数据质量工作的主线,并提出建设真实可信数据资产的融合计算策略。     

数据安全治理现状研究与分析

近年来,国内外数据泄露事件频发,大量企业的商业利益、声誉受损。数据安全法律法规相继颁布,监管力度不断升级,企业逐渐意识到数据安全治理的重要性与紧迫性。通过对2021年开展的企业数据安全治理能力评估现状进行整理,总结企业数据安全治理工作在组织建设、人才培养、技术工具等方面的现状与趋势,提供能力提升思路,以供业界参考。     

中国铁塔大数据应用展望

近年来,随着大数据技术的发展,各行各业迎来了新的机遇与挑战.中国铁塔股份有限公司作为通信产业链的重要组成部分,具有独有的数据优势.首先阐述了大数据的产业结构,然后介绍了中国铁塔的数据资产,最后对中国铁塔的大数据应用进行了展望.     

面向DT服务的数据分析系统架构

DT时代,数据分析系统肩负着运营商业务创新和运营强支撑的更高要求.首先阐述了深化数据分析、增益数据价值所面临的需求与挑战;接着,提出面向开放服务的数据分析系统的逻辑架构和技术架构以及数据治理与数据安全措施,以实现能力开放、架构灵活的运营支撑;最后示例介绍该平台的服务场景以及取得的良好效果和价值体现.     

浅析数据安全与《数据安全法》

大数据时代数据战略价值凸显,同时数据安全问题给经济、政治、社会等各领域带来巨大风险,有法可依是数据安全治理法治化的前提。为深入贯彻总体国家安全观要求,保障数据安全,维护国家主权、安全和发展利益,全国人大常委会审议通过了数据安全法。文章探析了当前我国数据安全面临的风险与挑战,梳理总结数据安全法值得关注的要点和亮点,便于更好地认识我国当前数据安全形式以及与颁布实施《数据安全法》的重要意义,提高数据安全意识。     

矿产资源潜力评价数据模型应用支持研究

全国矿产资源潜力评价数据模型,是全国矿产资源潜力评价项目的基础。它描述了该工作重要中间成果数据和最终成果数据本身及其关系,入库数据格式的规范化以及入库数据内容的标准化检查均离不开数据模型的支持。因此如何使该数据模型支持应用,是一个需要研究的重要问题。文中以解决这一问题为出发点,以如何依照数据模型新建一个图件为例,研究如何用数据字典技术,解决相关的模型应用问题。