基于数据中心的公安大数据应用研究

面对公安业务产生的海量结构化和非结构化数据,需要研究新型的大数据处理方法.按照公安行业技术规范,研究数据中心平台架构,并完成平台设计与实现.针对各警种业务对大数据定制服务、模型研发的需求,构建匹配公安业务场景的大数据系统.结合应用实例,构建基础设施云环境和混合存储环境,实现对大数据资源存储、整合、管控、共享服务及应用的支撑,并通过大数据资源服务对内外部数据资源进行汇聚、清洗、管理、挖掘分析.最终实现公安大数据的智能信息处理,达到公安大数据实战应用的目的.该研究成果已成功应用于全国公安数据标准化试点城市河北省邯郸市公安局大数据平台建设项目,能够为公安大数据应用提供借鉴.     

面向物联网的海量高性能分布式系统架构及实现

分析物联网、云计算和大数据跨界融合所带来的新的商业价值以及构建基于客户需求规模、按需付费、安全可信的物联网云化平台的需求,深入分析消息处理、数据存储、应用部署等关键核心技术,结合典型业务提出一种面向物联网的云计算平台的架构和实现方法.该架构采用去中心化设计,具有易于访问、实现、扩展等特性,并构建了一套高效的数据分布式存储框架,在应用层面提出一种解决物联网异构问题的解决方案.     

基于Spark的用户上网WAP日志分析

在移动互联网时代,越来越活跃的用户手机上网行为带来了流量的迅猛发展.对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好的了解客户需求.传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择.文章主要以用户WAP日志为例,详细阐述如何利用大数据技术处理海量的非结构化数据,进而挖掘和分析用户上网行为.     

电信大数据的价值挖掘及关键技术分析与探讨

长期的业务发展为电信行业积累了大量的日志数据，其中既有结构化的，也有非结构化的，涵盖业务日志数据以及运维日志数据等。传统的数据分析手段，往往很难兼顾各类数据的处理，并且数据中隐藏的价值未被充分挖掘。文章采用大数据的技术架构，充分利用Flink的数据处理能力和Elasticsearch的索引机制，开发一个可靠的大数据处理平台，有效挖掘分析各类日志数据，提升电信行业的业务运营水平和自动化运维能力，提高盈利能力。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

基于云计算的海量网络流量数据分析处理及关键算法研究

为了应对日益增长的网络流量数据量和对网络安全的需求,提高网络流量数据的处理效率和准确性,文中从云计算架构出发,设计并搭建了一个能承载大规模网络流量数据处理的云计算平台。基于该平台,采用了分布式存储、并行计算和机器学习等技术,对海量网络流量数据的预处理、聚类分析、异常检测等关键环节进行了研究。结果表明,基于云计算的海量网络流量数据分析处理的关键算法取得了显著成果。通过分布式存储和并行计算技术,实现了对海量网络流量数据的高效读写和处理。在预处理阶段,针对流量数据进行采样和滤波,减少了数据量,并保留了关键特征。在聚类分析方面,利用机器学习算法实现了对网络流量的分类和统计,通过构建模型、训练和优化算法,实现了对网络攻击和异常行为的准确识别和及时报警。     

非结构化海量网络数据处理技术研究

为实现网络化测试系统下非结构化海量网络数据的快速分析处理,在关键的算法和系统化集成处理方面提出解决方法。采用内存映射文件方式快速读取海量数据,并设计了时间矩阵算法,用以快速进行同步分析处理;应用分布式中间件方式实现海量数据的并发处理和数据分发,对飞行试验采集的网络数据进行了分析处理,使用这些算法的数据处理软件,可以使处理效率满足飞行试验海量网络数据处理的需求。这些都为新一代机载采集系统应用于飞行试验提供了技术保障。     

基于分布式数据流的网络处理器数据收集分类平台

自适应分布式数据流处理调整技术进行分布式数据收集与分类时,未构建精准的数据分类器,导致分类精度有所偏差,设计基于分布式数据流的网络处理器数据收集分类平台。所设计平台总体架构包括平台管理层、分布式数据收集层、分布式数据分类层;网络处理器通过网络交换机端口接收分布式数据流,采用变压器、PHY处理所获数据,与主控芯片FPGA交互将数据保存,实现分布式数据流收集;网络处理器实现分布式数据流分类过程包括训练阶段与测试阶段,训练阶段采用分布式数据流更新规则完成数据特征选择,测试阶段进行分布式数据流分类特征更新,对关联度较大的特征数据实施筛选,实现分布式数据流的分类。实验结果表明,所设计平台分类精确度均值高达99.5%,且用时短、使用内存小。     

基于大数据平台的教学资源共享系统访问量实时统计

在大数据时代数据呈现几何级的数量增长,传统单机服务器架构的教学资源共享系统已经不能存储处理大量的数据,需要建设大数据平台进行存储处理.基于大数据平台的教学资源共享系统是在教育信息化方面构建教学资源共享系统,其存储容量大,处理数据计算量大.用户在访问教学资源时,对其访问的教学资源数据进行实时访问量统计,应构建大数据平台,利用Hadoop的分布式文件存储并通过Spark的内存计算实现教学资源实时访问统计.然后用数据可视化技术将用户访问统计结果显示出来,以便查看用户对教学资源的使用情况,对后续教学资源建设提供依据.     

中原地区古代陶器数据预处理研究

利用数据挖掘技术对中原地区古代陶器数据进行分析研究,会对探究古陶器的发展演变规律及中原地区各类型文化之间的传承源流、关系起到积极的推动作用。数据预处理作为数据挖掘过程的主要步骤,可提高数据质量和其后挖掘过程的准确率及效率。阐述了针对中原地区古代陶器数据具有的类型复杂、数据量大、不正确、不完整和不一致的特点,采用数据清理、数据集成和数据变换技术对其进行数据预处理,从而提高了数据挖掘模式的质量。     

非编文稿网数据交换存储架构及辅助软件的应用

根据玉环县广播电视台非编文稿网的运行实践,分别从非编文稿网的安全架构、非编文稿两网间的数据安全交换、文稿网数据安全存储备份、非编网数据库安全定时备份、非编网数据恢复软件应用、磁盘碎片整理方法等方面,介绍确保电视台非编制作系统安全高效运行的经验和方法。     

“数据信托”探析:基于数据治理与数据资产化的双重视角

在千行百业数字化转型加快推进,数字经济时代全面到来的大背景下,数据要素的重要价值得到普遍重视,与此同时,个人隐私保护与数据安全问题也日益严峻。数据信托作为兼顾数据价值实现与数据权益保护的全新探索,受到国内外广泛关注,形成了数据治理与数据资产化两种不同视角下的发展思路,并加速从理论走向实践。结合我国法律制度环境与数字经济发展战略导向,提出未来我国数字信托发展的设想与建议。     

浅谈大数据时代的数据支撑系统建设

简要介绍了江苏有线泰州分公司现有的3大数据支撑系统,并结合大数据时代理解、处理和运用数据的特点,从多元化数据源建设、深度挖掘数据价值和数据安全管控方面,进一步探讨了江苏有线泰州分公司深入发展数据支撑系统的思路。     

基于Hadoop平台的海量数据高效抽取方法及应用

本文从数据抽取过程的本质出发,论述了传统数据抽取过程与大数据平台数据抽取过程的异同,以基于Hadoop的大数据平台为例,结合传统的关系型数据库和非关系型数据库(No SQL)的特点,提出了一种从关系型数据库到大数据平台的高效数据抽取方法,实现了对数据源系统资源占用的最小化,并在电力公司用电大数据抽取中得到广泛应用。     

论数据质量的“真实性”与相关融合计算策略

数据成为数字化时代政府和企业的要素资产,数据质量是数据资产建设的核心工作。对数据质量的概念和传统“六维度”方法论进行了系统性审视,并结合实际案例阐述数字化时代应以“业务真实性”为数据质量工作的主线,并提出建设真实可信数据资产的融合计算策略。     

数据安全治理现状研究与分析

近年来,国内外数据泄露事件频发,大量企业的商业利益、声誉受损。数据安全法律法规相继颁布,监管力度不断升级,企业逐渐意识到数据安全治理的重要性与紧迫性。通过对2021年开展的企业数据安全治理能力评估现状进行整理,总结企业数据安全治理工作在组织建设、人才培养、技术工具等方面的现状与趋势,提供能力提升思路,以供业界参考。     

中国铁塔大数据应用展望

近年来,随着大数据技术的发展,各行各业迎来了新的机遇与挑战.中国铁塔股份有限公司作为通信产业链的重要组成部分,具有独有的数据优势.首先阐述了大数据的产业结构,然后介绍了中国铁塔的数据资产,最后对中国铁塔的大数据应用进行了展望.     

面向DT服务的数据分析系统架构

DT时代,数据分析系统肩负着运营商业务创新和运营强支撑的更高要求.首先阐述了深化数据分析、增益数据价值所面临的需求与挑战;接着,提出面向开放服务的数据分析系统的逻辑架构和技术架构以及数据治理与数据安全措施,以实现能力开放、架构灵活的运营支撑;最后示例介绍该平台的服务场景以及取得的良好效果和价值体现.     

浅析数据安全与《数据安全法》

大数据时代数据战略价值凸显,同时数据安全问题给经济、政治、社会等各领域带来巨大风险,有法可依是数据安全治理法治化的前提。为深入贯彻总体国家安全观要求,保障数据安全,维护国家主权、安全和发展利益,全国人大常委会审议通过了数据安全法。文章探析了当前我国数据安全面临的风险与挑战,梳理总结数据安全法值得关注的要点和亮点,便于更好地认识我国当前数据安全形式以及与颁布实施《数据安全法》的重要意义,提高数据安全意识。