面向移动互联网大数据的异构实时计算框架

在移动互联网监控领域,面对扁平化的网络架构,想要做到分钟粒度的实时监控,运营商面临巨大的成本支出。本文针对移动互联网大数据的需求,研究并设计了一种异构实时计算框架,力图帮助运营商有效解决所面临的困难。     

分布式计算框架下的大数据机器学习

本文利用多层神经网络使用单层神经网络实现数据集训练,对均方误差和改变迭代时间进行对比。通过试验结果表示,低于最高的均方误差,提高收敛速度。简单来说,所实现多层神经网络能够精准预测数据集。     

基于大数据技术的电力数据质量评估数据框架研究

在大数据时代,大多数应用都是由数据驱动的。如果能提高数据质量,大数据应用的有效性和可靠性也能得到提高。在电力行业中,不断积累的电力数据越来越多,并在此基础上开发了许多电力应用。在我国,电力大数据在规模、结构、格式、评估要求等方面都具有一定的特殊性,传统的大数据评估框架无法直接应用。因此,本文提出了一个电力数据质量评估的大数据框架。该框架增加基于灰色理论的量化评价模块,并给出一般性的数据指标质量计算公式。本框架可以同时积累实时数据和历史数据,为电力大数据评估提供集成计算环境,支持不同类型数据的存储。本文研究结果为其他具有相似特征的大数据应用亦提供了一个有价值的框架。     

大数据计算技术在电子政务领域的应用

本文首先阐述了电子政务的发展现状,其次分析了大数据计算技术在电子政务领域的作用,在此基础上研究了大数据计算技术架构以及计算技术模式,最后探讨了电子政务与大数据发展展望。     

大数据时代内存计算先行

大数据是当前被广泛提起的名词之一,在信息化背景下,各行各业都和大数据有极大的关联,因此研究大数据和内存计算具有较强的现实意义。笔者在本文中对其进行分析和研究。     

大数据信息安全风险框架及应对策略

近年来,随着时代的变迁,互联网等相关行业迅速崛起,这一现象让我们体会到了大数据时代正悄无声息的接近着我们的生活。于是人们对其进行深入的探索和挖掘,发现其中的安全问题,并认识到安全问题的严重性。本文我们将对大数据信息安全风险问题,以及我们应该采取的策略进行深入的研究。     

Hadoop YARN大数据计算框架及其资源调度机制研究

Hadoop 2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如Map Reduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上,重点研究Hadoop YARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。     

大数据信息安全风险框架及应对策略研究

大数据时代的到来,让数据成为人们关注的焦点,各个行业的研究人员纷纷挖掘数据的潜力,发现其价值。但现在,大数据的信息收集、整理存在很大的安全风险,安全问题突出,即信息安全已经成为限制大数据发展的主要因素。对此,文章给出了相应的应对策略,有效解决了大数据信息的安全问题。     

电力大数据智能化高效分析挖掘技术框架研究

针对电力行业中数据量不断增加,数据分析越来越困难的问题,设计了电力大数据智能化高效分析挖掘框架,从而快速得到有价值的信息.对电力大数据中心的整体框架进行分析,主要包括服务层、验证层、数据源层、特征分析层.另外,通过分析数据挖掘的流程发现业务中需要强化的业务,实现拓展.电力大数据智能化分析挖掘技术的框架设计主要包括电力市...     

大数据时代的信息与计算科学

信息技术的飞速发展致使信息时代的降临,现在绝大部分的高校都对信息课程尤为关注,并将其课程设置为与语数外等基础课程同等重要.学校希望通过此种办法,来培养更多新型全方位人才,让他们在以后的工作中能够为国家的信息与计算科学事业方面多做贡献.这样的学生在以后的实际生活与工作中,才能够适应社会,才能够实现自身的人生价值.     

Editorial: Big Data and Cyber-Physical-Social Computing

Mobile Networks and Applications -     

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner.PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中.在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.     

Editorial: Big Data Innovation for Sustainable Cognitive Computing

Mobile Networks and Applications -     

主流大数据处理开源架构的分析及对比评测

结合电信增值业务领域中对大数据处理的实际需求,对现有主流的分布式大数据处理架构(Hive、Impala、Spark)的核心进行分析与实测,比较它们在大数据处理过程中的优劣及适用的场景,从而为大数据分析所面临的架构适用性选型提供参考.     

云计算技术在计算机大数据分析中的应用

随着时代的不断发展,科技创新进入了全新的阶段。在日常生活中,数据量逐步增加,传统的计算机数据处理方式已不能适应海量数据的相关需求和标准,数据信息的高效加工和处理,需要借助云计算技术来完成。云计算是一种新型的计算机网络模式,具有良好的扩展性、灵活性等优点,可以有效提高计算机数据信息存储及传输效率。因此,文中对云计算技术在计算机大数据分析中的应用进行了研究,并提出了解决措施,以期为相关人员提供参考,助力我国计算机技术全面发展。     

云计算技术在计算机大数据中的运用分析

信息化技术的迅速发展,使得全球数据量呈爆炸式增长,计算机大数据已经潜移默化地渗透到了各个领域,并发挥着重要的作用。为进一步提升计算机大数据的运用效果,有必要引入云计算技术,搭建云计算数据平台,实现对各项大数据的保护,确保数据完整、安全,消除可能存在的数据隐患,从而推动计算机大数据的健康发展。文中就云计算技术在计算机大数据中的运用途径进行了重点论述与分析。     

大数据与算力驱动下的数据中心供电制式变革

文基于中国电网和IT负载电源的发展,分析了当前数据中心几种主要供电制式的产生背景与利弊,提出了基于全新的“零级变换”杈念的数据中心交流直供供电制式。     

Improving Performance of Cloud Computing and Big Data Technologies and Applications

Cloud computing technology is changing the development and usage patterns of IT infrastructure and applications. Virtualized and distributed systems as well as unified management and scheduling has greatly im proved computing and storage. Management has become easier, andOAM costs have been significantly reduced. Cloud desktop technology is develop ing rapidly. With this technology, users can flexibly and dynamically use virtual ma chine resources, companies＇ efficiency of using and allocating resources is greatly improved, and information security is ensured. In most existing virtual cloud desk top solutions, computing and storage are bound together, and data is stored as im age files. This limits the flexibility and expandability of systems and is insufficient for meetinz customers＇ requirements in different scenarios.     

浅析R语言并行计算在大数据分析中的应用

介绍了当今最流行的统计编程语言R语言,描述了R语言向量化计算思想以及其并行计算的软件包的使用过程,探讨了R语言在大数据分析中的应用.