网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.     

基于云计算的大数据处理技术

为解决大数据处理的瓶颈,分析了大数据及云计算的关键技术,论述了大数据和云计算之间的关系,利用云计算在数据存储、数据管理和虚拟化等方面的技术优势,构建了基于云计算的大数据管理和处理模式,为大数据的研究及应用提供了新的思路和技术基础。     

面向频谱大数据处理的机器学习方法

随着移动互联网与物联网的迅猛发展,个人无线设备的数 量呈现指数级增长,随之产生的海量频谱数据与日俱增,频谱大数据的存在已成事实。同时 ,频谱赤字也日益严峻。为提高频谱利用率,有效的频谱大数据处理显得十分重要。本文从 无线通信的角度,首先给出了频谱大数据的定义并分析了它的基本特征;然后总结了一些 对于频谱大数据分析与利用颇具前景的机器学习方法,如分布式和并行式学习、极速学习、 核学习、深度学习、强化学习、博弈学习和迁移学习;最后给出了几个开放性话题和研究 趋势。     

民航机场应急救援大数据处理平台架构研究

安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求.通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求...     

融合大数据技术架构在大型商业银行海量数据分析的应用

相对于软硬件一体的企业级数据仓库解决方案,以X86开放式硬件平台为基础的并行处理数据库和Hadoop/Spark生态体系,在扩展性和低成本方面有明显的优势,随着其不断发展成熟,已经成为企业级大数据平台不可或缺的一部分.本文从如何应对“大数据”所带来的挑战出发,提出一套适用于大型商业银行数据分析处理的融合大数据技术架构,并已取得应用实践的成功.     

基于本体的网络大数据信息处理

针对大数据体量巨大、种类多样、速度极快、价值稀疏的特点,提出了基于本体的网络大数据信息处理架构。 该架构通过历史大数据对本体模型不断丰富,在形成面向大数据主题知识库的基础上,对网络大数据进行语义分析,实现价值 服务。     

大数据时代计算机信息处理技术分析

在大数据时代下,海量数据呈爆炸式增长,对计算机信息处理提出要了更高的要求。基于此,本文从大数据时 代对计算机处理技术的新要求作为切入点,在此基础上,对当前信息处理技术的原理及其发展趋势展开重点探讨,希望能对相 关人士提供些许参考。     

接收与处理分离的实时大数据处理模型

在大数据处理过程中,系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求,提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中;分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元;数据处理单元处理数据,处理结果放入内存数据库;处理数据分发单元继续从内存数据库中获取处理后的数据,并按照海量数据负载均衡算法把数据分发给数据归并单元。实验证明,使用该模型方法,系统保持了非常高效的处理效率。     

网络优化中的大数据应用

网络优化分析中需要使用多种网络数据,无论是数据量、数据类型,还是分析方法都可以借鉴目前在移动互联网领域普遍采用的大数据分析方法。结合移动通信网络优化的分析数据类型和大数据分析方法,提出全局数据代替采样数据、效率优先于精确、相关性代替因果关系3个网络优化的大数据应用方向。     

基于大数据的安全态势感知系统研究

针对目前层出不穷的各类网络攻击事件,基于最新的大数据技术组件,构建集数据收集、数据处理、数据存储、数据分析、数据呈现于一体的安全态势感知系统框架.通过Flume和Kafka获取日志或网络攻击信息,使用MapReduce和Storm技术进行批量或实时分析,以达到对网络安全的感知;采用层次分析法确定指标权重,提取网络态势特...     

Analyzing Relationships in Terrorism Big Data Using Hadoop and Statistics

We used big data software Hadoop in Google News to collect complex high-velocity, high-volume terrorism information. We used big text search to code the factors of interest into nominal fields. We integrated new fields and records into an existing database drawn from other researchers. Our testable hypothesis was that there was a significant relationship between terrorist group ideology and terrorist attack type. Then we used correspondence analysis in SPSS to test our hypothesis. Our hypothesis was supported, so we developed a symmetric model to visualize the hidden relationships between terrorist ideology and attack type. Our purpose was to demonstrate how statistical software methods may be applied in big data analytics. These methods will generalize to other researchers and practitioners. The finding of a significant relationship between terrorist ideology and attack type may generalize to supply chain operations and national security planning.     

轨迹大数据:数据处理关键技术研究综述

大数据时代下移动互联网发展与移动终端的普及形成了海量移动对象轨迹数据.轨迹数据含有丰富的时空特征信息,通过轨迹数据处理技术可以挖掘人类活动规律与行为特征、城市车辆移动特征、大气环境变化规律等信息.海量的轨迹数据也潜在性地暴露移动对象行为特征、兴趣爱好和社会习惯等隐私信息,攻击者可以根据轨迹数据挖掘出移动对象的活动场景、位置等属性信息.另外,量子计算因其强大的存储和计算能力成为大数据挖掘重要的理论研究方向,用量子计算技术处理轨迹大数据可以使一些复杂的问题得到解决并实现更高的效率.本文对轨迹大数据中数据处理关键技术进行综述.首先,介绍轨迹数据概念和特征,并且总结了轨迹数据预处理方法包括噪声滤波、轨迹压缩等.其次,归纳轨迹索引与查询技术,以及轨迹数据挖掘已有的研究成果包括模式挖掘、轨迹分类等.总结了轨迹数据隐私保护技术基本原理和特点,介绍了轨迹大数据支撑技术如处理框架、数据可视化.本文也讨论了轨迹数据处理中应用量子计算的可能方式,并且介绍了目前轨迹数据处理中所使用的核心算法所对应的量子算法实现.最后,对轨迹数据处理面临的挑战与未来研究方向进行了总结与展望.     

基于大数据的数据挖掘中容错技术研究

随着互联网的不断发展,应用程序、数据正在迅速增长,大规模数据存储成为大数据技术研究重点,借助数据挖掘技术能更好地为决策者提供信息支撑。容错技术是大数据处理领域中一个前沿且极具挑战性的研究课题。该文依据当前的研究现状和进展,通过对大数据时代数据特征的分析,结合当前技术发展趋势,运用Python技术设计数据挖掘中代码容错技术的改进,并用算法进行实现。测试结果表明,该算法运行良好,系统的健壮性和可靠性大大提高,为大数据和数据挖掘提供理论基础,为海量数据的安全可靠挖掘提供科学有效的技术支撑。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

面向电力物联网的电力大数据应用

为保证电网系统安全稳定运行,加强国网公司精细化管理水平,以电力大数据为代表的新一代IT技术在电力物联网领域中的应用,可以有效地解决数据采集、存储与处理等问题,并在海量电力数据中深度挖掘出有潜在利用价值的信息。本文分析了电力物联网中电力大数据的特点和发展趋势,介绍了Apriori算法在处理海量电力大数据中的显著优势,通过利用Apriori算法来处理大数据在电力物联网中的典型应用,优化各级电网控制,构建结构扁平化、功能模块化、系统组态化的柔性体系结构,全面提高电网生产、运行、调度、管理的自动化水平,使系统稳定运行在最佳状态,从而提升了数据挖掘、管理和交互共享操作水平,进而提高了生产作业的效率和管理预测能力,为公司进一步决策部署提供强有力的数据技术支撑。     

COS:度量分布式大数据处理系统的效率

【目的】在大数据处理领域,分布式计算系统得到广泛应用,它们的可扩展性得到重点关注,但其绝对性能往往没有得到重视。我们希望提出科学合理、与时俱进的度量标准,对分布式系统的性能进行评估。【方法】本文通过对比特定任务的单机实现和分布式实现来讨论分布式系统的性能,提出COS(Configuration that Outperforms a Single machine)这一指标,来衡量分布式系统在达到单台机器的性能时,需要的硬件资源数量。我们选取k-means聚类和逻辑回归两个经典机器学习算法,对其进行单机多线程实现,并通过向量化计算、优化内存分配与访问等方式对性能进行了优化,为分布式多机系统的性能提供参考。【结果】以Apache Spark作为对标系统,实验发现无论是使用其原生编程接口,还是经过悉心优化的机器学习库,都要使用数倍甚至数百倍的机器,才能达到单机多线程实现的性能。【局限】分布式系统与单机实现进行性能对比并不是完全公平的,分布式系统的额外开销客观存在。【结论】但COS指标仍能反映分布式系统存在的绝对性能较差、没有充分利用硬件优势等问题。     

教育大数据在高等教育中的应用研究

近年来,计算机技术的进步,新的应用不断涌现,数据的规模呈爆炸式的增长,大数据、教育大数据引起了政府部门、教育部门的关注。在教学过程中充分利用教育大数据,可以预测学习、判断在教学过程中的问题,进行个性化的指导,提高教学效果。本文对教育大数据对高等教育产生的影响及带来的挑战进行了分析。     

民机运行大数据全寿命周期处理技术研究

针对日益增长的民用航空海量数据,本文对其从数据采集到大数据分析全寿命周期过程进行了研究。首先梳理了民机运行所涉及的数据源,并根据数据类型,对各数据源进行了分类。基于不同类型的数据,研究了各类数据的采集方式及大数据分析技术,并对大数据离线分析工具及实时在线分析工具进行了研究。研究成果能够为构建民用飞机运行大数据平台提供技术支撑,有助于提高我国民机运行效率。     

大数据背景下计算机信息处理技术的探讨

针对当前大数据背景下计算机信息处理技术在不断地进行创新,利用大数据及时改进当前存在的某些限制因 素,提高以及计算机处理性能,让大数据信息能够在一个良好的环境实现存储、传输、数据处理等工作,通过不断地研发信息安 全产品来为大数据信息处理技术提供坚强的后盾     

大数据处理中基于热感知的能源冷却技术

大数据极速发展使超大型大数据分析平台不断涌现,导致能源成本急剧上升。为保证服务器的热可靠性,提出一种以数据处理为中心的能源冷却成本技术。该技术考虑了服务器不均衡热力特性、热力稳定性负载阈值差异以及集群大数据语义差异等,对文件进行主动式热感知布局,从而在不影响性能的前提下降低冷却能源成本,保证大数据分析集群的热可靠性。基于Yahoo公司一个月的真实大数据分析对该技术进行评估,实验结果表明,该技术可使冷却成本下降42%,总体性能是当前无关冷却技术的9倍。