物联网感知层实时数据处理技术研究

在科学技术高速发展的今天,物联网逐渐融入生活成了迫在眉睫的事情.而物联网最基础但也是最关键的环节便是采集智能信息和识别环境,因此物联网感知层作为物联网的重要组成因素则肩负着这一重大责任.然而,物联网感知层有着繁杂的种类,多变的应用环境、以及拥有着巨大的部署数量,给实时数据处理技术增加了难度,也提出了更高的要求.为了推动我国物联网的高速发展,使之不断进步,本文针对物联网感知层实时数据处理技术进行了一定的研究.     

基于大数据的网络安全态势感知初探

从大规模网络庞大的数据量中找出有用的信息成为网络安全态势感知研究中的棘手问题,根据大数据技术特有的海量存储、并行计算、高效查询等特点,对基于大数据的网络安全态势感知进行了初步探讨,对其可行性进行了初步研究.     

基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

大数据实时交互式分析

实时交互式分析针对多目标和多角度的分析任务,通过多轮次的用户-数据库交互过程,逐步明确分析任务与分析目标,全方位地了解相关领域信息,最终得到科学的、全面的分析结果.相比传统数据库"提交查询-返回结果"的单轮次交互查询方式,实时交互式分析更强调交互的实时性与查询结果的时效性.对实时交互式分析的研究已成为近几年研究的热点.针对当前实时交互式分析面临的若干关键问题,对现有的实时交互式分析研究的理论基础、数据模型与系统构架进行了综述.     

基于大数据的网络安全态势感知技术研究

从网络信息安全角度看,大数据是一把双刃剑。海量的数据通信使得数据的密集程度降低,为APT等黑客的入侵提供了良好的隐蔽环境,同时收集、挖掘、分析海量数据,能够准确地检测到网络中的攻击和威胁,因而对基于大数据的网络安全态势感知技术进行研究。分析网络安全态势影响因素,结合隐马尔可夫模型理论,构建安全态势感知模型,并将其与边界点之间的间距、自变量相结合,最终达到了混合组织的网络安全态势信息整合,以达到对混合组织的网络安全信息的最优感知。实验结果表明,该方法在分析过程中所耗费的时间和精确度均高于其他相关技术,其安全性评估的效果与真实情况相符。     

基于手机大数据的动态人口感知

随着通信市场迅速发展和手机的高普及率,利用手机数据研究人类活动和城市规划发展成为可能.本文主要工作是构建了大数据实时处理分析平台,并基于此平台提出了一种利用手机数据感知城市人口分布的方法.通过实验表明,基于手机数据的动态人口感知能够反映实际城市人口分布,对于城市交通监管、公共资源配置优化等方面具有重要意义.     

基于大数据的电力客户行为分析体系研究及实践

随着我国电力市场的发展,供电企业紧跟数字化发展步伐加快信息系统建设,各业务系统在运行过程中积累了海量信息数据资源,利用这些数据资源进行数字化分析已经渐渐成为供电企业的重点工作。在供电企业不断地拓展分析范围,优化分析方法的过程中,大量的数据资产被盘活,巨大企业价值与社会价值逐渐显现。大数据技术的使用可体现在电力系统运行的各种环节,为电力信息的商业化利用提供有力支撑。基于大数据技术的电力客户用电行为分析能提高电力系统的运行效率,为供电企业的实际运行提供决策依据。文章分析了国内、外电力行业大数据应用的进程及现状,根据不同类型客户的用电行为建立了基于大数据技术电力客户行为分析体系,对大数据技术的实践情况进行探究,实现电力客户用电行为的深度分析,为客户提供更优质的服务体验。     

基于大数据的安全态势感知系统研究

针对目前层出不穷的各类网络攻击事件,基于最新的大数据技术组件,构建集数据收集、数据处理、数据存储、数据分析、数据呈现于一体的安全态势感知系统框架.通过Flume和Kafka获取日志或网络攻击信息,使用MapReduce和Storm技术进行批量或实时分析,以达到对网络安全的感知;采用层次分析法确定指标权重,提取网络态势特...     

基于大数据的情报态势感知技术

文章以大数据技术为基础,在阐释了态势感知技术的前提下,将二者运用于情报工作的研究方向和发展现状做一说明。通过以大数据为基础的情报态势感知,可以使情报工作能够主动发挥优势,为决策提供可靠依据。     

基于云架构的交通感知数据集成处理平台

海量、多源、不间断的交通感知数据环境下,如何提供集成化的交通感知数据处理支持是多样化交通应用实施中的难点.现有的通用计算框架及平台由于缺少对具有时空相关等特征的交通感知数据和应用间交通感知数据共享的支持,使得交通感知数据处理应用的开发存在较高的复杂性并且易于造成大量重复的数据跨节点传输而影响应用性能.针对此问题,通过分析交通感知数据及其处理需求特征,提出一种基于可跨应用共享的时空数据对象的交通感知数据处理模型,通过引入时空数据对象这一新的概念抽象并提供易并行划分的时空数据对象组织及共享支持,实现分布计算中对时空型交通感知数据的优化管理.在此基础上,设计并实现了交通感知数据集成处理平台.通过实际应用和基于真实交通数据的实验测试表明:该平台相对于传统的交通感知数据处理方法及系统在性能及扩展性等方面均具有一定的优势.     

接收与处理分离的实时大数据处理模型

在大数据处理过程中,系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求,提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中;分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元;数据处理单元处理数据,处理结果放入内存数据库;处理数据分发单元继续从内存数据库中获取处理后的数据,并按照海量数据负载均衡算法把数据分发给数据归并单元。实验证明,使用该模型方法,系统保持了非常高效的处理效率。     

大数据网络安全态势感知中数据融合技术研究

随着科学技术的发展,网络时代对我们的生产生活影响越来越大,网络信息技术在给人们带来生产、生活便捷的同时,网络安全问题也在逐步升级,传统的网络安全防护技术措施显然已不能较好地满足新时期的网络安全工作需求。在信息科技的推动下,安全态势感知技术能对存在于网络中的安全数据信息进行有效的采集、分析、存储以及挖掘,数据融合技术可以处理所搜集的网络安全数据,这两种技术的结合能极大地增强安全态势感知实效,有效保障信息的安全,这对网络发展有非常重要的现实意义。     

浅谈大数据时代实时流计算在石油企业中的应用前景展望

随着数字化油田和企业信息化的发展,海量数据激增,现有的大数据处理方式不能满足日益增长的生产、分析需求,面对无穷无尽的数据洪流,需要一种手段来抓住并思考那些一闪而逝的瞬间.     

基于大数据技术的计算机网络安全态势感知方法

为提高计算机网络安全态势感知准确率,提出一种基于大数据技术的计算机网络安全态势感知方法。利用大数据技术采集计算机网络安全中的特征数据,融合数据并分析,再检测网络攻击完成分类,并评估安全态势。实验结果表明,该方法能有效提高网络安全态势感知准确率,平均网络安全态势感知准确率为95.13%,具有一定的应用价值。     

基于大数据的网络安全态势感知平台应用研究

针对自然资源部原有安全资源管理分散、网络安全防御能力弱、难以追踪溯源威胁攻击等问题,结合大数据技术,提出一种基于MapReduce并行处理的Apriori算法,用于分析外网网络安全日志数据,并据此设计一套网络安全态势感知平台。通过在外网各个关键区域节点旁路部署潜伏威胁探针实现系统全流量的实时采集和监测。借助大数据分析工具、态势感知处理算法、攻击溯源可视化等组件,将网络安全事件进行多维度图形化的展现。仿真实验表明,经过MapReduce并行处理后,平台处理海量安全日志数据的效率得到了显著提高。平台可实现网络安全攻击事件的全局感知、攻击溯源和监控预警,能够保障自然资源部信息系统的安全健康运行。     

基于大数据的电信客户管理技术研究

随着经济社会的发展,国内通信产业结构不断完善,业务覆盖面日趋完整,通信业务规模不断壮大,与此引发的基础电信运营商间的竞争愈发激烈。借助信息化手段在当今激烈的竞争环境中立于不败之地,面对海量的客户群体以及用户行为数据进行数据的处理,并利用数据挖掘技术从中获取有利的需求预测,为运营商建立客户信息基础数据库、制定精准产品以及提供正确的方案决策,是运营商今后关注的方向。使用大数据技术开展对电信客户管理的相关研究,从客户关系管理的现状入手,进行电信客户关系数据挖掘的方案及算法设计,在大数据分析基础上建立了电信客户关系细分模型。     

基于物联网的大数据信息实时交换策略研究

详细论述了物联实时信息的交换方式,并分析了交换过程中出现的问题;提出了临时表技术、内存映射文件方法、文件缓冲策略等物联实时信息交换的改进策略。     

大数据下的客户关联风险和挖掘分析

随着我国互联网的不断发展,网络已经成为了人们生活中的必需品,网络也成为了一个信息产生和传输的重要阵地。在互联网平台上,用户登录或者浏览或者进行了其他的操作都会留下数据痕迹。大数据也是在互联网不断发展过程中的产物,通过大数据的分析和挖掘,能够对用户进行画像分析,同时大数据也能够用来判断一个人的关联风险,在商业中运用大数据对客户进行分析,可以有效地对客户存在的潜在风险进行分析。以银行业为例,对基于大数据的客户关联风险和挖掘进行了研究,利用大数据对银行客户分析的关键技术,对银行客户等重点业务运用领域展开了探讨。