基于Hadoop的大数据平台风险监测系统设计

以Hadoop平台为基础,开发设计了一种用于企业大数据平台风险监测的系统。该系统模型能够有效防止主机管理环境下的入侵监测保护系统遭受分布式拒绝服务攻击（Distributed Denial of Service attack,DDoS）,利用网络神经实现对检测对象的特征选择,并分类配置云服务器,能够检测大数据平台安全风险。     

基于递归随机搜索算法的Hadoop平台大数据软件系统研究

随着互联网时代的到来,互联网数据的产生和收集数量呈爆炸式发展。使用金融机构大数据抓取软件系统处理和存储相关数据成为许多商业机构和研究机构的常态化选择,金融机构大数据抓取软件系统可以简化使用者对于信息传输和信息计算的具体操作,便于提高使用者的使用效率和准确率。本文研究的金融机构大数据抓取软件系统通过Python和Java语言完成,主要包括:金融机构大数据抓取软件系统分析模块、金融机构大数据抓取软件系统优化模块、金融机构大数据抓取软件系统预测模块。在研究的过程当中本文采用了递归随机搜索算法、Java图形界面、Hadoop平台进行设计研究。经过测试,在选用服务器为Intel Atom D510时,金融机构大数据抓取软件系统优化模块在Hadoop集群上开展优化,系统任务执行时间变短,比原来的数据时间缩短了5%以上,优化有效。     

基于Hadoop的高校大数据平台构建研究

高校业务系统数据资源的结构、内容以及数据利用价值还不够清晰，尚未真正发挥应有作用。以笔者所在高校为例，本文介绍基于Hadoop的“智慧校园大数据平台”的数据建设方案。文章根据学校现状提出适合高校信息化建设的数据治理方案，主要通过Hadoop分布式系统架构为大数据存储提供底层支撑，通过共享数据中心存储权威数据，通过智慧校园大数据平台实现数据流调用和共享，为大数据分析和决策提供依据。     

一种面向大数据平台容器的轻量化安全防护方法

容器又称Container,是一种基于轻量化的虚拟技术。轻量化特性使其在大数据平台中有广阔的应用前景,尤其在分布式机器学习方向,以Kubernetes和容器为核心的机器学习系统已逐渐成为行业标准。然而容器本身的安全问题,逐渐成为公众所关注的焦点。尤其如容器镜像安全、容器逃逸及提权、容器漏洞攻击及利用等问题成为了运营及维护人员在实际容器化过程中不得不面对的技术挑战。文章将系统分析容器技术在大数据平台中落地过程中所面临的具体安全问题,并结合实际的环境提供相应的轻量化安全防护技术。并设计了针对大量容器的镜像轻量化扫描方案,将容器镜像的扫描过程降到秒级;同时,针对大规模数据平台的容器监控方案,将监控的计算资源损耗(如CPU消耗)控制生产环境要求的10%以内;最后,这里设计的针对数据平台的容器网络监控方案,在不影响生产环境的业务条件下,能实现轻量化全流量监控。     

基于Android系统的大数据推送平台研究

移动互联网与社交网络的兴起将大数据带入新的征程,在大数据时代,移动互联网用户如何及时有效地获取信息也成为一个问题。针对大数据对移动互联网用户的影响,提出一种基于Android系统的消息推送平台,推送平台通过建立数据与用户之间的连接,将经过分析后的优质数据及时的传递给用户,分析推送平台的实现原理,并对其应用场景进行简单的分析。     

基于Hadoop的大数据高校舆情监测系统研究

基于大数据平台Hadoop对高校学生的校园生活、学习等方面数据进行抓取,再进行关联、聚类分析,将学生进行不同维度的预警画像,给出预警,从而达到减少各类安全事故的发生,促进学生在校园健康积极向上生活的目的。基于Hadoop的高校舆情检测系统是智慧校园的重要组成部分,具有较高的实际应用价值。     

基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

基于Hadoop的电信大数据平台能力开放策略研究

随着大数据时代的到来,以及电信运营商正在推行去“IOE”,电信运营商开始将企业核心数据迁移到基于Hadoop的大数据平台进行大数据业务的开展.由于电信数据特有的真实性、敏感性,以及支撑电信运营商大数据业务厂商的多样性,大数据平台存储能力开放、计算资源开放、数据开放的安全已成为制约大数据业务开展的关键因素.提出了一种基于Hadoop的大数据平台能力开放策略,解决电信运营商大数据平台能力开放面临的难题,提升电信运营商开展大数据业务的能力.     

基于GRU-SVM神经网络的大数据入侵检测方法研究

根据RNN神经网络与LSTM神经网络运行特征,优化LSTM得到变体GRU神经网络,并建立了GRU-SVM算法,并跟传统Softmax分类器进行了对比.通过实验测试发现GRU-SVM的dropout率为0.88,GRU-Softmax的dropout比例为0.81.GRU-SVM获得了比GRU-Softmax更短的训练时...     

大数据技术在计算机网络入侵检测中的研究

传统的网络入侵检测技术无法识别错综复杂的网络攻击,提出以大数据技术构建网络入侵检测模型,采用数据挖掘中聚类、分类和关联规则算法自动识别网络中攻击模式,这种方式能够快速学习和提取网络攻击的特征形态。仿真实验表明,基于大数据技术的网络入侵检测技术能够获得较高的攻击模式识别准确率。     

基于大数据平台的电力设备运作状态监测系统研究

针对目前电力设备运作状态监测系统焦点都在集群的硬件索引上,对电力设备的线状、性能、节点状况和指令反馈等数据层的监控不足,本文采用大数据技术对电力设备运作状态的显著性及统计因子变量进行相应的决策分析,建成一套通过主动监测设备潜在的运行状态变化的多元回归系统模型。从而有效解决了电力设备运行过程实时监控,潜在故障预警、评估、回溯管理等问题。通过宁夏电力公司的试运行结果表明该模型平台能预期捕获电力设备运作状态下的各项影响变量因素,对这些因素进行掌控将广泛应用于电力设备运作部署与运维。据此结论为该大数据平台的电力设备运作状态监测系统,可自定义设备运行分析报表,实现数据分析结果的随需展现,起到保障电力设备安全、可靠运作,具有一定的推广意义。     

基于Hadoop的钢铁生产大数据存储平台研究

大数据平台在钢铁企业的部署对产业转型和升级有重要作用。钢铁产业大数据具有明显的实时性、动态性和不确定性等特点。为应对Hadoop分布式文件系统在处理实时工业数据流显现出的一些不足,提出了基于分布式Name Node节点的HDFS。对基于分布式Name Node节点的HDFS进行了总体设计,包括Top Name Node和分布式Name Node的主要功能和工作机制。分析了分布式Name Node节点的HDFS的性能优点。提出了在虚拟化资源管理平台上搭建基于Hadoop的动态可伸缩的分布式文件存储平台。将基于知识工程的方法和基于数据驱动的方法相结合,建立了一种新的混合故障诊断模型。最后对分布式钢铁生产大数据存储平台的优势进行分析。     

企业级Hadoop 大数据平台安全管理方案的研究

本文旨在对企业级Hadoop 大数据平台安全管理机制进行探究。首先介绍当前企业级Hadoop 大数据集群安全管理方案存在的问题和不足;然后结合当前Hadoop 生态圈安全管理组件的发展现状和第三方安全信息管理解决方案,针对现有的Hadoop 大数据平台安全管理机制的不足进行优化和整合;最后提出了以Ranger+FreeIPA(Kerberos+LDAP)为整体的Hadoop 大数据平台安全管理解决方案。     

基于大数据平台的PM2.5监测预警系统研究

介绍了PM2.5监测预警系统的架构,分析了PM2.5云监测仪的构成要素以及数据立方大数据处理系统的优势,论述了应用大数据技术的必要性,列举了成功案例,并通过精确度实验证明了PM2.5监测预警系统较好的实施效果.     

基于Hadoop农业大数据管理平台的设计

信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢？是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海量的农业大数据待存储、管理和处理.本文以成都农业科技职业学院彭州葛仙山农业示范基地的农业信息化建设为背景,根据农业物联网和信息化建设要求,构建高性能基于Hadoop农业大数据管理的平台,实现农业大数据的安全可靠存储、智能管理与应用,最终达到对农业生产的智能预警、智能决策和智能分析的目的,并为农户提供专业的指导.为我国进入精细化种植、精准化控制、可视化管理、智能化决策的智慧农业时代奠定基础.     

Hadoop平台在大数据处理中的应用研究

介绍Hadoop平台的基本概念．着重分析其中的HDFS和MapReduce这两种核心技术。详细描述Hadoop集群环境的搭建过程,将Hadoop应用到一个文件发布系统中,针对不同数量级的文件在集群数不等的情况下对文件上传操作进行耗时比较。实验结果表明,数据量越大,集群节点数越多,Hadoop集群处理数据的能力就越强。     

基于水资源监测的多元大数据平台研究

目前,大数据技术在水利行业的应用尚在起步阶段,现有的大数据平台研究多局限于水利层面内的数据联系,忽视与水利紧密相关的环保、气象等数据间的关系,因此需要构建多元数据下的水利大数据平台。分析大数据平台的研究现状及不足,以水资源监测数据为基础,引入环保、农业、国土、气象、工商等行业数据,探究多元数据下的大数据平台构建方法,阐述多元大数据平台的建设目标与平台架构,探讨数据采集平台、模型库、分析算法库、业务平台构建的关键技术,并结合山东省国家水资源监控能力建设项目,给出大数据平台的应用与效果展示,以期为水利大数据平台的建设提供思路。     

基于Hadoop平台的OLAP煤炭销售数据分析系统

针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。