基于大数据分析的网络安全防御技术研究

目前,网络安全防御技术功能单一,防御能力低,为此提出了研究基于大数据分析的网络安全防御技术。通过建立感知数据源,确定要采集的数据源,采集防御链条下的终端、边界、服务和应用等各类安全数据,并收集威胁网络安全的数据,形成网络访问行为数据摘要。在此基础上,引入数据检测技术,保障传输的安全性,达到维护网络安全的目的,同时,利用大数据的分析结果,根据攻击者的行为数据进行监测并提前报警,完成基于大数据分析的网络安全防御技术设计。     

大数据背景下数据分析服务的市场分析

对提供大数据技术服务的电商,分析其现状和商业需求,并通过爬虫技术爬取大型电商网站关于大数据分析服务的真实信息.研究当前小型数据分析服务和个人数据分析服务的销售价格、月销数量、顾客评分等.结合词频分析和统计技术,分析大型电商网站的大数据分析服务质量、价格、服务种类.研究发现,现有的基于大数据技术的电商服务存在定价不清、质量难以保证、客户评价真实性存疑等问题.针对问题提出标准化数据市场、引入第三方监管、建立成熟的收益机制的建议.     

面向烟草行业研发应用的大数据分析平台

烟草研发体系具有业务广泛、数据庞杂等特点,影响大数据分析技术在烟草研发领域的推广应用.构建面向烟草行业研发应用的大数据分析平台,遵循全局数据应用的整合思维,封装多源异构的烟草研发数据的采集与存储过程;采用应用场景驱动与数据分层融合策略,完成数据主题化规范化管理;设计并开发数据分析过程可视化编排器,简化数据资产价值挖掘过程.该平台能够让"非数据专家用户"更专注于烟草研发业务,有利于推动大数据分析技术在烟草研发体系中的应用.     

面向电力大数据的异构数据混合采集系统

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.     

基于Scrapy的大数据学情分析系统就业岗位数据爬取

大数据学情分析系统开发主要涉及构建大数据平台、采集岗位信息、数据存储、数据处理、数据分析、数据可视化、上线部署等关键环节.其中,采集岗位信息环节需要借助Scrapy爬虫框架从招聘网站采集就业岗位数据,配置爬虫数据萃取表达式,对采集到的HTML内容提取出csv格式,数据内容包括岗位、公司、月薪、福利、职位描述、职位要求等.对采集数据进行简单的筛选,保留有价值的信息.在资源条件有限的前提下突破网站的反爬策略实现数据爬取是一个难题,以实现某网站爬虫为具体案例,简要介绍从需求分析、设计方案以及具体技术实现过程,并对爬取过程中页面结构不一致、边界、去重、突破反爬机制等问题进行总结.     

基于大数据分析的异常通信信号智能检测系统设计

本文设计了基于大数据分析的通信信号智能检测系统.基础设施层在VM虚拟机上创建多个Xen虚拟机,通过数据持久化设计实现信息虚拟化存储与管理,并将采集的数据通过网络通信层传输至核心服务层,核心服务层采用大数据分析方法构建通信信号检测模型,通过捕捉相邻信号之间非线性时空动作,评价相邻行为之间工作状态的关联性,预测信号行为后续工作状态,实现通信信号检测,并将识别结果反馈给用户接口层实时查看.实验结果显示,该系统的通信信号检测正确率始终高于95％,识别结果准确、可靠;异常信号检测的漏拒率较低,且识别效率高,具有全面、高效的特征.     

基于机器学习与大数据分析的无线通信系统安全态势感知预测

以提升无线通信系统安全态势感知预测精度为目标,基于机器学习与大数据分析研究无线通信系统安全态势感知预测。采集无线通信系统内的报警信息,通过数据清洗、数据集成等步骤预处理所采集数据,将完成预处理数据存储于数据库中,便于大数据分析技术挖掘关联规则过程中随意调取;利用模糊分区聚类的大数据关联挖掘算法区域分割处理海量关联数据挖掘关联规则,将完成关联规则挖掘的数据利用GA-RBF算法实现安全态势感知预测,并将预测结果发送至态势展示界面。实例分析结果表明,采用该方法感知预测无线通信系统安全态势精度高于99%,可满足无线通信系统安全态势预测需求。     

基于ETL-KETTLE的贵州卷烟营销大数据分析及可视化

为了实现对贵州卷烟销售大数据的分析及可视化,基于开源数据分析工具KETTLE构建了ETL过程模型,对现有的卷烟销售基础大数据进行抽取、转换、加载,形成分析型数据,快速高效地实现了数据集成.经过ETL处理的集成数据,为卷烟销售大数据可视化系统及进一步的数据挖掘、决策支持提供了数据基础.同时,采用GIS平台构建和可视化技术,设计并实现了卷烟销售大数据可视化分析系统,为企业的数据分析和决策支持提供了数据展示及分析平台.     

浪潮发布国内首款金融大数据一体机 在所有测试产品中用时最短

正3月18日,浪潮正式推出国内首款面向金融行业的大数据定制机——浪潮云海金融大数据一体机。该产品是浪潮与国内领先的金融信息化解决方案供应商南天信息联合推出面向金融行业的大数据挖掘、分析平台。浪潮云海金融大数据一体机,基于分布式开放架构的浪潮云谷CloudCanyon,采用了Share Nothing架构设计,具有弹性扩展、即付即用、性能强劲、安全可靠四大特点,其应用了FPGA加速技术、SSD加速缓存技术等多项优化技术实现了整体性能的大幅提升,数据导入     

基于大数据技术的数据分析处理平台设计与实现

针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题,综合应用MapReduce、Hive、Sqoop等大数据技术,结合Scrapy数据采集框架,设计一种数据分析处理平台,利用SpringBoot及Vue技术搭建Web系统,实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理,得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果,分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。     

基于大数据技术的石油数字化平台设计

大数据技术成为驱动石油化工服务类企业数字化转型的有效手段,基于大数据技术的石油数字化工作平台建设是石油化工服务类企业的大数据应用实践,该技术整合了企业营销、生产、经营等多个板块的多种业务,串联了企业数据采集、存储、治理、挖掘、分析及应用的整个数据生命周期;从石油化工服务类企业数字化发展现状及遇到的问题出发,结合大数据技术的发展及优势,提出了基于大数据技术的石油化工服务类企业石油数字化工作平台建设方案,通过对大数据故障信息进行提取,应用DBN大数据学习算法模型实现石油全寿命周期管理的数据计算和处理;通过实验,文章研究的方法数据处理准确度大于90%。     

基于海量结构化数据条件下的数据服务云平台研究

随着信息化的不断深入和科学技术的提高,数据库技术和网络技术已经帮助企业实现了办公自动化、经营决策管理信息化和生产过程信息化,但是信息量的扩大给信息的采集和长久保存带来了困难,传统的信息处理技术以及Hadoop技术都不能实现海量结构化数据的处理,为了更好地提升企业决策的思维广度和获取信息的完整度,文章＂数据服务云平台＂进行了研究和分析,这种站在全新的大数据应用高度,对新的技术架构进行探索和研究的方式,能够更为合理的解决企业大数据应用的关键技术难题。     

基于大数据的农产品信息服务云平台设计

针对现有农产品信息服务存在的数据质量低、整合难、流通差等问题和大数据时代的工作要求,依托物联网、大数据、云计算等技术,设计一种基于大数据的农产品信息服务云平台。数据获取层主要利用物联网感知采集数据,在大数据中心完成数据转换、处理、分析,通过应用层可视化展示实现"4A"应用。平台进行云化管理,为不同参与主体提供按需服务,将大数据技术应用于农产品信息服务领域,实现农产品大数据的实时共享,有利于农产品数据资源的有效充分利用。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

面向社会公共服务大数据安全技术 实验室设计及作用分析

本文主要研究设计并建立面向社会公共服务平台大数据安全技术实验室的技术方法,对该实验室建设完成后 的能力与作用进行分析,规划出其围绕大数据中心、云平台开展研究、开发、测试、评估、验证、校准、纠正服务工作,实现对各类 信息数据的采集与处理的安全性、可控性进行测试与验证,对敏感数据的分级管理与保护能力实现综合评估,对保证数据交换 的完整性、保密性、可用性以及保护个人隐私数据的能力进行认可与验证的工作思路。     

基于微服务的石油大数据挖掘平台

为推进大数据技术在油田领域的快速融合和应用，提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台。平台融合各类大数据分析框架和机器学习框架，设计面向油田领域，能够支持实时和离线处理的数据挖掘功能。基于Docker容器封装各类计算框架和算法服务，并基于Kubernetes框架完成容器的编排与调度。在系统的架构方式上采用基于微服务的架构方式，将不同技术栈的应用独立分解为单个服务模块，以此来保证业务系统服务的可靠性、可扩展性。这使得企业数据分析人员能够专注于业务数据分析问题，而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节。     

基于SQL-on-Hadoop查询引擎的日志挖掘及其应用

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生。为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算。对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点。采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论。实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础。     

大数据背景下智慧教育云平台构建研究

基于神经网络教育平台存在资源获取速度慢的缺点,针对该问题,提出了大数据背景下智慧教育云平台构建研究。在大数据支持下,设计智慧教育云平台总体架构,通过物理层、虚拟资源层配置相关硬件设备,经过逻辑层和展现层为用户提供有效服务,利用现有智慧信息,为用户提供个性化服务。优化处理Web端框架代码,降低代码复杂性,注重系统权限管控,科学设计服务功能,完成智慧教育云平台构建。由实验结果可知,该平台资源获取速度最高可达到99.5 MB/s,有效提高了学生学习效率。     

基于云计算的健康医疗大数据平台

中国新医改的大背景下,用互联网+、大数据等技术助推进行深化医改,让改革红利惠及更多群众,加快健康信息化资源体系建设,实现全区域数据共享、全过程业务监督、全方位数据分析、跨部门业务协同、全流程惠民服务的全面健康医疗大数据平台应运而生。平台运用大数据与云平台技术、OLAP多维分析、SOA体系结构,解决了制约平台建设的系统分割、业务流程不统一、以及纵向信息系统的“孤岛”问题。     

基于Hadoop的生物质能源工程数据资源管理平台

针对我国生物质能源工程信息化程度比较低的现状,结合当今流行的大数据处理技术,基于Hadoop开源框架设计并且实现了生物质能源工程数据资源管理平台.介绍了平台的主要功能模块,包括生物质能源工程的管理、监测指标的管理、实时监测、反欺诈模型的管理、统计分析等.对平台建设中的关键技术包括数据获取、大数据存储、大数据处理、负载均衡等做了深入研究.旨在将物联网技术,互联网技术和大数据处理技术与生物质能源工程有机的结合起来,提高生物质能源工程的信息化水平,保障生产安全,优化工艺流程,实现效益最大化,为同类工程的建设提供理论和实践依据.