基于Elasticsearch的高校无线网日志分析

高校师生逐年递增,带来了大量的无线用户数据,需要从海量数据中快速精确地检索出有价值的信息进行分析。作者利用ELK技术对无线AP控制器的用户日志进行实时采集和处理,重点探讨了利用Elasticsearch通过postman操作数据检索、聚合分析等技术手段对用户行为进行实时与历史分析。使用Springboot集成ES客户端进行底层操作,形成方便处理的数据格式和分析结果,为后续展示层提供依据。     

实时数据库异步增量数据处理方法与性能分析

对实时数据库海量数据的高效处理技术一直是企业数据管理与分析工作面临的挑战性问题.文中针对实时数据库中的海量历史数据,设计了对其进行统计分析的异步增量数据处理方法,从方法应用层面给出了用户事件驱动和定时服务两种调用方式.实验结果表明,该方法减少了海量实时数据的统计计算时间,有效地提高了数据分析的响应性能.     

基于Hive的Web日志分析

随着网站访问量的急剧增大,企事业单位的Web日志数据量日益庞大。传统方法对海量数据处理较为困难,基于开源分布式Hadoop平台的Hive数据仓库为海量数据分析提供了直观、便捷的方式。采用Hive对企业Web日志进行处理,对用户浏览行为进行统计、分析,对维护网络空间安全具有指导意义。     

云计算在校园物联网中的应用研究

针对校园物联网中产生的海量数据,本文把云计算技术和校园物联网技术相结合,设计完成了一个基于云计算技术的校园物联网云平台系统。给出了云计算的特征及物联网的体系结构,研究了云计算在校园物联网中的应用,将校园物联网中的云计算划分为感知层、传输层、支撑层和应用层。该计算平台是处理、共享、整合海量数据的数据中心和服务中心,可以处理校园物联网中产生的海量数据,并可根据用户需求动态的分配资源,用户也可随时申请或释放共享资源,既提高了服务质量又降低了运营成本。该系统在校园物联网中具有广阔的应用前景。     

专业气象服务业务工作平台实现

根据省级专业气象服务的需求和业务工作流程的需要,设计开发了业务系统工作平台,平台针对专业气象服务产品制作数据来源的多元化,进行了资料采集的实时数据监测及分类处理,具有专业用户分类管理和用户权限相结合的统一集成的专业气象服务产品多功能制作界面,能动态生成每天专业气象服务产品制作流程,系统可对用户制作的产品进行产品预览、存储、发布和系统用户日志管理等操作,实现了集数据信息采集处理、产品加工制作、产品分类发布、业务功能管理等功能的省级专业气象服务业务工作平台.     

基于云计算的电子商务推荐系统研究

通过对云计算系统架构、平台开发、用户行为分析、电子商务应用等方面的研究,提出了一种新型的分布式存储系统,并在此基础上构建了一种新的智能化电子商务个性化推荐系统。该推荐系统有效解决了大型日志数据存储、无法实时推荐、算法伸缩性低等问题,为用户提供动态、实时的个性化服务,实现了商务推荐引擎的个性化和智能化。     

基于Hadoop的鼓风机工业数据处理和存储系统

针对现有工控网系统不能高效稳定地接收并处理来自工业现场的海量传感数据问题,基于Hadoop框架,采用消息队列遥测传输(MQTT)作为数据接入协议、EMQ消息队列服务器提供订阅发布接口、Flink作为流计算平台、Kafka作为消息队列缓存分流以及OpenTSDB数据库作为数据存储,设计并实现鼓风机工业大数据处理和存储系统。实验表明,此系统消除了工业制造过程中产生的海量数据信息孤岛,实现生产设备状态动态监测及实时预警。     

综合智能电力系统动态监视平台及其应用

提出基于虚拟中心数据库的多数据源综合智能电力系统动态监视平台,该平台基于虚拟中心库实现不同应用系统的界面统一和数据共享,而不需对数据进行大量的转移和复制;采用考虑电力系统数据特点的高效无损数据压缩技术,提高平台对海量数据的实时存储和处理能力.并以该平台为基础开发基于PMU动态测量数据的各种电力系统监视和分析应用功能,主...     

基于大数据和机器学习算法引擎的电商侵权监测系统

提出一种基于大数据和机器学习算法引擎的电商平台侵权动态监测网络系统的设计方案. 重点介绍大数据远程采集系统、数据实时监测分析平台和核心算法引擎模型设计. 大数据远程采集系统包括远程服务器云平台和大数据分布式采集程序,系统通过Web信息采集器来完成精确采集各大商家、网络平台等的所有相关数据;数据监测分析平台是将信息的深度学习、单词嵌入、共同表征等相关算法转换为程序,用于分析处理由采集数据数字化的商品所涉及的知识产权信息. 核心算法引擎基于传统舆情分析和自然语义处理技术,构建商品特征及用户观点挖掘模型,从而实现电商产品知识产权数据的搜索、分析、保存、预测等功能. 该系统可有效降低侵权打假成本,为品牌商维权和知识产权保护建立一个可靠的渠道.     

基于MongoDB的Web信息采集系统应用研究

在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题.文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试.测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息.     

海量数据管理平台统一接入访问工具的设计与实现

简要介绍了实时数据库的特点及数据在实时库中的存储结构,利用关系数据库和实时数据库的核心技术,实现了海量数据管理平台对准实时数据的统一接入、存储、共享及访问;着重介绍了3种海量数据接入方式的设计与实现,并分析了各种数据接入方式的适用范围.     

基于Hadoop的Web应用日志挖掘

互联网上的大型站点每天都会产生大量的Web应用日志,这些日志中通常蕴藏着丰富且宝贵的信息,单节点的数据挖掘系统已无法满足挖掘海量Web日志的要求.针对该问题,研究利用云计算技术在存储和分析数据的优势,采用分布式数据挖掘方法,验证了以分布式模式挖掘日志较单机的集中模式的效率优势,提高了海量日志挖掘过程中存在的时空效率.     

基于分布式云数据中心的城乡规划大数据集成处理平台

基于分布式云数据中心,结合Hadoop架构,构建了城乡规划大数据集成处理平台,为海量多源的城乡规划大数据提供可扩展、连续的处理支持,满足其多样化、动态化的应用需求。以多源异构的城市POI及二手房数据为例,进行融合处理与存储测试。研究结果表明:系统能够在较短时间内处理多源海量数据,为用户请求提供完整而不冗余的信息。     

基于日志的异常软件使用模式检测

提出了使用日志的孤立点分析方法,对日志数据进行预处理,确立合适的挖掘粒度,刻画出正常模式。陇进的方法可对规模较大的数据集进行异常检测,在降低误报率的同时,大大提高检测率,并达到理想的时间效率;使系统定期分析用户日志,从中自动找到可疑的日志,及时预防或者处理非法操作的现象,提高检测系统的智能化、准确性和检测效率。     

高温回热器性能试验测控系统

高温回热器性能试验测控系统能自动完成数据的实时采集、过程控制、数据处理、归档、日志及报表的打印等全部工作。系统采用了模拟量智能控制流量和温度,大大缩短了试验时间;一次仪表、二次仪表的结合,提高了测量的精度。     

一种基于Storm及Hadoop的海量日志安全分析系统

针对海量日志流安全分析的问题,设计一种海量日志安全分析系统。该系统将开源框架Storm与Hadoop进行整合,通过正则表达联动检测机制和基于FP-Growth算法的离线关联分析来探测日志流中的网络安全事件,实现识别安全事件无需人工干预。实验结果表明,该系统对各类网络安全事件具有较好的识别效果。     

基于Storm的物联网海量实时数据流处理研究

针对物联网中数据实时与异构的特点,设计了基于云计算的海量实时数据感知与处理模型。结合海量实时数据并行处理机制与数据处理流程,利用开源实时处理系统Storm,实现了海量实时数据流处理过程,并给出了核心实现方法。     

利用大数据平台簇技术提高商业银行客户数据管理水平的研究

为提高商业银行大数据平台用户数据管理效率,在对用户业务数据种类划分、相关属性和对应数据子集合关联的基础上,定义银行客户账户和对应日志数据外表,采用关系数据平台关联技术组织客户数据,并基于客户账号实现客户数据的关联管理.在分析样本客户关联业务数据表的基础上,设计一个有相同账号且包含多个流水数据的物理存储子集,通过测试程序对客户业务主表和日志外表进行联合访问.结果表明,该技术缩短了目标数据检索时间,提高了数据管理效率.     

四足机器人远程监控平台设计与实现

针对森林探测，森林防火等复杂情况下，需要特种机器人进行工作，建立完善的针对特种机器人的远程监控平台，实时监测机器人运行状态可以预防事故发生。以ROS开发的四足机器人为研究对象，开展了云平台的机器人远程监控系统的分析设计工作，整体系统由数据通信子系统和后台管理子系统两大部分组成。数据通信子系统采用WebSocket协议，实现全双工通信；后台管理子系统采用前后端分离方式开发，结构清晰且利于升级维护。就所设计的远程监控系统进行了验证性实物实验。实验结果表明：机器人端可以收到并响应用户下发的控制指令，用户端可以读取并通过可视化界面监测机器人关节电机等期望状态信息，并能够对实时曲线上关键数据进行保存，以及对保存后的数据进行在线数据管理。实验结果证明本研究所设计远程监控系统满足设计需求并具有可用性和易用性。     

基于Hadoop的流量日志分析

以电信类公司日志文件为分析模板,结合大数据技术,对流量日志的数据进行分析,获取用户的行为特征,明确网站改进方向,为电信类公司本身的业务提出合理化建议,实现数据的最大价值化。整体架构以Hadoop3.1为基础,搭建分布式数据存储分析的大数据平台,结合Sqoop、MySQL、Flume等,实现日志数据分析的架构设计,数据结果最终通过Sqoop工具由HDFS导入到MySQL数据库存储,并对结果进行分析,为完善系统提出改进方案。