基于概念漂移检测的大数据交易过程模型优化方法

通过大数据交易过程模型优化,实现对大数据交易过程的精确建模,对于构建稳定、鲁棒和精确的交易平台至关重要.然而,大数据交易流程随时间而变化,传统的静态模型优化方法无法反映现实流程模型的时态变化特征.为此,本文提出一种基于概念漂移的大数据交易模型优化方法,在概念漂移点检测和定位的基础上,设计大数据交易日志分割算法,演算日志精准分割点,构建具有时变特性的大数据交易分段模型,实现基于日志分割的模型优化.该方法在天元大数据交易平台的应用实践表明,优化模型在拟合度和精确度方面均优于静态模型,对大数据交易演化过程的适配性更强.     

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。     

基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如：海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。     

基于深度学习的网络防火墙日志数据智能分析方法

本文提出了一种针对网络防火墙日志数据的智能分析方法,该方法首先将日志数据用Word2Vec模型处理为词向量,然后通过CNN模型的卷积层自动从日志数据中提取文本特征,然后通过Softmax层对日志数据进行分类。为了证明该方法的有效性,使用真实的日志数据进行实验,并与传统的SVM、决策树模型进行对比。实验数据显示,本文提出的方法在日志数据分析上具有较强的泛化能力,精确度高并能有效改善防火墙的综合分析与防护能力。     

基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法

业务流程预测可以有效帮助企业进行流程控制和传递高质量服务,因此作为此类场景中的核心任务之一,业务流程剩余时间预测得到国内外学者的广泛关注.当前,在利用深度学习技术对业务流程剩余时间进行预测时,大都采用传统长短期记忆循环神经网络,然而,由于长短期记忆循环神经网络在处理序列数据的过程中缺乏并行性且建模能力有限,使得预测准确度还有进一步提升空间.因此,本文提出一种基于双向准循环神经网络和注意力机制的业务流程剩余时间预测方法 .首先,该方法以双向准循环神经网络构建剩余时间预测模型,并在预测模型中融入注意力机制增强双向准循环神经网络输出的特征信息.其次,设计了一种基于不同长度轨迹前缀训练迭代策略,解决流程实例中不同长度轨迹前缀数量存在差异性的问题.最后,提出一种基于Word2vec的事件表示学习方法,实现对同一轨迹且经常出现事件的相似性向量表示,从而达到提高剩余时间预测准确度的目的.经在5个公开事件日志数据集上实验,本文方法与已有方法相比在预测准确度上平均提高近15%,模型训练时间平均缩短约26%.     

基于设备日志的异构网络问题发现及预警方法

本文主要研究在NFV场景下应对接入种类繁多的日志，基于预警规则的日志问题发现及预警方法。具体方法为基于全量日志正文数据，对细分网元的日志量进行统计，得到网元日志量监测数据和日志正文表达式监测数据，结合自动化处理与AI算法初步生成问题发现规则集和历史预警数据集，引入时间序列异常检测算法，提升问题预警的智能化水平，进一步对自动生成的规则通过专家经验进行确认，得到有效的规则集合。经过验证，采用以上方法在生产环节可得到有效规则，并生成预警数据，实现精准监测日志量异常、发现问题日志并产生预警。     

大规模查询日志分析模型构建机制

日志分析在用户搜索方面具有重要的意义,但是现代日志分析系统中具有多方面的问题,比如离线处理模式的处理时间较长,大量的数据没有办法进行处理.实现日志数据的分级归档,能够优化处理大数据.基于此,本文就提出了以Hadoop为基础的大数据日志分析模型,并且对其中的业务处理流程和功能架构实现全面的分析.实验结果表示,本文设计的大规模查询日志分析模型具有较强的扩展性、良好的数据处理能力,并且还具有有效性及可行性.     

一种基于查询事件的域名服务器日志模型

提出了一种基于查询事件的日志模型,采用查询/应答日志匹配的方法完整的记录了一次查询事件,利用内存数据结构提高了海量数据写入的I/O效率;在日志分析过程中对日志文件建立二维哈希索引,利用布隆过滤器减少磁盘I/O次数,提高了分析效率.     

面向服务的信息安全威胁分析模型

基于面向服务的设计思想,提出了一种全新的信息安全威胁分析模型,模型以面向服务为中心,将安全威胁分析的工作分域治之,并通过服务的形式完成威胁分析域之间的信息交互。模型实现方法灵活,能充分利用威胁信息。使用上海2010年世界博览会期间信息安全管理系统接收到的告警及日志信息对威胁分析模型进行了测试,测试结果表明模型不仅有较高的告警准确率,而且对大时间尺度事件、多步事件的发现有明显的优势。     

基于大模型实现因果推断的探讨

大模型是利用海量数据形成庞大参数量的机器学习模型，而因果推断是推断和理解事件、变量或行为之间的因果关系。从大模型与因果推断相互结合的可能性和难点、大模型预训练、因果模型的人类反馈学习过程和微调技术等方面进行探讨，论述了大模型具有发现潜在因果关系的机制和因果关系预测及解释的潜力。此外，归纳了部分大模型开源工具，可用于快速实现大模型训练、验证和部署。     

面向大数据的数据服务中心设计与应用研究

大数据管理对传统的基于关系数据库管理系统为核心的数据管理服务平台提出了挑战,研究开发支持结构化和非结构化数据统一管理的数据管理与服务中心成为一项非常迫切并且重要的任务,汇总分析出大数据服务中心四项关键技术,采用可配置泛化表模型等技术,设计了基于Hadoop平台的数据服务中心系统原型BIG-DMS和基于BIG-DMS的数据综合服务平台应用方案,支持结构化和非结构化数据的统一存储、管理和访问服务。     

智能电网电力大数据高性能处理方法优化

传统的电力大数据处理方法难以控制数据的全局变量,导致数据处理工作量过大,影响处理效率。为此,文中基于SaaS模式设计了新的智能电网电力大数据高性能处理方法。首先建立SaaS模式下的数据处理平台,并确认数据处理目标函数的最大值与最小值。在完成目标函数确认后,通过构建多维超立方数据模型控制数据全局变量,在此基础上,使用神经网络处理电力数据,通过消除数据偏差,保证处理后的电力数据可直接通过在平台上使用。实验结果表明,与传统处理方法相比,文中方法的载入和处理速度更快,充分证明了该方法的可行性。     

云灾备的数据修复技术

基于纠错码的云灾备系统的关于降低修复带宽的最新研究成果,文章讨论了云灾备系统中存储节点失效的修复问题。文章指出数据修复问题有3种模型:精确修复、功能修复和系统部分精确修复。在精确修复中,失效的模块需要修复精确的丢失编码包;在功能修复中,新产生的编码包可以包含不同于丢失节点的数据,只要修复的云灾备系统支持最大可分离距离(MDS)码属性。系统部分精确修复是精确修复和部分修复的之间的一个混合的修复模型。     

共享开放的运营商大数据平台架构研究

当前电信运营商大数据业务模式和应用场景日趋清晰,对内对外大数据应用支撑要求搭建集约和开放共享的大数据平台。Hadoop生态系统的更新与扩展、混合计算模式与内存计算等技术发展为大数据平台建设提供了新的技术思路。文章通过分析运营商大数据建设面临的业务和技术新形势,提出近期运营商大数据平台建设向共享和开放能力平台的演进方向和核心要求,并从总体架构、技术架构等方面详细给出一种集约、融合、开放的运营商大数据平台架构设计方案及其工程实践案例。     

流计算大数据技术在运营商实时信令处理中的应用

基于Hadoop搭建的大数据平台采用离线批处理的方式,无法满足对数据实效性敏感的业务要求。针对运营商动态数据信息开放大数据平台的实时信令处理要求,对流式计算大数据组件进行了分析,介绍了与流计算大数据相关的实时采集、汇聚和处理组件,形成了端到端实时信令处理大数据技术解决方案,并提出了融合批处理和实时计算的大数据平台解决方案,提高了网络信令数据的时效性,为业务创新提供更大空间,带来更多利益。     

面向政产学研的大数据产业学院创新模式

本文以南通大学阿里云大数据 “校政企”共建产业学院为依托,基于面向产出导向的课程设计理念,探索建立了面向政产学研一体化的大数据产业学院专业实践综合改革创新培养模式,与企业共建创新实践平台,协同开展大数据人才培养模式与课程实践改革。应用结果表明该创新培养模式将理论、实践与项目实战融为一体,提供了大数据专业一体化实践解决方案,在地方高校产业学院中发挥了较好的示范引领作用。     

电信运营商省级大数据平台建设方案探讨

大数据时代的到来,让传统电信运营商面临不小机遇。本文总结当前运营商 IT 支撑平台建设和企业数据分布情况,分析国内运营商大数据发展所处的阶段;给出大数据平台建设架构和技术方案,并对电信运营商大数据平台建设方案中的关键点进行研究。     

基于Hadoop的电信大数据采集方案研究与实现

ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义.首先简单介绍某运营商大数据平台采集的主要数据内容.随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案.继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象.最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系.实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果.     

电信运营商大数据能力开放平台建设

大数据正加速在各行各业的应用,数据的开放有助于运营商内部的聚合和共享,有助于服务千变万化的应用场景,对运营商开拓新业务具有重要意义.分析了大数据和云计算进行结合的背景,提出面向云计算的大数据开放平台整体架构和核心能力,对大数据开放平台的建设思路进行阐述,并对运营商在具体工程中进行大数据PaaS平台的规划和待解决问题进行阐述,为相关研究人员提供参考.