基于CEP的外汇自动成交系统的设计与实现

针对外汇自动交易行业对数据快速变动的敏感性要求,建立了一个基于复杂事件处理(CEP)和云计算技术的托管平台.在此平台上,托管用户可以通过云计算提供的API,设定自己的交易方式和处理方法,实现了用户的托管管理和动态事件绑定,降低了用户对本地硬件资源和网络带宽的要求.实验结果表明,通过CEP和托管特定事件触发方式,对于相同的事件分析和逻辑分析,平台响应速度提高5～10倍.     

银行系统异构数据库的整合运维研究

银行系统中使用的数据库类型和数量逐渐增多,这对银行系统的数据库运维提出了更高的要求.通过研究建立统一的数据库集中运维管理平台,实现了异构数据库的整合运维,节约了数据库运维管理的人力投入和厂商资源成本,达到了主动和预防性的数据库运维模式,提高了数据库运维管理的效率及事件处理的时效性,提升了银行系统的稳定性.     

地铁列车环境中多依赖复杂事件处理研究

针对多源海量实时数据的复杂事件检测中，原始事件流的分流处理存在事件检测准确率低及效率慢的问题，提出一种基于事件树的复杂事件检测方法。首先给出事件依赖关系的明确定义，然后根据原子事件间存在的多依赖关系生成原子事件树，以事件树为节点构造依赖事件树链表，提升复杂事件处理引擎的有效检测次数，使得事件检测的匹配效率得到提升。同时该方法减少了事件检测过程的内存消耗，提高了事件检测的吞吐量。仿真实验与案例研究证明了提出方法在海量数据处理上的优异性及可行性。     

面向实时事件流的复杂事件处理方法

复杂事件处理是一种动态环境下对事件流进行分析的技术。复杂事件处理技术通常基于有限状态自动机实现,匹配过程中会在事件流上产生大量且重叠的部分匹配,有限状态自动机需维护大量的重复匹配状态,导致基于该技术的方法都会出现冗余计算的问题。为了提高复杂事件处理的匹配效率,提出了使用复杂事件实例覆盖技术来实现复杂事件处理的方法。通过设计临时匹配链式分区存储结构以及基于此结构的匹配算法,来利用复杂事件实例覆盖减少冗余计算,从而实现匹配效率的提升。在模拟数据集和真实数据集上进行了实验测试与分析,与两种常用的复杂事件处理技术进行比较。实验表明,提出方法能够在保证匹配正确性的同时有效地减少匹配过程中的冗余计算,提高整体匹配效率。     

云计算中心运维数据可视化研究

针对云计算中心运维数据分散、可视化程度低等问题,提出了建设基于InfluxDB和Grafana的云计算中心运维指标可视化平台。该平台从多个维度对运维数据进行展示,使用户能够全面了解云计算中心运行情况,提高运维管理工作的效率。     

基于CEP的可持久化事件处理方案

针对现行复杂事件处理CEP(Complex Event Processing)平台没有提供完善的异常恢复、消息事件可持久化机制的缺点,以系统输出是否实时为标准,分两类分析并抽象出系统处理流程,进而提出了两种基于现行复杂事件处理平台的较通用的增强方案,并给出可广泛适用的处理过程描述,同时也对两类方案的优缺点进行了比较.     

分布式复杂事件流处理平台的研究

复杂事件处理是大数据时代的关键技术之一。针对现有的复杂事件处理平台存在的各种问题,提出并设计了一个以复杂事件流处理语言CEStream为基础的分布式复杂事件流处理平台,实现了基于正规树模式的事件检测功能,支持多数据源的复杂事件处理。针对多数据源组合事件模式的检测需求,该平台可以将复杂事件分解为多个独立的事件检测任务,部署在集群中不同节点和远端的事件检测代理上。实验结果表明,系统的吞吐量和响应时间达到了预期结果,可以满足目前主流的复杂事件处理的应用需求。     

智慧型IT运维监控管理平台的技术特点及实现

随着IT信息化的高速发展,支撑信息系统安全运行的IT运维监控管理平台为信息化应用提供了最基本的保障措施.如何建设好有效的IT支撑环境监控管理运维平台,是目前大规模IT应用环境中必须要考虑的问题.站在平台实现的角度,浅析了平台的技术特点,以安全对象管理为基础,以风险管理为核心,以事件管理为主线,通过深度数据挖掘、事件关联等技术,辅以有效的网络管理与监视等功能,对企业内部各类安全事件进行集中管理和智能分析,最终实现对安全风险态势的统一监控分析和预警处理,为大规模信息化应用环境中的IT运维平台建设提供参考.     

复杂事件处理技术的应用现状及展望

复杂事件处理(CEP)是一种针对实时事件流进行检测、处理、分析和挖掘的有效手段。对CEP的核心概念、基本构成要素等进行介绍。梳理CEP技术的主要应用,包括物联网、云计算、网格计算、商业过程管理及计算金融等领域。基于上述应用,阐述基于云计算的分布式并行CEP技术。通过分析流处理系统的需求,指出基于云计算的CEP技术是未来CEP系统发展的一个重要方向。提出一些可采用基于云计算的CEP技术来进行复杂事件流处理的新领域,包括基于CEP技术的电网智能化控制以及仪器控制和智能测量等,对CEP技术应用的新领域具有指导意义。     

RFID物联网复杂事件模式聚类算法研究

随着近年来物联网技术的发展,其应用领域已经覆盖到了人们的工作和生活的各个领域,作为物联网的关键技术之一RFID技术也得到了广泛应用;随之而来的数据量的不断递增,传统的物联网数据处理方法遇到了瓶颈。复杂事件处理（Complex Event Processing,简称CEP）技术的提出是有望解决大数据挑战的技术之一。然而,当事件流形成大数据时,目前的有效获取事件模式方法和技术都存在很多不足。针对这一问题通过基于云计算平台Hadoop聚类算法,有效的改变了传统技术面临海量数据的局限性。实验结果表明了提出的事件模式聚类算法有效性。     

一个基于事件驱动的面向服务计算平台

基于请求/响应调用模型的面向服务体系结构(Service-Oriented Architecture,SOA)的实现存在通信耦合程度高,协同能力不足的问题.事件驱动体系结构特别适合于松耦合通信和应用需要感知支持的环境.在面向服务的计算平台中提供事件驱动支持,可满足计算平台的松耦合通信与协同需求.文中给出了面向服务计算平台中事件驱动的框架,针对需高效处理事件流上复合事件的需求,在框架中设计了基于SEDA模型的并发事件处理与基于事件代数的事件流处理机制.在事件代数中给出了上下文语义和相应的检测算法,以实现高效事件流处理.实验表明,设计的事件驱动面向服务计算平台具有松耦合通信、协同计算、高效事件流处理和复合事件处理的特点,适应了目前动态多变的大规模分布式计算环境的需求,有着广阔的应用前景.     

云计算平台异常行为检测系统的设计与实现

针对传统网络安全设备对云计算平台中虚拟机内部发生的蠕虫病毒、地址解析协议(ARP)广播攻击等异常行为失效的问题,设计了基于VMware的云计算平台下异常行为检测技术架构,提出了云计算下有特征码的蠕虫病毒异常行为检测,和基于突变理论的无特征码的异常行为检测,并针对两种异常行为提出了"侦测-隔离-治愈-恢复"智能处理云安全机制.系统融合云计算下异常行为检测,云计算下事件与防卫管理,和云计算下ARP广播检测三种功能于一体.实验结果表明,系统能实时提供云计算环境下异常行为的采集及分析,每隔5秒自动刷新实时流量资料,且吞吐量可达到640 Gb的处理能力,能够将被保护链路中异常流量所占用带宽降至总拥有带宽的5%以下,解决了云计算下的异常行为检测和防护问题.     

一种基于Hadoop的动态树增量更新方法

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求,提高传统树增量更新挖掘效率,改变已有算法的串行执行方式,提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念,针对现有Hadoop平台中任务调度的随机分配策略,设计一种动态云平台中的资源调度与分配算法,以期达到成本消耗的最小化,给出树增量更新挖掘算法以及2个并行算法（DeleteFreqTree和FindNewTree）,完成树数据的增量挖掘工作。实验结果表明,该并行算法有效可行,具有高效性与良好的扩展率,能够对海量树数据进行更新挖掘。     

云计算环境下基于代表点增量层次密度聚类的微博事件检测及跟踪

为从微博服务平台产生的大量实时信息中抽取新闻事件,提出了一套完整的云计算环境下的微博事件检测跟踪算法。首先采用新的基于微博转发数和评论数的权值计算方法,将微博文本表示成向量空间模型;再利用基于代表点的增量层次密度聚类(RIHDBSCAN)算法抽取关键词,最终实现新闻事件的检测和跟踪。针对单一节点无法快速高效地处理海量微博数据的问题,将算法部署在云计算平台Hadoop上。通过在新浪微博平台上获取的真实数据进行实验,结果表明,所提出的权值计算方法比     

基于有序事件列表的高效复杂事件匹配算法

针对现有的复杂事件匹配处理方法存在的匹配代价高的问题,提出了一种利用事件缓冲区（有序事件列表）进行递归遍历的复杂事件匹配算法ReCEP。不同于现有方法利用自动机在事件流上进行匹配,该算法将复杂事件查询模式中的约束条件分解为不同类型,再在有序列表上对不同约束分别进行递归校验。首先,根据查询模式将相关事件实例按照事件类型进行缓存;其次,在有序列表上对事件实例执行查询过滤操作,并给出了一种基于递归遍历的算法来确定初始事件实例并且获取候选序列;最后,对候选序列的属性约束进行进一步的校验。基于股票交易模拟数据进行的实验测试和分析的结果表明,与当前主流的匹配方法 SASE和Siddhi相比,ReCEP算法能够有效地减少查询匹配的处理时间,总体性能上均更优,查询匹配效率提升了8.64%以上。可见,所提出的复杂事件匹配方法能够有效提高复杂事件匹配的效率。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式;但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性;针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法;采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决;通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

一种QL脚本的解析模块的分析研究

作为MapReduce系统的核心组件的脚本解析模块,它是分布式云计算平台实现的基础。该模块的实现是基于脚本编程接口,在此过程中使用的语言是QL（Query Language）。QL脚本通过脚本解析模块实现解析之后,事件执行模块则由参数通过配置事件的方式一一实现。下面就这种脚本语言的实现过程作了详细的分析。     

Architecture, implementation and application of complex event processing in enterprise information systems based on RFID

Enterprises have to be increasingly agile and responsive to address the challenges posed by the fast moving market. With the software architecture evolving into service-oriented architecture, and the adoption of Radio Frequency Identification (RFID), event processing can fit well in enterprise information systems in terms of facilitation of event aggregation into high level actionable information, and event response to improve the responsiveness. To make it more applicable, the architecture of event processing in enterprise information systems is proposed; event meta model is put forth, and the rules are defined. To improve the detect efficiency, classification and partition of event instance is utilized. We have implemented the event processing mechanism in enterprise information systems based on RFID, including the data structures, optimization strategies and algorithm that is considered as one of the contributions. The performance evaluations show that the method is effective in terms of scalability and the capability of event processing. Complex event processing can improve operation efficiency and discover more actionable information, which is justified by the application.

云计算安全问题

安全是阻碍云计算应用的主要因素之一。当前,全球主要云计算服务商制定了云平台安全策略,各国对云计算安全问题高度重视,美国为确保政府应用云计算的安全,出台了联邦云计算安全战略、加快制定标准明确云计算安全控制要求、实施联邦风险和授权管理项目。近年来,我国政府、产业界等对云计算应用日益关注,确保云计算安全越来越重要。本文在分析云计算安全问题、云服务提供商的安全策略和机制、美国确保政府采用云计算安全作法的基础上,提出了确保我国云计算安全的建议,包括出台云计算应用指导政策、加快建立云计算安全标准体系、加强对云服务提供商的安全管理。     

面向云平台的二代测序数据近似去重方法研究

新一代测序因其数据量大、数据处理过程复杂、对计算资源要求高等特点,需要通过云计算进行处理。然而,云计算的处理方式要求先将测序数据上传到云平台中。但由于测序过程的随机性,使得同一样本的两次测序、两个相似样本分别测序后所产生的文件在二进制层面会有较大差别。目前已有的去重方法无法有效识别出这样的“重复”测序文件和测序结果中的“重复”内容。重复上传和存储这些重复数据,不仅消耗网络带宽,而且浪费存储空间。针对现存的重复数据删除方法仅仅基于文件的二进制特征,并未有效利用测序结果数据相似性特点的问题,提出一种面向云平台的海量高通量测序数据近似去重方法NPD（Near Probability Deduplication）。该方法对FastQ中的序列和质量信息,使用SimHash计算分块指纹,采用客户端与云平台双布谷过滤器（Cukoo Filter）对指纹值进行快速存在性检测,最后由云平台使用近似算法对指纹值近似去重。实验结果表明,NPD方法在保证高效的同时,大幅提升了去重率,进而减少了网络流量,缩短了数据上传时间,能够支撑海量数据处理,具有良好的实用价值。