基于Map-Reduce模型的畸形SIP消息检测方法

提出一种支持检测规则动态更新的畸形会话发起协议(SIP)消息检测模型,采用正向规则和反向规则结合的方式,以有效应对未知类型的畸形攻击. 采用Map-Reduce模型实现检测规则,检测过程分为常规检测和特殊检测,常规检测阶段检测消息的基本格式,特殊检测阶段将SIP消息分割后并行检测语法规则. 实验结果表明,提出的检测模型能准确高效地检测出SIP消息中的畸形特征.     

Map-Reduce在媒资系统数据收集中的应用

在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式（传统实现模式）、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明：使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。     

基于节点识别的慢任务调度算法

为了降低大数据处理集群在执行任务过程中的慢任务对作业执行效率的影响,提出了一种识别慢任务、备份慢任务、减少慢任务相结合的调度算法——TQST算法。首先,通过判断节点能力和任务执行时间,建立慢节点、非常慢节点和慢任务队列;其次,根据预判备份执行价值确定如何启动慢任务的备份任务,提高了备份执行的作用;然后,在节点识别的基础上,规避为非常慢节点分配任务,从根本上减少慢任务的产生,提高作业执行效率。实验结果表明,TQST算法在作业响应时间等方面优于已有的慢任务调度算法。     

云环境下基于超球面投影分区的Skyline计算

目前,Skyline查询在集中式数据库、分布式数据库、数据流及分类属性数据集上的良好应用前景,使其成为当前数据库界研究的重点和热点之一,受到了学术界和工业界的广泛关注,它作为一种重要的数据挖掘技术广泛应用于多目标优化、城市导航系统、用户偏好查询及约束决策、智能防御系统以及地理信息系统等领域.随着人类可以采集和利用的数据信息的急剧增长,如何处理大数据的Skyline查询成为急需解决的问题.针对云计算环境,在Map-Reduce框架下设计并实现了基于超球面投影分区的分布式Skyline算法HSPD-Skyline,其主要思想是通过对高维数据点的超平面投影映射,即由空间坐标转换为超球面坐标,可以有效提高分区内数据点的平均减枝力度,降低Skyline的计算代价.同时,使用基于空间分区树的启发式策略HA-SPT,进一步提高了HSPD-Skyline算法的处理效率.通过详细的理论分析和实验验证表明,在不考虑数据分布和进一步优化算法的条件下,提出的HSPD-Skyline算法的总体性能(可扩展性、Skyline查询时间等)优于同类算法.     

集群上一种面向空间连接聚集的并行计算模型

单机运行环境难以满足海量空间数据的连接聚集操作对时空开销的需求,集群上的并行计算是高效处理海量空间数据的连接聚集操作的关键. Map-Reduce是云计算中一种应用于大规模集群进行大规模数据处理的分布式并行编程模型,分析发现,Map-Reduce并不直接支持以既高效又自然的方式来处理具有二次归约特征的并行空间连接聚集操作.因此,提出了一种并行计算模型——Map-Reduce-Combine（MRC）来有效地处理大规模空间数据的连接聚集操作.MRC在Map-Reduce 模型上增加一个Combine阶段,有效地合并分散在各个Reducer的部分聚集结果.针对并行任务划分中空间对象的单分配问题,提出了过滤优化算法,提高了MRC下处理空间连接聚集查询的效率.实验验证所提出的并行计算模型在处理空间连接聚集查询时具有良好的效率、有效性、可扩展性和简单性.     

单层树型网格下独立任务的周期性调度

提出单层树型网格下单位独立任务的周期性调度方法,单位独立任务是大小相等的独立任务.首先,为单层树型网格下的单位独立任务调度建立线性规划模型,通过分析整数线性规划求解过程,发现一个单层树型网格平台在节点构成不同时,分别具有非饱和态、临界态或冗余态特征;并且,随着网格节点上任务数的增多,线性规划最优解呈线性增长,任务调度具有周期性特性.据此给出非饱和态、临界态或冗余态网格的定义、性质和判定方法,推导出单位独立任务调度的周期长度.最后,分析了周期性调度的时间复杂性,提出一种周期性调度算法Periodic-Sched.实验结果表明,周期性调度是有效的.单位独立任务的周期性调度将大规模的任务调度问题简化为一个周期内的任务调度,降低了调度问题的复杂度.该调度方法适用于对Hadoop平台的Map任务进行调度.     

基于Map-Reduce并行构架和AE的大数据指纹监控识别算法

传统的指纹识别监控方法在应用到以海量、在线和增量为特征的大数据环境中时,不能自动高效地进行识别;由此设计了一种基于Map-Reduce并行框架和AE的大数据智能监控指纹识别算法;首先,设计了基于AE和BP神经网络的识别模型,采用AE进行指纹图像自动特征提取,然后提出了一种基于比较差异算法对AE进行参数初始化的训练算法,采用BP神经网络进行具体识别;最后,将识别过程分解为Map函数和Reduce函数;在Map-Reduce并行框架下对FVC2004中的指纹数据库进行实验,实验结果表明了文中方法能自动、高效地进行指纹识别。     

面向文本拷贝检测的分布式索引

如何对大规模文档集进行高效的拷贝检测是长期以来一直受到研究者们关注的问题。通常的拷贝检测算法都需要借助倒排索引。因此良好的索引结构对于算法性能至关重要。同时,随着文档集规模的增大,单机实现的索引已经不能满足拷贝检测的需求,需要引入分布式存储的索引。为了适应文档集规模的不断增大,良好的分布式索引应该同时具备较高的效率和可扩展性。为此该文比较了两种不同的分布式索引结构,Term-Split 索引和Doc-Split 索引,并且给出了Map-Reduce范式下建立这两种索引的实现,以及以这两种索引为基础的文本拷贝检测方法,Term-Split 方法和Doc-Split方法。在WT10G文档集上进行的实验表明Doc-Split 方法具有更好的效率和可扩展性。     

基于Hadoop的校园云计算系统

针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统.此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度.     

基于Map-Reduce的XML区间编码方案

将XML文档区间编码思想和云计算相结合,提出Hadoop环境下基于Map-Reduce的并行的编码方案。该方案提出PXMR算法,解决了非同一分片内节点的区间编码。实验结果表明,相对非并行区间编码,PXMR是一种并行的快速有效的编码方案。