高峰期网络流量高精准度预测模型研究

针对当前网络流量预测法是通过监测网络流量历史数据进行预测,存在预测精准度低和流量信息参数自适性差的问题,提出基于多元线性回归分析的高峰期网络流量预测模型。通过BP神经网络法,确定网络流量信息权值,采用滑动窗口算法得到流量序列中对应信息数据,构成新的网络流量序列,得到多元线性回归初始模型;引入最小二乘法对流量信息参数进行估算,得到流量信息的样本回归函数,使用可决系数F检验及统计样本回归函数,完成高峰期网络流量预测模型的构建。实验结果表明,使用该模型可降低误差、提高拟合度、增加能量利用率,为高峰期网络流量预测提供了基础保障。     

基于粒子群优化和支持向量机的花粉浓度预测模型

为了提高花粉浓度预报的准确率，解决现有花粉浓度预报准确率不高的问题，提出了一种基于粒子群优化（PSO）算法和支持向量机（SVM）的花粉浓度预报模型。首先，综合考虑气温、气温日较差、相对湿度、降水量、风力、日照时数等多种气象要素，选择与花粉浓度相关性较强的气象要素构成特征向量；其次，利用特征向量与花粉浓度数据建立SVM预测模型，并使用PSO算法找出最优参数；然后利用最优参数优化花粉浓度预测模型；最后，使用优化后的模型对花粉未来24 h浓度进行预测，并与未优化的SVM、多元线性回归法（MLR）、反向神经网络（BPNN）作对比。此外使用优化后的模型对某市南郊观象台和密云两个站点进行逐日花粉浓度预测。实验结果表明，相比其他预报方法，所提方法能有效提高花粉浓度未来24 h预测精度，并具有较高的泛化能力。     

基于多元线性自回归模型的流量预测

为使流量预测模型具有自适应性和相关性,以时间点为基础进行建模,结合时间序列与流量序列,引入多元线性自回归(AR)思想进行参数估算,对多次估算所得参数值建立指数加权移动平均数模型进行二次估算,在此基础上,建立多元线性自回归模型。实验结果证明,与AR模型、ARMA模型相比,基于多元线性AR模型的预测结果更准确。     

基于Hadoop MapReduce并行近似谱聚类算法研究与实现

随着信息时代的来临,互联网产生的大规模高维数据呈现几何级数增长,对其进行谱聚类在计算时间和内存使用上都存在瓶颈问题,尤其是求Laplacian矩阵特征向量分解。鉴于Hadoop MapReduce并行编程模型对密集型数据处理的优势,基于t最近邻稀疏化近似相似Laplacian矩阵,设计Hadoop MapReduce并行近似谱聚类算法,以期解决上述瓶颈问题。实验使用UCI Bag of Words数据集验证所设计算法的正确性和有效性,结果显示该并行设计在谱聚类质量和性能方面达到了一定的预期效果。     

基于遗传算法模糊多元线性回归分析的瓦斯涌出量预测模型

针对经典线性回归模型不能完全反映变量间的耦合关系而不适宜于有模糊数的瓦斯涌出量预测的问题,提出了一种基于遗传算法模糊多元线性回归分析的瓦斯涌出量预测模型。采用灰关联分析法和SPSS软件线性回归分析法确定影响瓦斯涌出量的主要因素;把历史数据样本分为建模数据样本和检测数据样本,采用遗传算法求出模糊回归参数的中心值和模糊幅值。实验结果表明,该模型具有较高的精确度和可操作性。     

HPMR在并行矩阵计算中的应用

为了解决传统并行编程难度大、效率低的问题,提出一种基于MapReduce模型的并行编程方法,在高性能MapReduce平台上实现矩阵并行LU分解。实验结果表明,相比传统并行编程模型,MapReduce模型并行程序可较好满足高性能数值计算需求,其编程简洁性和可读性能有效提升并行编程效率。     

基于Spark的极限学习机算法并行化研究

极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。     

基于Hadoop和并行BP网络的打车需求量预测系统研究

一个良好的打车需求量预测系统可以帮助完善城市的交通系统,帮助城市更高效地进行出租车的调度。基于Hadoop设计并搭建了一个打车需求量预测系统。除此之外,针对传统BP神经网络收敛速度慢的缺点,提出了一种基于MapReduce的并行BP神经网络,并将其用作系统的预测模型对打车需求量进行预测。根据实验结果,提出的系统能良好地对城市内某一区域一天内的打车需求量进行预测。     

一种基于MapReduce的短时交通流预测方法

非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾.为此,提出一种适用于海量历史数据、基于MapReduce与遗传算法的非参数回归短时交通流预测方法.通过引入MapReduce并行计算框架,加快K最近邻算法的搜索速度.在数据预处理阶段利用遗传算法优化关键参数的设置,并采用MapReduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题.实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性.     

引入时间效应的SVD++线性回归推荐算法

针对传统协同过滤算法中的数据稀疏问题,在SVD++算法和线性回归模型的基础上引入时间效应属性,提出一种推荐算法timeSVD++LR。采用SVD++算法将用户和项目信息与隐式反馈信息相融合映射到隐语义空间,将用户和项目之间的交互作用建模为该空间中的内积。通过描述用户和物品在各因子上的特征来解释评分值,在此基础上对时间效应建模,进一步提高预测结果的准确度。根据预测评分矩阵构造特征向量,将原始训练数据作为线性回归模型的输入,采用梯度下降算法优化最终代价函数,生成使得代价函数值最小的参数向量,同时将特征向量和参数向量代入预测模型求解预测评分。在MovieLens数据集上的实验结果表明,与RSVD、SVD++和timeSVD++算法相比,该算法的平均绝对误差和均方根误差均较低,其推荐准确性较高。     

基于MapReduce的决策树算法并行化

针对传统决策树算法不能解决海量数据挖掘以及ID3算法的多值偏向问题,设计和实现了一种基于MapReduce架构的并行决策树分类算法。该算法采用属性相似度作为测试属性的选择标准来避免ID3算法的多值偏向问题,采用MapReduce模型来解决海量数据挖掘问题。在用普通PC搭建的Hadoop集群的实验结果表明:基于MapReduce的决策树算法可以处理大规模数据的分类问题,具有较好的可扩展性,在保证分类正确率的情况下能获得接近线性的加速比。     

基于Hadoop的大矩阵乘法处理方法

目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出,并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在MapReduce编程模型上的并行实现方法,并提出了实现高性能大矩阵乘法的策略——折中单个工作节点的计算量和需要网络传输的数据量。实验证明,并行实现算法在大矩阵上明显优于传统的单机算法,而且随着集群中节点数目的增多,并行算法会表现出更好的性能。     

奇偶直方图负载均衡超立方对等云MapReduce模型*

针对传统MapReduce算法结构在处理大数据时,负载均衡性能不理想的缺点,设计了一种具有负载均衡机制的层次MapReduce模型。该模型利用超立方拓扑结构对MapReduce的映射操作进行改进,通过特定算法将八个结构化的数据中心链接到一个对等的云环境结构中,并使用奇偶直方图组合采样方式的均衡划分方法,实现在用户请求下的节点工作负荷指数均衡。最后,基于Hadoop框架对所提算法进行仿真实验,结果显示本文所提算法结构相对于原始MapReduce结构,具有更高的并行计算的资源利用率,以及更佳的容错和负载均衡性能,综合性能得到有效提升。     

MapReduce模型下Voronoi图栅格生成算法

针对"海量"点组成的平面点集Voronoi图栅格生成算法的效率问题,对其进行易并行性抽象,提出了一种MapReduce模型下基于欧氏距离的Voronoi图栅格生成算法,该算法采用三个MapReduce Job来实现。在第一个MapReduce Job中,将栅格按照隶属代码进行归属分类。在第二个MapReduce Job中,将新数据按照其对应的行号进行归类。在第三个MapReduce Job中,并行生成全局有序的Voronoi图部分文件,并连接各个部分文件,生成最终的Voronoi图。在多个不同大小数据集上的实验结果表明,这种MapReduce模型下的算法部署在Hadoop集群上运行具有较好的加速比和扩展性。     

基于MapReduce的K-Medoids并行算法

为了解决传统K-Medoids聚类算法在处理海量数据信息时所面临的内存容量和CPU处理速度的瓶颈问题,在深入研究K-Medoids算法的基础之上,提出了基于MapReduce编程模型的K-Medoids并行化算法思想。Map函数部分的主要任务是计算每个数据对象到簇类中心点的距离并（重新）分配其所属的聚类簇;Reduce函数部分的主要任务是根据Map部分得到的中间结果,计算出新簇类的中心点,然后作为中心点集给下一次MapReduce过程使用。实验结果表明：运行在Hadoop集群上的基于MapReduce的K-Medoids并行化算法具有较好的聚类结果和可扩展性,对于较大的数据集,该算法得到的加速比更接近于线性。     

云计算环境下差别矩阵知识约简算法研究

知识约简是粗糙集理论的重要研究内容之一。经典的差别矩阵知识约简算法只能处理小数据集,而已有的任务并行的知识约简算法是假设所有数据一次性装入内存中,这显然不适合处理海量数据。为此,剖析了差别矩阵元素的特性,根据属性(集)的不可辨识性和云计算技术MapRcducc设计了适合数据并行的差别矩阵,并首次提出了面向大规模数据的差别矩阵知识约简算法。实验结果表明该知识约简算法是有效可行的,且具有较好的可扩展性。     

消息代理机制下的MapReduce数据流优化

MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算,集群节点间的数据传输依赖性较强,造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型,优化数据流。经实验数据表明,基于消息代理机制的MapReduce框架能提高数据密集型应用上的负载均衡。     

基于MapReduce的文本层次聚类并行化

针对传统的层次聚类算法在处理大规模文本时可扩展性不足的问题,提出基于MapReduce编程模型的并行化文本层次聚类算法。将基于文本向量分量组特征统计的垂直数据划分算法应用于MapReduce的数据分发,将MapReduce的排序特性应用于合并点的选择,使得算法更加高效,同时有利于提高聚类精度。实验结果表明了利用该算法进行大规模文本聚类的有效性及良好的可扩展性。     

基于需求预测的PaaS平台资源分配方法

针对缺乏PaaS平台下资源需求的有效预测与优化分配的问题，提出一种资源需求预测模型和分配方法。首先，根据PaaS平台中应用对资源需求的周期性来对资源序列进行切分，并在短期预测的基础上结合应用的多周期性特征，利用多元回归算法建立综合的预测模型。然后，基于MapReduce架构设计实现了一个Master-Slave模式的PaaS平台资源分配系统。最后，结合当前任务请求和资源需求预测结果进行资源分配。实验结果表明，采用该资源需求预测模型和分配方法后，相比于自回归模型和指数平滑算法，平均绝对百分比误差分别下降8.71个百分点和2.07个百分点，均方根误差分别下降2.01个百分点和0.46个百分点。所提预测模型的预测结果不仅误差小，与真实值的拟合程度也较高，而且利用较小的时间开销就可以获得较高的准确度。此外，使用该预测模型的PaaS平台的资源请求的平均等待时间有了明显的下降。