基于Spark的大数据混合计算模型

现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用。混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX)。 Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性。因此,随着系统的不断稳定和成熟, Spark有望成为与Hadoop共存的新一代大数据处理系统和平台。本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用。     

基于全局/局部共现词对分布的汉越双语新闻事件线索分析

针对汉越双语新闻事件线索分析,提出了基于全局/局部共现词对分布的汉越双语事件线索生成方法。该方法首先将新闻话题词语分布作为全局词语表征全局事件,然后用一定时间粒度下新闻片段特有的时间、人物、地点等事件元素作为局部词语,分析新闻片段中全局词语和局部词语的共现关系,将全局/局部词语的共现规律作为监督信息,结合RCRP算法和汉越双语新闻的对齐语料,构建有监督话题生成主题模型,获得相应时间跨度下代表事件发展进程的子话题分布,通过子话题的分布反映事件发展的线索,从而构建出在线汉越双语事件线索生成模型。实验在汉越混合新闻数据集上进行,事件线索生成对比实验结果证明了提出的方法的有效性。
     

基于全局和局部信息融合的图像显著性检测

视觉注意机制是机器视觉的重要组成部分,受到越来越多的关注.文中提出一种基于全局和局部信息融合的图像显著性检测方法.模型首先对输入图像进行离散剪切波分解,得到尺度系数和剪切波系数.由于剪切波系数包含大部分图像细节信息,模型在每个分解层上对剪切波系数重构得到描述特征图.在特征图的基础上,一方面从全局的角度出发,使用所有特征图获取特征向量计算全局概率密度分布矩阵,进而构建全局显著图,另一方面从局部的角度出发,在每幅特征图上计算局部区域的熵值,进而构建局部显著图.最后对两幅显著图进行融合,得到综合显著图.实验结果验证该算法的有效性和可行性.     

面向汉字识别的新特征及其提取方法

人主要是依靠汉字的结构特征来识别汉字,本文提出用汉字笔画端点、折角点和交叉点以及汉字笔画之间构成的"洞"的中心点在24个区域上的分布直方图作为汉字结构新特征,提出通过对Harris角点的检测、合并和去除操作的汉字笔画端点、折角点和交叉点的提取方法,通过建立手写体与印刷体汉字的特征库中相同汉字新特征的集聚性与不同汉字新特征间的离散性的计算,从实验上验证了所提出的汉字新特征的有效性,分析了所提出的新特征对汉字的大小、字体、光照等影响具有良好的鲁棒性,该新特征对手写体汉字的识别具有较好的应用价值。     

无限长悬臂梁自由端受力偶作用下固定端应力分布的辛解法

在弹性力学辛体系中,采用分离变量法和本征函数展开法,考虑零本征值和非零本征值对应的本征解,对无限长悬臂梁自由端受力偶作用时固定端应力分布问题进行了研究,得到了这一问题的辛解答,对计算结果进行了分析。结果表明:辛解法由于采用二类变量进行求解,能够较好地处理各种边界条件,对分析这类问题具有独特的优势,因此计算精度较高。这一方法还可应用于其他边界问题的研究。     

拼铺法快速合成大规模植物分布

为了在构建大规模森林场景时快速而有效地在森林区域内分布大量的植物,提出一种基于Poisson disk tiles模型,通过样本块拼铺的方式快速合成大面积植物分布的方法.在样本集生成阶段,采用一种角匹配的方式,并配合Relaxation dart throwing算法来生成植物分布的样本块集合,从而克服了传统方法中的圆盘越界问题和顶角问题;在合成阶段,按照角匹配的方式,并采用直接随机拼铺的模式来快速合成视域范围内的植物分布,可满足大规模植被场景的实时合成与漫游要求.此外,提出一种合成植物多密度变化、多物种混合分布的方法,其采用一种分离策略,通过从高密度样本块中分离提取一部分样本点来生成多密度等级及多物种等级的子样本块集;根据所合成地区的密度信息和物种信息来选取合适的样本块集进行拼铺,从而合成带有密度变化及多物种混合的植物分布.在此基础上,实现了一个大规模森林场景的构建与漫游系统.实验结果表明,文中方法在构建大规模植物场景上是非常有效的,即使植物规模达到千万级,其合成效率也可以满足交互式应用的需求.     

基于DE-EDA-SVM的瓦斯浓度预测建模仿真研究

瓦斯浓度作为衡量煤矿瓦斯危害程度的一个重要指标,为了能够更加准确的预测煤矿瓦斯的浓度,提出一种差分进化-分布估计（DE-EDA）算法优化的支持向量机瓦斯浓度预测新方法。利用无线传感网络系统采集工作环境中的瓦斯浓度数据,并经过降噪处理后作为训练样本。采用DE-EDA算法对SVM模型的惩罚参数C、损失参数ε以及径向基参数γ进行优化,利用优化后的模型进行瓦斯浓度的预测。通过MATLAB软件仿真可以得出,所采用的优化模型能够准确的预测煤矿瓦斯浓度的变化趋势。并与经过粒子群（PSO）算法优化的预测模型相比较。结果表明,经过DE-EDA算法优化的SVM模型具有训练速度更快、预测更准确的特点,为实际煤矿瓦斯浓度的预测和处理提供了更加可靠的理论基础。     

高精度光散射气溶胶质量浓度测量系统的信号处理研究

气溶胶质量浓度是评价大气环境变化的关键参数,光散射法是测量该参数的有效方法。但现有反演模型多采用散射光信号积分量反演质量浓度,导致颗粒物细化信息丢失,且未考虑颗粒形貌因素。针对上述问题,本文提出了一种采用散射光信号幅度分布反演气溶胶质量浓度的分形模型,充分利用了颗粒散射光的信号幅度信息与数目信息,有效提高了反演精度。实验结果表明：对于烟尘和空气样品,分形模型质量浓度反演值与实际测量值吻合,拟合直线斜率与1的绝对差为0.034和0.016,相关系数高于0.999,实验平均相对误差均小于7.7%,而电压积分量反演的质量浓度平均相对误差则在18.7%以内。该研究为光散射法应用于在线监测气溶胶质量浓度提供了一种新的精确反演方法。     

一种新型相移场探头改变导体涡电流分布的理论验证

涡流检测方法广泛应用于导电材料的缺陷检测和无损评价中。受趋肤效应的影响,常规涡流检测法通常只能检测导体表面缺陷。有学者提出了一种相移场探头,并通过实验验证了该探头在满足一定激励条件时,可以达到抑制导体表面涡电流密度,而增加导体深处涡电流密度的效果,从而可以检测导体更深处缺陷。但该结论仅有实验结果,还没有理论方面的验证。本文采用解析方法研究了该相移探头与导体的相互作用,推导出导体中涡电流分布的精确理论表达式,然后分析相位、激励频率对涡电流分布的影响,并计算了导体不同深度涡电流密度分布。从理论上验证了该探头设计及激励方法具有改变导体涡电流密度分布,增加导体深处涡电流密度的效果。     

路由重分布教学实验设计与实现

针对局域网内常用的静态、RIP和OSPF协议路由重分布实现通信的问题,设计出了以工程项目为载体,通过3种路由协议的重分发实验,使学生从实践来充分验证理论,更好地掌握路由重分布技术。