Hadoop与Spark应用场景研究

Spark的崛起对作为当前最为流行的大数据问题解决方案的Hadoop及其生态系统形成了有力的冲击,甚至一度有人认为Spark有取代Hadoop的趋势,但是因为Hadoop与Spark有着各自不同的特点,使得二者拥有不同的应用场景,从而Spark无法完全取代Hadoop。针对以上问题,我们对Hadoop与Spark的应用场景进行了分析。首先介绍了Hadoop与Spark的相关技术以及各自的生态系统,然后详细分析了二者的特性,最后针对二者特性,阐述了Hadoop与Spark各自所适应的应用场景。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构（ResNet）进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作（ASPP）对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络（AUNet）、全景特征金字塔网络（Panoptic FPN）、亲和金字塔单阶段实例分割算法（SSAP）、联合全景分割网络（UPSNet）、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量（PQ）值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率（AP）、目标IoU阈值超过50%的平均精确率（AP₅₀）分别提升了0.002与0.014,平均交并比（mIoU）值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。     

知识发现中的可继承性问题研究

提出知识发现中的可继承性问题，通过对知识发现过程和挖掘算法形式化描述和分析，抽象出各个阶段的形式联系及其约束条件，在此基础上提出初等知识的概念．在引入初等知识后，对传统的挖掘算法、增量式挖掘算法、可继承性挖掘算法进行形式化描述和比较，得出如下结论：可继承性挖掘算法能够有效的提高数据集变化、参数变化情况下的数据挖掘效率．     

多蚁群协同进化的滑行道调度优化

针对当前机场滑行道调度效率较低的问题,提出一种基于协同进化的多蚁群算法。利用蚁群算法在解决复杂的组合优化问题方面的显著优势,在种群内部搜索滑行时间短且没有冲突的路径,在种群间利用蚁群算法良好的协同能力同时进行多个航班的调度,解决滑行的路径搜索问题,实现调度顺序的优化调整。冲突解决是解决滑行道调度问题的关键,采用基于两段锁的思想解决冲突。利用公共数据集对该算法进行验证,实验结果表明了该算法的有效性。     

Apriori算法的改进

介绍关联规则挖掘的情况,在分析关联规则挖掘算法的基础上,通过对经典Apriori算法的改进,提出一种改进算法,该算法在计算候选大项集支持度所涉及的记录数目将小于事务数据库中原始的记录数目,实验证明该算法能够有效提高执行效率。     

增量式K-Medoids聚类算法

聚类是一种非常有用的数据挖掘方法,可用于发现隐藏在数据背后的分组和数据分布信息。目前已经提出了许多聚类算法及其变种,但在增量式聚类算法研究方面所做的工作较少。当数据集因更新而发生变化时,数据挖掘的结果也应该进行相应的更新。由于数据量大,在更新后的数据集上重新执行聚类算法以更新挖掘结果显然比较低效,因此亟待研究增量式聚类算法。该文通过对K-Medoids聚类算法的改进,提出一种增量式K-Medoids聚类算法。它能够很好地解决传统聚类算法在伸缩性、数据定期更新时所面临的问题。     

基于支持向量机的多元文本分类研究

根据文本分类的特点，在对最小二乘支持向量机方法进行详细分析的基础上，创建了基于最小二乘支持向量机的多元文本分类器．实验表明，采用该文本分类器能够在保持较高分类精度和召回率的基础上，提高训练效率，具有一定的可行性．     

基于分治的属性约简相对核计算

针对信息表中相对核的计算采用分治策略提出了一个新的属性约简方法，将在计算整个全域上的属性约简问题转化为计算在相应划分的子区域上属性约简问题．将原有计算POS X0(y)的算法复杂度O(|A||U|^2)，降为O(|A|(|Y1|^2 |Y2|^2 … |Yn|^2))，对于一般比较大的|U|说，效率提高非常明显，提高了属性约简的可计算性.     

基于支持向量回归的旅客吞吐量预测研究

在分析现有机场旅客吞吐量预测方法不足的基础上,利用基于结构风险最小化原则的支持向量回归疗法,建立了机场旅客吞吐量预测模型通过实际数据的检验及BP神经网络等方法的预测结果相比较,证明应用支持向量回归方法对机场旅客吞吐量进行预测具备可行性,同时具有较高的预测精度。