面向云计算的数据挖掘分类算法研究

针对传统贝叶斯分类算法在处理海量数据时存在的运行时间长和分类准确率低等问题,在对传统的贝叶斯分类算法和云计算进行了深入研究后,提出了面向云计算环境的基于MapReduce模型的朴素贝叶斯分类算法。该算法实现了朴素贝叶斯分类算法的并行化,实现了大规模数据在云计算环境下的集群中进行贝叶斯分类处理。实验结果证明,该算法具有较高的分类准确率,在运行时间和加速比方面也有很好的效果。     

基于分布式集群环境的图聚类信息高效处理方案

针对人工智能领域图聚类数据分析与处理能力无法适应于日益复杂的分布式集群环境等问题,设计出一种基于并行计算的高效率图聚类信息处理方案。通过对Minhash算法以MapReduce架构理论进行改进,使其实现对数据的并行化分析处理,以确保其能够在日益复杂的分布式集群计算环境下高效处理图聚类数据信息。通过相关实验表明,该方案不仅可行,而且能够对图聚类数据信息进行快速稀疏化处理,具有一定的高效性。     

基于无限深度神经网络的非平衡大数据集群匿名化调度算法

以提升非平衡大数据集群数据调度的高效性、准确性、安全性为目的,提出基于无限深度神经网络的非平衡大数据集群匿名化调度算法。数据采集模块利用传感器采集非平衡大数据集群中各节点服务器的数据信息,传输至数据分类模块的深度最小最大概率机中,通过卷积神经网络的端对端方式,训练获得的非平衡大数据,提取原始大数据高级特征,以最小最大概率机作为分类器,实现非平衡大数据的分类;应用数据匿名化模块的K-匿名化算法匿名化处理分类后的数据信息,经数据调度模块中基于蚁群算法的负载均衡调度方法,进行非平衡大数据集群各节点、任务的实时调度。实验结果表明：该算法可提升非平衡大数据的分类准确度,降低信息损失率、泄密风险,并可充分调度优势节点与空闲节点实现任务的均衡分配,提升非平衡大数据集群的任务调度能力。     

基于MPI的大规模栅格影像并行瓦片化算法

当前主流GIS软件以及互联网地图应用在WebGIS（网络地理信息系统）解决方案中都广泛采用地图切片（又称瓦片）,切片处理服务是实现影像在WebGIS上快速无缝浏览的关键技术。针对目前传统算法以及商业GIS软件在大数据量栅格影像快速瓦片化方面的不足,提出一种名为ParaTile的高效栅格影像快速瓦片化方法,ParaTile基于MPI共享外存的并行技术,利用多进程对原始栅格影像进行数据划分,每个进程对其所划分的区域进行独立读写和计算,而后再按照TMS或者Google Tile定义的标准将瓦片进行编码输出。实验采用不同级别大小的遥感影像进行测试,结果表明ParaTile在面对不同规模的数据时,无论从速度还是算法稳定性上都较现有算法和工具具有显著优势,特别是当数据量越大时,这种优势愈加明显。     

改进的并行关联规则增量挖掘算法

针对大数据环境下基于Can树(canonical order tree)的增量关联规则算法存在树结构空间占用过大、频繁模式挖掘效率不佳以及MapReduce集群并行化性能不足等问题,提出了一种基于粗糙集和归并剪枝方法改进的并行关联规则增量挖掘算法MR-PARIRM(MapReduce-based parallel association rules incremental mining algo-rithm using rough set and merge pruning).首先,设计了一种基于粗糙集的相似项合并策略RS-SIM(rough set based similar item merge)对数据集的相似项进行合并处理,并根据合并后的数据进行Can树构造,从而降低树结构的空间占用;其次,提出了一种归并剪枝策略MPS(merge pruning strategy)对树结构中的传播路径进行修剪合并,通过压缩频繁模式搜索空间来加快频繁项挖掘;最后,通过动态调度策略DSS(dynamic scheduling strategy)对异构式MapReduce集群中的计算任务进行动态调度,实现了负载均衡,有效提升了集群的并行化运算能力.最终的实验仿真结果表明,MR-PARIRM在大数据环境下具有相对较好的性能表现,适用于对大规模数据进行并行化处理.     

云计算环境下的P2P流量识别

由于内存限制使得单机环境下的P2P流量识别方法只能对小规模数据集进行处理,并且基于朴素贝叶斯分类的识别方法所使用的属性特征均为人工选择,因此,识别率受到了限制并且缺乏客观性。基于以上问题分析提出了云计算环境下的朴素贝叶斯分类算法并改进了在云计算环境下属性约简算法,结合这两个算法实现了对加密P2P流量的细粒度识别。实验结果表明该方法可以高效处理大数据集网络流量,并且有很高的P2P流量识别率,同时结果也具备客观性。     

基于改进的三维卷积神经网络的高光谱遥感影像分类技术研究

高光谱遥感影像数据具有多样化的光谱信息和空间信息,然而传统的高光谱影像分类只是针对目标的光谱特征进行处理。基于三维空间滤波操作可以作为一种简单高效的提取高光谱影像光谱和空间特征的方式,基于此提出一种改进的三维卷积神经网络框架以实现更加准确的高光谱遥感影像分类。利用高光谱遥感影像数据立方体有效地提取光谱-空间组合特征,而不依赖于任何预处理或后期处理。另外,与其他传统的基于深度学习的方法相比,该方法去除了池化层,从而达到所需参数更少,模型规模更小,更容易训练的效果。将该方法与其他基于深度学习的高光谱遥感影像分类方法进行了比较,并使用两个真实场景的高光谱遥感影像数据集作为测试。实验结果表明,该方法在地物分类准确度方面较传统的基于深度学习的高光谱遥感影像分类方法取得了更好的分类效果。     

一种基于通用模型的遥感影像并行处理算法——以PCA融合为例

空间应用需求对遥感数据处理的时间和精度提出新的要求,为了高速、高效地解决应用需求,提出一种基于通用模型的粗粒度遥感影像并行处理算法,采用＂分块驱动＂和＂影像处理链驱动＂两种策略进行遥感影像的并行算法设计,并对其进行MPI的实现。利用PCA融合算法在集群平台上进行并行性能测试,分析结果表明该算法在集群系统上获得了良好的视觉效果和近似线性的加速比,具有较好的扩展性和移植性。     

一种基于MPI和OpenMP的剖分遥感影像并行分割方法

随着遥感数据量的快速增长,组织效率和处理速率成为其快捷应用的瓶颈,地球剖分理论和高性能计算为该问题解决提供了一种可能途径。基于上述思路,设计一种基于MPI和OpenMP的剖分遥感影像并行分割方法。该方法在地球剖分组织理论的研究基础上,针对遥感影像数据进行剖分化处理,依据应用需求确定剖分层级,形成有利于并行处理的影像数据剖分面片集合;在MPI集群计算和OpenMP多核任务处理环境下,对上述剖分面片集进行相应操作的并行化处理,最后把处理后的面片整合为所需要的结果数据。通过一个遥感影像数据K-Means分割的例子对上述方法进行验证。结果表明,该方法能在分割结果保持一致的情况下,有效提高遥感影像的组织效率和处理速度,达到了一定的加速比,实用性较强。     

基于Hadoop平台的TFIDF算法并行化研究

针对大数据集下文本分类算法在单机上训练和测试过程效率低下的问题,提出了基于Hadoop分布式平台的TFIDF文本分类算法,并给出了算法实现的具体流程。通过MapReduce编程模型实现了考虑到词在文档中位置的并行化TFIDF文本分类算法,并与传统串行算法进行了对比,同时在单机和集群模式下进行了实验。实验表明,使用并行化的TFIDF文本分类算法可实现对海量数据的高速有效分类,并使算法性能得到优化。     

面向高光谱影像分类的高性能计算及存储优化

针对高光谱遥感影像分类的并行化处理,现有研究一般是通过集群和工作站来开展,成本较高,部署困难。少数基于GPU方式的研究主要是从流程的角度来论证该并行架构对提高算法效率的有效性,对于算法关键的存储器优化策略等研究相对较少或不详细。针对现有研究的不足,以CUDA架构下高光谱遥感影像的光谱波形匹配法和光谱角填图法分类的高性能计算为例,对算法存储优化策略进行重点研究,深入探讨了一系列存储优化及其改进方法。通过实验论证分析表明：存储优化策略及其改进方法有效,并且对于多种不同尺寸与数据量的影像,CUDA架构下算法的运行效率都有了较为显著的提升。同时,基于CUDA的高光谱影像分类维护了计算结果的准确性。     

基于多通道分类合成的SAR图像分类研究

SAR具有全天时、全天候工作能力,且能够提供高分辨率图像数据。SAR图像分类是SAR图像处理的关键步骤。目前,SAR图像分类多是基于单通道图像数据。多通道SAR数据极大地丰富了地物目标信息量,利用多通道数据进行分类,是SAR图像分类的重要发展方向。本文提出基于多通道分类合成的SAR图像分类算法。该算法首先利用SVM对不同通道的数据分别进行分类,然后利用粒度合成理论对不同的分类结果进行合并,最后实现多通道SAR数据图像分类。本文重点论述了利用该方法进行SAR图像分类的基本流程和步骤。最后,结合实验结果,证明了该算法的可行性和有效性。     

基于MPI和OpenCV遥感植被指数产品的并行计算

遥感传感器和计算机技术的发展,每天都会汇集大量新的地理空间数据。地球科学许多应用要求数据实时或接近实时地处理,发展高性能计算是进行海量数据处理的必然趋势。本文以 TM 影像制备黑河流域归一化指数产品为例,基于高性能集群,实现了植被指数快速提取的并行计算方法,并采用对等并行编程模式,通过 C 语言调用 MPI（Message Passing Interface,消息传递接口）和 OpenCV（Open Source Computer Vision Library,开源计算机视觉库）函数库,实现了 NDVI（Normalized Difference Vegetation Index,归一化植被指数）的并行计算,获得了黑河流域的 NDVI。性能测试表明,并行计算可以显著提高遥感图像处理的速度。文章最后讨论了从原始影像提取植被指数产品的流程。     

一种基于用户分级的高效云存储策略

针对云存储中运营成本高和服务器利用率低等问题,本文提出一种基于用户分级的高效云存储策略。①通过对用户的偏好进行分析,采用优序判定法对用户分级。②在存储区将若干个存储服务器组合为集群的形式,并增加一个轻量的临时存储节点。③数据块将按等级标签排队进行处理。该策略能够降低运营成本并提高存储利用率。     

在Delphi中利用VFW和简易摄像头实现图像采集和处理

在多媒体系统中,视频的捕获以及处理技术是其非常重要的一个组成部分。主要介绍在Delphi应用程序中利用VFW和简易摄像头实现图像采集和处理,实现了视频流的捕获和单帧数据的捕获,并可进行存储。     

基于GPU的遥感图像配准并行程序设计与存储优化

遥感图像配准是遥感图像应用的一个重要处理步骤.随着遥感图像数据规模与遥感图像配准算法计算复杂度的增大,遥感图像配准面临着处理速度的挑战.最近几年,GPU计算能力得到极大提升,面向通用计算领域得到了快速发展.结合GPU面向通用计算领域的优势与遥感图像配准面临的处理速度问题,研究了GPU加速处理遥感图像配准的算法.选取计算量大计算精度高的基于互信息小波分解配准算法进行GPU并行设计,提出了GPU并行设计模型;同时选取GPU程序常用面向存储级的优化策略应用于遥感图像配准GPU程序,并利用CUDA(compute unified device architecture)编程语言在nVIDIA Tesla M2050GPU上进行了实验.实验结果表明,提出的并行设计模型与面向存储级的优化策略能够很好地适用于遥感图像配准领域,最大加速比达到了19.9倍.研究表明GPU通用计算技术在遥感图像处理领域具有广阔的应用前景.     

基于SSCL的模糊C均值图像分类方法

针对传统模糊C均值聚类方法对噪声敏感和过分依赖于初始聚类中心的缺点,提出基于SSCL的模糊C均值图像分类的自适应算法。该算法首先通过SSCL获得初始类别数和类别中心,然后作为模糊C均值聚类的输入,自动对图像进行分割,并对图像分割结果利用空间信息进行后处理。实验结果表明该方法较好地解决了FCM算法中的初始化和噪声敏感问题,具有较好的分类结果。     

Distance to second cluster as a measure of classification confidence

Most image classification algorithms rely on computing the distance between the unique spectral signature of a given pixel and a set of possible clusters within an n-dimensional feature space that represents discrete land cover categories. Each scrutinized pixel will ultimately be closest to one of the predefined clusters; different classification algorithms differ in the details of which cluster is considered as closest or most likely, but in general the selected algorithm will label each pixel with the label of the closest cluster. However, pixels expressing virtually identical distances to two or more clusters identify a limitation of this typical classification approach. Conditions for limitations to distance based classification algorithms include when distances are long and the pixel may not clearly belong to any single category, may represent mixed land cover, or can be easily confused spectrally between two or more categories. We propose that retention of the distance to the second closest cluster can shed light on the confidence with which label assignment proceeds and present several examples of how such additional information might enhance accuracy assessments and improve classification confidence. The method was developed with simplicity as a goal, assuming the classification has already been performed, and standard clustering reports are available. Over a test site in central British Columbia, Canada, we illustrate the described technique using classified image data from a nation-wide land cover mapping project. Calculation of multi-spectral Euclidean distances to cluster centroids, standardized by cluster variance, allows comparison of all potential class assignments within a unified framework. The variable distances provide a measure of relative confidence in the actual classification at the level of individual pixels.     

Unsupervised classification for polarimetric SAR images based on the improved CFSFDP algorithm

In polarimetric synthetic aperture radar (PolSAR) image processing, the number of classes is an important factor for PolSAR image classification. Therefore, how to accurately estimate the number of PolSAR image classes is an important issue. In this article, we propose a novel unsupervised classification method which can accurately estimate the number of classes for PolSAR images. First, the PolSAR image is initialized into many small clusters by using the complementary information from Yamaguchi decomposition and distribution characteristics of data. Second, the improved clustering by fast search and find of density peaks, named as improved CFSFDP algorithm, is introduced to select the appropriate category number. Finally, to improve the representation of each category, the PolSAR data set is classified by an iterative fine-tuning process based on a complex K-Wishart function. The performance of the proposed classification approach is presented and analysed on three real data sets. The experimental results show that the proposed classification method can accurately estimate the category number and enhance the classification accuracy in comparison with other traditional methods. It is also shown that the data distribution characteristic has the additional information beyond the target scattering decomposition, and this information is important for the initialization.     

基于多层分割的面向对象遥感影像分类方法研究

利用ALOS数据,在Definiens Developer 7软件中用分形网络演化法(FNEA)进行多级分割,获取影像对象。综合运用对象的光谱、空间特征和不同层对象之间的关系,提取了湖北省洪湖市试验区土地覆盖与土地利用信息。最后,用一种基于单层分割的面向对象分类方法和基于像素的最大似然法与这种基于多级分割的面向对象分类方法进行了对比分析。结果表明,基于多级分割的面向对象分类方法,不仅克服了基于像素的最大似然法出现的“椒盐”现象,在分类精度上较这两种分类方法也有大幅度的提高。