基于Spark的K-means改进算法的并行化实现

针对传统K-means算法在处理海量数据时,存在计算复杂度高和计算能力不足等问题,提出了SKDk-means （Spark based kd-tree K-means）并行聚类算法.该算法通过引入kd-tree改善初始中心点的选择,克服传统K-means算法因初始点的不确定性,易陷入局部最优解的问题,同时利用kd-tree的最近邻搜索减少K-means在迭代中的距离计算,加快聚类速度,并在Spark平台上实现了该算法的并行化,使其适用于海量数据聚类,最后通过实验验证了算法具有良好的准确率和并行计算性能.     

应用于大数据的Trie树排序算法

针对在数据量动态增加的场景下现有的排序算法管理数据导致算法性能大大降低的问题,提出一种16-bit Trie树排序算法。借助邻居节点上存储的链节点指针完成排序,它不仅可以边构建边排序,且引入动态数组可以提高该算法的空间效率。仿真结果表明,传统Trie树支持数据动态更新,但通过遍历Trie树的方式完成排序耗时较多,快速排序算法在数据动态增加时效率低,16-bit Trie树排序算法支持数据动态更新,排序时间明显少于传统Trie树,优于快速排序,这表明16-bit Trie树排序算法在处理海量动态数据时具有突出优势。     

基于混合数据结构的实时GPU光线跟踪算法

研究真实感图像的问题,光线跟踪算法是生成真实感图形的主要算法之一.为了解决光线跟踪算法计算量大、效率低下、对动态场景处理能力不足的问题,采用图形处理器(graphics processing unit,GPU)统一编程架构,提出了一种新的基于计算统一设备架构(Compute Unified Device Architecture,CUDA)编程模型的结合层次包围体(Bounding Volume Hierarchies,BVH)和kd-tree的光线跟踪方法,首先对场景进行启发式的层次包围体分割,随后在每一个层次包围体上做启发式的k维二叉树(k-dimensional tree,kd-tree)剖分,这样就形成了一种新的空间划分,有利于建立高效的空间数据结构,提高光线与场景物体的求交速度.新设计的算法易于扩展到动态场景的光线跟踪,而且具有更快的渲染速度,有利于在应用系统中集成和扩展.实验结果验证了算法的有效性.     

基于多分支优先级树的IP路由查找算法

针对现有路由表查找方法效率低的问题,提出了一种基于多分支优先级树的数据查找算法。该算法将优先级较高的前缀依次存储在原多分支树的虚节点上,将需要进行扩展的前缀存储在辅助存储结构中,从而在路由查找时,该方法可在内部节点找到最长前缀匹配而无需查找到叶子节点,同时避免了在路由表更新时对路由表的重建。仿真结果表明,提出的查找算法能够有效减少在对路由表查找、插入和删除操作所需的内存访问次数,并大幅度地提高路由查找及其更新速率。     

基于多分支优先级树的IP路由查找算法

针对现有路由表查找方法效率低的问题,提出了一种基于多分支优先级树的数据查找算法。该算法将优先级较高的前缀依次存储在原多分支树的虚节点上,将需要进行扩展的前缀存储在辅助存储结构中,从而在路由查找时,该方法可在内部节点找到最长前缀匹配而无需查找到叶子节点,同时避免了在路由表更新时对路由表的重建。仿真结果表明,提出的查找算法能够有效减少在对路由表查找、插入和删除操作所需的内存访问次数,并大幅度地提高路由查找及其更新速率。     

基于扩展模式树匹配的XConquer算法

针对XQuery全文扩展中合取语义ftcontains表达式的计算问题,提出基于扩展模式树匹配的XConquer算法。树形结构索引DataSkeleton为查询节点静态过滤初始数据节点流,最小最低公共祖先动态阻止无效节点入栈,避免无用栈操作。实验结果表明,XConquer算法的查询性能优于DeweyPathStack算法。     

一种新的基于流过滤的Twig模式匹配算法

针对传统XML文档小枝模式查询算法中,与模式树中标签名相同的节点均入内存,易造成很大的空间浪费问题,提出了一种新的算法—StreamFWM(StreamFilter Without Merging)。StreamFWM采用区间编码方式,依据节点间的结构关系过滤标签流中无用的中间节点,且不用归并,只用简单的栈和列表实现。实验结果证明,算法StreamFWM相比TwigStack在查询处理的性能上有所提高。     

基于道路网的连续k近邻查询算法

针对增量式监测算法(IMA)的冗余搜索问题,提出一种基于IMA改进的移动对象连续k近邻(Continuous k Nearest Neighbor, CkNN)查询处理新算法。采用增量式查询处理机制;利用距离相近的查询其查询结果大部分相同这一特性,在以查询点为中心进行网络扩展之前,首先执行一个预处理过程,分析相近的其他查询的扩展树,并重用其中的有效部分,从而避免了对道路网的盲目扩展;且在节点的网络扩展中,通过应用具有相同扩展方向的其他查询的扩展结果,不仅减少了对道路网的重复扩展,还节省了计算代价。实验结果表明,所提算法同传统算法相比较, 缩短了查询响应时间,提高了运行效率,并且适用于不同类型的k近邻查询。     

组播聚合中高效的可扩展组-树匹配算法

当网络中同时存在大量的的组播组的时候,IP组播的可扩展性问题变得非常突出.对组播聚合中的组播组-树的匹配算法进行了研究,提出了一种高效的可扩展的组播组-树匹配算法(SGTM算法).在确定组播组的匹配树过程中,通过将组播树按照其开销进行排序以及扩展处理,降低了在查找过程中所检查的组播树的数量,提高了聚合组播算法的执行速度.并引入了对组播聚合性能进行度量的参数,结果表明SGTM算法与传统的组播聚合算法相比在同等性能的情况下执行速度更快.     

SOA中一种基于负载均衡的服务查找请求路由算法

服务查找是面向服务架构(SOA)中一个非常重要的环节,但目前的服务查找算法一般并未考虑到服务查找节点间的负载均衡,在请求频繁条件下不能满足查找效率的要求。提出一种分布式的、综合考虑节点处理能力和网络延时、适用于SOA中分布式服务注册中心的服务查找请求路由算法HaFA。该算法利用负载度实现对服务节点计算能力的度量,解决了负载度均衡后任务仍可能分配到弱计算能力节点上的问题,提高了服务注册中心计算资源的利用率;利用节点负载波动率估量下一个离散时间点的负载度,解决了网络延时期间负载波动对实现均衡造成影响的问题。实验结果表明,HaFA在分布式服务查找中能有效提高系统吞吐率,缩短结果响应的平均等待时间。     

KD-tree based parallel adaptive rendering

Multidimensional adaptive sampling technique is crucial for generating high quality images with effects such as motion blur, depth-of-field and soft shadows, but it costs a lot of memory and computation time. We propose a novel kd-tree based parallel adaptive rendering approach. First, a?two-level framework for adaptive sampling in parallel is introduced to reduce the computation time and control the memory cost: in the prepare stage, we coarsely sample the entire multidimensional space and use kd-tree structure to separate it into several multidimensional subspaces; in the main stage, each subspace is refined by a sub kd-tree and rendered in parallel. Second, novel kd-tree based strategies are introduced to measure space’s error value and generate anisotropic Poisson disk samples. The experimental results show that our algorithm produces better quality images than previous ones.     

Fast outlier detection for very large log data

Density-based outlier detection identifies an outlying observation with reference to the density of the surrounding space. In spite of the several advantages of density-based outlier detections, its computational complexity remains one of the major barriers to its application.The purpose of the present study is to reduce the computation time of LOF (Local Outlier Factor), a density-based outlier detection algorithm. The proposed method incorporates kd-tree indexing and an approximated k-nearest neighbors search algorithm (ANN). Theoretical analysis on the approximation of nearest neighbor search was conducted. A set of experiments was conducted to examine the performance of the proposed algorithm. The results show that the method can effectively detect local outliers in a reduced computation time.     

基于曲线拟合的OFDM系统帧同步算法

提出了一种利用帧同步度量的几何特性进行统计判决的高性能帧同步算法。传统算法的帧同步位置通过同步度量的最大值判决获得,既没有极限运算也没有期望运算,缺少了统计平均且产生了方差。该文提出的算法对帧同步度量进行梯形曲线拟合,加入了极限运算和数学期望,并针对工程实现给出了低复杂度简化算法和复杂度分析。经过大量仿真实验证明,该算法的性能比Schmidl算法有明显改善,且复杂度要比其他同类算法低很多。     

双人博弈问题中的蒙特卡洛树搜索算法的改进

蒙特卡洛树搜索(MCTS)是一种针对决策类博弈游戏,运用蒙特卡洛模拟方法进行评估博弈策略的启发式搜索算法。但是,在面对计算机围棋这种复杂的决策过程时,简单的蒙特卡洛树搜索过程往往由于计算量大,收敛速度非常慢。 由于双人博弈游戏中的蒙特卡洛树搜索不能收敛于双人博弈的最佳决策策略,因此提出蒙特卡洛树搜索结合极大极小值算法的改进算法,使得搜索结果不会因为蒙特卡洛方法的随机性而失真。为了进一步提高复杂双人博弈游戏中搜索算法的计算效率,还结合了几种常见的剪枝策略。实验结果说明,所提算法显著改进了蒙特卡洛树搜索的准确性和效率。     

基于EM-ICP的三维人脸简化点云并行配准算法

提出了一种基于离散曲率估计和kd-tree简化人脸点云的并行EM-ICP配准算法.首先建立人脸点云的三维空间kd-tree,并结合离散高斯曲率对点云进行了保留几何特征的简化;然后基于CUDA对EM-ICP算法进行并行加速,对简化的人脸点云进行配准.该算法能够避免局部配准等缺陷,同时EM-ICP算法并行保证了配准工作的高效.实验证实了本文算法的健壮性和稳定性.     

光线追踪的kd-tree构造

针对kd—tree的结构会直接影响光线追踪的渲染速度,结合SAH思想,设计和实现了一种引入光线的构造kd—tree的方法,简化构造过程巾的计算,并生成优于用普通二分法及原始SAH思想构造的kd—tree。实验证明,该方法可加快渲染速度且场景效果不会变差,适用于游戏型学习软件及游戏。     

网格计算及其在进化计算中的应用

提出了一种将网格技术应用于进化算法的计算模式。这种计算模式使用规则与规则集共同演变的模式,实现了数据挖掘技术中的分类。它利用网格计算技术的优势,提高了以往复杂的数据挖掘技术的能力和效率。     

基于中剖面kd-树的光线跟踪加速算法

kd-树算法是光线跟踪加速技术中效果最突出、应用最广泛的算法之一。在深入讨论该算法的基础上,提出了中剖面kd-树算法。该算法通过在预处理阶段加入一个场景层次信息索引表,将剖分平面固定为中剖面,并利用栈存储下一结点所需信息,节约了一半的存储空间;此外,将剖分轴按照最大轴向进行剖分,从而减少了光线同时穿过两个子结点的可能性,减少了访问时间,提高了算法效率。     

启发式重构算法在压缩传感中的应用研究

针对传统算法在处理传感器网络的大规模信号时,运算复杂度显著增大,性能急剧下降的问题,提出了启发式同步自适应迭代阈值重构算法。采用启发式差错控制函数选择代价最少的方向逐行同步收缩逼近最优解,并结合由自适应递减幂指数参数所确定的非线性阈值函数,进一步判断修正重构信号。仿真结果表明,启发式同步自适应迭代阈值重构算法以更少的测量值和迭代次数重构信号,其信噪比提高了60 dB。