导航路径寻优的地图数据库分层索引机理

研究了导航路径寻优的地图数据库分层索引机理.以路网分层模型为基础,研究并设计了G-SDBCScan (Geospatial Database Convergence Scan)索引算法,并将此算法应用于面向地图数据库的分层索引机制.最后通过嵌入式数据库SQlite在分层索引机制中的应用来验证分层索引机制的有效性.     

改进动态分层资源索引自主混淆云计算模型

在多媒体资源索引中,需要构建云计算模型实现资源索引优化调配和共享,由于多媒体资源云计算索引中进行梯度边缘匹配引起自主混淆,影响多媒体图像的索引准确度。在传统的连续纹理虚化反混淆云计算模型的基础上,进行改进,在资源索引模板匹配过程中引入动态分层策略,提出一种改进的动态分层资源索引自主混淆云计算模型,设计优化的量子群多媒体资源动态分层预测算法,计算多媒体资源信息索引序列的平局动态分层互信息量,通过搜索图像微细特征点的非零特征值计算,得到动态分层云计算模型统云数据在资源信息索引时的量子群聚类响应系统,实现动态分层资源索引与自主混淆云计算模型构建。仿真实验表明,有效实现对多媒体资源的动态分层特征提取,去除在云计算中产生的混淆特征,提高云计算多媒体图像资源索引的准确度,执行效率优越传统的云计算方法。     

一种基于路网的多源聚合距离Skyline查询算法

基于路网距离的多源Skyline查询在地图服务中广泛使用,但现有的Skyline查询方法对于复杂的路网距离计算效率低下,并且随着查询点数量的增加查询结果集变得过于庞大,无法为用户提供精简有效的查询结果。为了提高查询结果的有效性和查询效率,提出一种基于最小聚合距离的倒排索引Skyline查询算法,该算法对道路网建立QG-tree索引,提高聚合距离的计算效率;同时对兴趣点集建立倒排索引,结合剪枝策略对兴趣点进行检索,减少聚合距离计算和支配判定的开销,有效地提高查询效率。在真实道路网上的实验表明,所提出的算法效率比现有算法DSR和N3S快1~3个数量级,可以有效地处理道路网环境下多源Skyline查询问题。     

地图数据库中的空间索引

本文提出了针对地图数据对象的一种新的索引机制，称为网格索引。网格索引基于地图对象的空间位置及其分布，是一种高效使用的空间索引。文章全面地讨论了它的查找、插入、删除和修改算法及实现技术。     

基于Map/Reduce的外壳片段立方体并行计算方法

针对高维、维度分层的大数据集,提出一种基于Map/Reduce框架的并行外壳片段立方体构建算法。算法采用Map/Reduce框架,实现外壳片段立方体的并行构建与查询。构建算法在Map过程中,计算出各个数据分块所有可能的数据单元或层次维编码前缀;在Reduce过程中,聚合计算得到最终的外壳片段和度量索引表。实验证明,并行外壳片段立方体算法一方面结合了Map/Reduce框架的并行性和高扩展性,另一方面结合了外壳片段立方体的压缩策略和倒排索引机制,能够有效避免高维数据物化时数据量的爆炸式增长,提供快速构建和查询操作。     

GDG:一种基于逆支配点集的top-k高效查询索引方法

考虑偏好top-k计算问题,提出一种整合网格索引和DG索引的Gridded Dominant Graph(GDG)混合索引结构.首先,提出基于数据点逆支配点集性质的剪枝自由点方法,该方法大大减少了构建索引中的数据点及查询时可能访问的数据点.通过网格索引高效地计算逆支配点集,并得出网格中"k-最大运算区域"和"k-最大查找区域",分别在建立索引和top-k查询阶段近似地剪枝自由点.然后,分析了查询索引阶段层次式索引(如dominant graph(DG))在同一层次中无序访问数据点的不足,通过增加网格索引而使访问有序.计算网格概要信息并将网格单元按函数分值排序,使层次内数据点依据网格单元顺序而访问有序.由于附加的网格索引增加计算和存储开销较少,同时性能有较大提升,所以GDG适用性强.理论分析和实验结果均验证了上述方法的有效性.     

一种改进的自适应层次网格空间索引查询算法

海量空间数据的处理需要通过空间索引来提高效率。文章在深入研究层次网格空间索引技术的基础上,提出了一种基于内外块算法的层次网格空间索引查询算法,并结合已实现的SircGIS.NET系统,分析了它的性能,结果表明该算法大大地提高了层次网格空间索引的效率。     

基于ORB-SLAM3的改进型特征匹配与稠密建图算法

针对传统ORB算法存在提取的特征点极易堆积在纹理丰富的区域及误匹配率高等而导致无法满足高精度定位要求,以及ORB-SLAM3系统无法构建稠密地图的问题,提出一种基于ORB-SLAM3的改进型ORB-GMS特征匹配方法,并增加稠密建图线程来实现稠密地图的构建。首先,在特征点提取过程中引入四叉树策略,将图像帧分为若干个网格,并在每个网格中提取最优特征点;然后,在特征匹配过程中将运动平滑约束转换为剔除错误匹配的统计量,通过比较匹配对邻域内的匹配对数量和阈值来快速筛选正确匹配;最后,完成位姿估计并根据关键帧与相应位姿完成稠密点云地图的构建。采用TUM的RGB-D数据集进行实验,改进算法提取的特征点相较传统ORB算法分布更加均匀,匹配数比ORB-SLAM3增加64.5%,比GMS算法增加4.7%,匹配耗时比ORB-SLAM3减少20.4%,比GMS算法减少94.6%,从而验证了改进算法在特征点提取与匹配方面的优越性,并且相较于ORB-SLAM3,改进算法的定位精度提高了3.75%,从而验证了其在总体上提高定位精度,进而实现稠密建图的可行性和有效性。     

基于网格和密度的海量数据增量式离群点挖掘算法

处理海量和高维数据已经成为设计离群点算法面临的重要任务和挑战,针对海量数据的特点提出一种基于网格和密度的增量式离群点挖掘算法IGDLOF,算法的基本思想为:采用网格的七元组信息减少数据维数和数量,利用增量更新减少内存需求.通过代表点过滤相应的主体数据,先判断再进行近似密度计算的方法减少计算量,降低算法的复杂度.通过在真实和仿真数据集的测试表明,IGDLOF增量算法可与LOF算法保持相同的精确度,而执行效率得到显著的提高.     

IDC网站运营支撑系统设计与实现

针对万兆网络流量采集容易丢包和海量数据难以存储的问题,设计一种特定的网络测量方法及数据存储方式,其中包括在Linux内核TCP/IP协议栈中添加快速匹配算法以实现IP快速过滤、分布式多点采集机制对不同地点服务器进行检测、多粒度聚合对海量数据进行存储。在运营商实地环境下进行测试,结果表明,该系统能够达到预期的功能设计目标。     

基于密度峰值和网格的自动选定聚类中心算法

针对快速搜索和发现密度峰值的聚类算法(DPC)中数据点之间计算复杂,最终聚类的中心个数需要通过决策图手动选取等问题,提出基于密度峰值和网格的自动选定聚类中心的改进算法GADPC。首先结合Clique网格聚类算法的思想,不再针对点对象进行操作,而是将点映射到网格,并将网格作为聚类对象,从而减少了DPC算法中对数据点之间的距离计算和聚类次数;其次通过改进后的聚类中心个数判定准则更精确地自动选定聚类中心个数;最后对网格边缘点和噪声点,采用网格内点对象和相邻网格间的相似度进行了处理。实验通过采用UEF(University of Eastern Finland)提供的数据挖掘使用的人工合成数据集和UCI自然数据集进行对比,其聚类评价指标(Rand Index)表明,改进的算法在计算大数据集时聚类质量不低于DPC和K-means算法,而且提高了DPC算法的处理效率。     

模糊C-均值聚类引导的Kinect深度图像修复算法

针对Kinect传感器所采集的深度图像中存在大面积空洞的问题,提出了一种模糊C-均值聚类引导的深度图像修复算法。该算法将同步获取的彩色图像和深度图像作为输入;利用模糊C-均值聚类算法对彩色图像进行聚类,聚类结果作为引导图像;然后对每个深度图像中的大面积空洞区域,利用改进的快速行进算法,从空洞边缘向空洞内部逐层修复空洞区域;最后,利用改进的双边滤波算法去除图像中的散粒噪声。实验表明该算法能有效修复Kinect深度图像中的空洞,修复后的图像在平滑度和边缘强度上优于传统算法。     

Clustering of the self-organizing map

The self-organizing map (SOM) is an excellent tool in exploratory phase of data mining. It projects input space on prototypes of a low-dimensional regular grid that can be effectively utilized to visualize and explore properties of the data. When the number of SOM units is large, to facilitate quantitative analysis of the map and the data, similar units need to be grouped, i.e., clustered. In this paper, different approaches to clustering of the SOM are considered. In particular, the use of hierarchical agglomerative clustering and partitive clustering using K-means are investigated. The two-stage procedure-first using SOM to produce the prototypes that are then clustered in the second stage-is found to perform well when compared with direct clustering of the data and to reduce the computation time.     

自适应K-means聚类的散乱点云精简

目的 点云精简是曲面重建等点云处理的一个重要前提,针对以往散乱点云精简算法的精简结果存在失真较大、空洞及不适用于片状点云的问题,提出一种自适应K-means聚类的点云精简算法。方法 首先,根据k邻域计算每个数据点的曲率、点法向与邻域点法向夹角的平均值、点到邻域重心的距离、点到邻域点的平均距离,据此运用多判别参数混合的特征提取方法识别并保留特征点,包括曲面尖锐点和边界点;然后,对点云数据建立自适应八叉树,为K-means聚类提供与点云密度分布相关的初始化聚类中心以及K值;最后,遍历整个聚类,如果聚类结果中含有特征点则剔除其中的特征点并更新聚类中心,计算更新后聚类中数据点的最大曲率差,将最大曲率差大于设定阈值的聚类进行细分,保留最终聚类中距聚类中心最近的数据点。结果 在聚类方面,将传统的K-means聚类和自适应K-means聚类算法应用于bunny点云,后者在聚类的迭代次数、评价函数值和时间上均优于前者;在精简方面,将提出的精简算法应用于封闭及片状两种不同类型的点云,在精简比例为1/5时fandisk及saddle模型的精简误差分别为0.29×10^-3、-0.41×10^-3和0.037、-0.094,对于片状的saddle点云模型,其边界收缩误差为0.030 805,均小于栅格法和曲率法。结论 本文提出的散乱点云精简算法可应用于封闭及片状点云,精简后的数据点分布均匀无空洞,对片状点云进行精简时能够保护模型的边界数据点。     

基于密度峰值和近邻优化的聚类算法

针对密度峰值算法在选取聚类中心时的时间复杂度过高,需要人工选择截断距离并且处理流形数据时有可能出现多个密度峰值,导致聚类准确率下降等问题,提出一种新的密度峰值聚类算法,从聚类中心选择、离群点筛选、数据点分配三方面进行讨论和分析,并给出相应的聚类算法。在聚类中心的选择上采取KNN的思想计算数据点的密度,离群点的筛选和剪枝以及数据点分配则利用Voronoi图的性质,结合数据点的分布特征进行处理,并在最后应用层次聚类的思想以合并相似类簇,提高聚类准确率。实验结果表明:所提算法与实验对比算法相比较,具有较好的聚类效果和准确性。     

基于Gossip协议的网格资源发现机制

由于网格环境中存在着大量分布、异构、动态的资源和服务,快速、准确地进行资源发现,是关系到网格计算性能的关键因素之一。该文按照虚拟组织(V irtual Organization)——机构(Institution)——资源(Resource)的层次,建立分层网格模型,提出了该模型上的资源发现机制,包括信息共享、消息扩散及资源查询机制。通过模拟实验,表明了该资源发现机制的查询应答率较高,同时消息扩散的开销较小。     

一种基于加权多代表点的层次聚类算法

CURE算法是一种凝聚的层次聚类算法,它首先提出了使用多代表点描述簇的思想。本文通过对已有的基于多代表点的层次聚类算法特点的分析,提出了一种新的基于多代表点的层次聚类算法WRPC。它使用了基于影响因子的簇代表点选取机制和基于k-近邻方法的小簇合并机制,可以发现形状、尺寸更为复杂的簇。实验结果表明,该算法在保证执行效率的情况下取得了更好的聚类效果。     

规则格网DTM快速构建算法研究*

规则格网(Grid)是数字地形模型(DTM)最常用的表示方法,有着广泛的应用。研究了基于离散点、三角网两种空间数据的规则格网快速构建算法。实验表明,分块索引方法及扫描线填充方法的引入实现了规则格网的快速生成,在大数据量条件下,效果也非常明显。     

基于优化DBSCAN聚类算法的晶圆图预处理

晶圆图是由半导体生产过程中对晶圆进行可测试性检测而得到的,通过对晶圆图进行分类可以为生产过程中出现的问题提供依据,从而解决问题,降低生产成本.在对晶圆图进行分类之前,最重要的是特征提取,晶圆图除了本身拥有一定的空间图案以外,还存在着很多的噪声,影响着特征提取的过程.传统的DBSCAN算法用于滤波,需要人为确定两个参数,最小邻域Eps和最小点数MinPts,参数的选择直接影响了聚类的准确性.为此,提出一种基于优化DBSCAN聚类算法的滤波方式,自动确定DBSCAN的参数,以解决传统的手动设定参数的弊端.该算法基于参数自动寻优策略,选取DBSCAN 聚类后簇内密度参数和簇间密度参数的综合指标来评定最优参数.实验结果表明,该算法能自动并合理地选择较好的参数,具有很好的聚类效果,对后续的特征提取及分类也具有很大的帮助.     

基于层次划分的密度优化聚类算法

针对传统的聚类算法对数据集反复聚类,且在大型数据集上计算效率欠佳的问题,提出一种基于层次划分的最佳聚类数和初始聚类中心确定算法——基于层次划分密度的聚类优化(CODHD)。该算法基于层次划分,对计算过程进行研究,不需要对数据集进行反复聚类。首先,扫描数据集获得所有聚类特征的统计值;其次,自底向上地生成不同层次的数据划分,计算每个划分数据点的密度,将最大密度点定为中心点,计算中心点距离更高密度点的最小距离,以中心点密度与最小距离乘积之和的平均值为有效性指标,增量地构建一条关于不同层次划分的聚类质量曲线;最后,根据曲线的极值点对应的划分估计最佳聚类数和初始聚类中心。实验结果表明,所提CODHD算法与预处理阶段的聚类优化(COPS)算法相比,聚类准确度提高了30%,聚类算法效率至少提高14.24%。所提算法具有较强的可行性和实用性。