一种面向不确定对象的可见k近邻查询算法

真实世界中,常存在很多障碍物,影响空间对象到查询点的可见性及距离,可见k近邻查询查找距查询点最近的k个可见对象,是时空查询领域的一类重要算法.由于度量设备误差以及通信开销的限制等因素,空间对象位置不确定因素广泛存在.文中拟对不确定对象执行可见k近邻查询,提出了概率可见k近邻(PVkNN)查询,即查找前k个成为查询点最近邻居概率最大的节点.为了高效地执行这一查询,文中提出了k-界限剪枝方法,基于可见质心的紧缩过滤以及对不可见对象的剪枝策略,从空间角度过滤掉不符合条件的对象.为避免对候选集合中每个对象的概率都进行精确计算,从概率角度提出了根据概率上下限来对候选集合进行进一步的求精方法,采用近似采样技术来获取可见区域的比例,实现了对PVkNN的高效计算.采用真实和模拟数据集设计实验,充分验证了算法的效率和精度.     

基于空间索引的WSN数据查询机制

针对当前无线传感器网络中数据查询通信开销大而带宽资源有限的问题,提出了一种基于局部聚类的数据存储模型.该模型通过将整个网络按地理位置划分区域,采用局部数据聚集存储,避免了将同种数据发送至一个存储点存储所造成的巨大通信开销,从而均衡通信带宽.在数据存储模型之上,提出了一种基于空间索引的数据查询方法(SIQ).在SIQ中只利用存储节点构建成索引的叶子节点,与利用所有节点建成的索引相比,其维护的节点数量少,索引的构建成本降低.同时SIQ采用数据属性为空间索引内容,有效地对监测数据进行多维属性的范围查询.仿真结果表明,与较成熟的DD算法和GHT算法相比,SIQ方法能克服泛洪查询所引起的高通信复杂度.     

分布式信息网数据库管理系统的动态数据划分研究

在分布式信息网数据库管理系统中,数据是否被合理划分会影响系统的负载均衡以及节点之间的通信开销。为此,提出一种基于查询的动态数据划分算法。根据历史查询信息挖掘数据之间潜在的关联性,将关联性较大的数据动态调整到同一个处理节点上,使查询在较少的节点上处理完成,减少不必要的通信开销。实验结果表明,在保证系统负载均衡的情况下,该算法可减小通信开销,加快查询速度,优化分布式环境的整体性能。     

P2P网络中最大频繁项集挖掘算法研究*

为解决P2P网络频繁项集挖掘中存在的全体频繁项集数量过多和网络通信开销较大这两个问题,提出了一种在P2P网络中挖掘最大频繁项集的算法P2PMaxSet。首先,该算法只挖掘最大频繁项集,减少了结果的数量;其次,每个节点只需与邻居节点进行结果交互,节省了大量的通信开销;最后,讨论了网络动态变化时算法的调整策略。实验结果表明,算法P2PMaxSet具有较高的准确率和较少的通信开销。     

Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。     

基于决策树生成及剪枝的数据集优化及其应用

为提高智能模型的识别精度,增强其泛化能力,需要对用于智能建模的数据集中的对象类别异常进行检测和修正。在进行数据集和决策树形式化描述的基础上,将基尼指数增益率作为确定连续条件属性最优二分原则,采用递归算法生成叶节点中对象为同一类别的二叉决策树。利用信息熵评价决策树剪除叶节点中对象的类别分布效果,实现数据集类别异常的类别修正。决策树的生成和剪枝本质上是完成基于基尼指数和信息熵的连续条件属性数据空间分割和合并类别修正。实验和实际应用验证了决策树生成和剪枝是数据集类别优化的有效方法。     

面向信息网模型的动态数据划分算法

针对分布式信息网数据库管理系统中因跨节点的复杂查询带来的昂贵通信开销,提出一种基于信息网模型和查询的数据动态划分算法。该算法根据信息网模型的关系特性和历史关系信息得到数据之间的初始关联,并结合历史查询信息挖掘数据之间的潜在关联,将关联性较强的数据动态调整到同一个处理节点上,使复杂查询跨节点的数量减少。最后,在标准合成数据集WatDiv上进行大量的实验评估。实验结果表明：在保证节点之间的对象个数和关系对占比负载均衡的情况下,该算法在周期内的查询时间与一致性哈希算法相比缩短了35%~55%,并将多个周期相同查询的时间波动控制在5%~10%,保证了复杂查询的稳定性。     

适用于区块链的高效异步拜占庭容错算法

针对现有异步共识算法存在的多轮次通信开销大、随机抽签算法中缺乏信誉机制导致了较多的抽取次数等不足,提出了一种高效的异步拜占庭容错算法PenguinBFT。首先,在广播交易时直接广播原文,降低了共识通信开销;其次,引入了节点信誉评估机制,从网络情况相对稳定的节点集合中选取出块者,以减少随机抽取次数;最后,对网络节点进行分区,在请求交易缺失时,让不同的节点访问不同的分区进行交易恢复,既能减少通信开销又能提升交易恢复效率。实验结果表明,当节点规模达到64时,提出的PenguinBFT算法相较于Honey-BadgerBFT、DumboBFT和DispersedLedger算法,在通信开销、吞吐量和交易确认时延等方面均有50%以上的提升。     

基于Rent规则的片上网络局部化特性流量生成算法

针对传统片上网络(NoC)流量模型的空间分布不符合实际应用中通信局部化特性、网络带宽开销大的问题,提出一种基于Rent规则的NoC局部化特性流量生成算法。该算法通过建立有限Mesh结构的通信概率分布模型,并利用通信概率矩阵对各节点匀速发包获得合成流量,实现通信局部化。实验模拟了不同局部化程度、不同网络尺寸的合成流量;仿真结果表明,与Random Uniform、Bit Complement、Reversal、Transpose、Butterfly等5种传统合成流量相比,该算法合成流量的局部化程特性更好、网络带宽开销更低,接近实际通信流量。     

基于消息摆渡的机会网络全覆盖低时延路由算法

针对现有基于消息摆渡的机会网络路由算法中存在的网络覆盖不全、Ferry节点主动运动路径不够优化以及Beacon消息包含冗余字段等问题,提出一种新的路由算法—优化的摆渡路由算法(Optimized Ferry Routing, OFR),该算法采用自适应调整Ferry节点通信半径消除网络覆盖盲区、优化选择Ferry节点主动运动路径,使尽可能多的节点相遇以及删除Beacon消息中冗余的位置信息3种新机制,在不影响原有数据传输功能的前提下改善网络覆盖,提高数据分组传送成功率、降低数据分组时延和控制开销。理论分析和仿真结果表明：与FIMF、MO-FIMF和FTFPF算法相比,OFR算法的数据分组传送成功率至少提高了3.83%,而平均端到端时延和控制开销则分别降低了1.23%和 6.34%以上。     

分布式序列模式发现算法的研究

提出算法FDMSP(fast distributed mining of sequential patterns),以解决分布式环境下的序列模式挖掘问题.首先对分布式环境下序列模式的性质进行了分析.算法采用前缀投影技术划分模式搜索空间,利用序列模式前缀指定选举站点统计序列的全局支持计数,利用局部约减、选举约减、计数约减等方法减少候选序列数,同时将算法分为3个子过程异步运行,使得算法具有较低的I/O开销、内存开销和通信开销,从而高效地生成全局序列模式.实验结果显示,在具有海量数据的局域网环境中,FDMSP算法的性能优于将数据集中后采用GSP算法68.5%～99.5%,并且FDMSP算法具有良好的可伸缩性.     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

Levelwise Search and Pruning Strategies for First-Order Hypothesis Spaces

The discovery of interesting patterns in relational databases is an important data mining task. This paper is concerned with the development of a search algorithm for first-order hypothesis spaces adopting an important pruning technique (termed subset pruning here) from association rule mining in a first-order setting. The basic search algorithm is extended by so-called requires and excludes constraints allowing to declare prior knowledge about the data, such as mutual exclusion or generalization relationships among attributes, so that it can be exploited for further structuring and restricting the search space. Furthermore, it is illustrated how to process taxonomies and numerical attributes in the search algorithm.Several task settings using different interestingness criteria and search modes with corresponding pruning criteria are described. Three settings serve as test beds for evaluation of the proposed approach. The experimental evaluation shows that the impact of subset pruning is significant, since it reduces the number of hypothesis evaluations in many cases by about 50%. The impact of generalization relationships is shown to be less effective in our experimental set-up.     

基于B-list的快速频繁模式挖掘算法

针对现有的频繁模式挖掘算法存在建树复杂、挖掘效率低等问题,提出一种基于构造链表（B-list）的频繁模式挖掘（BLFPM）算法。BLFPM使用一种新的数据结构B-list表示频繁项集,通过连接两个k-1-频繁项集的B-list可以快速得到k-项集的支持度,避免了多次扫描数据库;针对连接两个B-list时间复杂度高的问题,给出了一种线性时间复杂度的连接方法,提高了BLFPM的时间效率;同时,BLFPM采用集合枚举树代表搜索空间,并使用子集非频繁剪枝策略,减小了频繁模式挖掘的搜索空间,提高了算法的执行速度。实验结果表明,与NSFI算法和prepost算法相比,BLFPM的时间效率提高约12%到29%,空间效率提高约10%到24%,对稀疏数据库或稠密数据库进行频繁模式挖掘均可以得到良好的效果。     

A Novel Pruning Algorithm for Optimizing Feedforward Neural Network of Classification Problems

Optimizing the structure of neural networks is an essential step for the discovery of knowledge from data. This paper deals with a new approach which determines the insignificant input and hidden neurons to detect the optimum structure of a feedforward neural network. The proposed pruning algorithm, called as neural network pruning by significance (N2PS), is based on a new significant measure which is calculated by the Sigmoidal activation value of the node and all the weights of its outgoing connections. It considers all the nodes with significance value below the threshold as insignificant and eliminates them. The advantages of this approach are illustrated by implementing it on six different real datasets namely iris, breast-cancer, hepatitis, diabetes, ionosphere and wave. The results show that the proposed algorithm is quite efficient in pruning the significant number of neurons on the neural network models without sacrificing the networks performance.     

基于Voronoi图的障碍不确定数据的聚类算法

数据采集过程中普遍存在不确定性,并且在现实地理空间中,不确定数据之间可能存在障碍物间隔。为解决障碍空间中不确定数据的聚类问题,提出APPGCUO算法,该算法包括三个过程:在障碍物约束下采用R树节点最小最大值方法提出的RPT-OUCure算法,用以生成局部最优解,提高生成局部最优解的效率;继而利用近似骨架的理论提出GIABO算法,以局部最优解生成有效初始解,避免划分聚类算法中任意初始解的不足;最后结合Voronoi图的特性提出VPT-KMediods算法,减少不确定数据的积分运算量。实验结果表明,APPGCUO算法具有较高的聚类效率和质量。     

障碍空间中不确定数据聚类算法

近些年,由于数据采集的不精确和数据本身的不确定性,使不确定性在位置数据中普通存在。在障碍空间中,聚类不确定数据面临新的挑战。提出了障碍空间中聚类不确定数据的OBS-UK-means(obstacle uncertain K-means)算法,并提出了分别基于R树和Voronoi图的两种剪枝策略和最近距离区域的概念,大大减少了计算量。通过实验验证了OBS-UK-means算法的高效性和准确性,同时证明了剪枝策略在不损害聚类有效性的情况下,能够有效地提高聚类效率。     

一种高效的分布式序敏感轮廓查询处理算法

提出了一种新颖的分布环境中的序敏感轮廓查询算法（即找出不被别的对象所“支配”的且聚集值较高的对象）。现有的算法在节点数m较大时会消耗大量的网络带宽。提出了一种新的分布式序敏感轮廓查询处理算法（Distributed Rank-aware Skylining,DRS）。DRS算法在任意数据集上只需要4次交互就能完成,并且通过剪除不必要的对象来减少通讯代价。通过模拟数据验证了DRS算法的效率。实验表明,当节点数m大于4时,DRS算法性能优于现有算法的性能。     

IDDS：一种双链结构传染病数据共享区块链模型

现有传染病预防信息系统在工作过程中存在数据难以流通和共享等问题。为了解决这些问题,借由区块链的去中心化、不可窜改和集体维护等特点,提出了一个基于DPoS共识算法的传染病数据共享模型。该模型采用双链结构作为区块链架构,提高了工作效率;结合IPFS获得大容量存储空间,解决了区块数据存储面临的空间问题,保障了数据存储稳定性与共享安全性;提出了疾病防控共识算法,实现了传染病数据共享模型的高效运行。此外,通过与其他数据共享模型的对比,突出了该模型在数据存储与共享安全等方面的优势。     

基于贝叶斯优化的无标签网络剪枝算法

针对深度神经网络（DNN）的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数（FLOPS）压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。