Integrated Fisher linear discriminants: An empirical study

This paper studies Fisher linear discriminants (FLDs) based on classification accuracies for imbalanced datasets. An optimal threshold is found out from a series of empirical formulas developed, which is related not only to sample sizes but also to distribution regions. A mixed binary–decimal coding system is suggested to make the very dense datasets sparse and enlarge the class margins on condition that the neighborhood relationships of samples are nearly preserved. The within-class scatter matrices being or approximately singular should be moderately reduced in dimensionality but not added with tiny perturbations. The weight vectors can be further updated by a kind of epoch-limited (three at most) iterative learning strategy provided that the current training error rates come down accordingly. Putting the above ideas together, this paper proposes a type of integrated FLDs. The extensive experimental results over real-world datasets have demonstrated that the integrated FLDs have obvious advantages over the conventional FLDs in the aspects of learning and generalization performances for the imbalanced datasets.     

基于图像空间的三维动态场景远程可视化方法

对复杂三维动态场景进行远程可视化,基于顶点运动轨迹的压缩、传输方法需要计算的顶点数量巨大,速度慢.针对这些问题,提出一种基于图像空间的三维动态场景远程可视化方法:首先在服务器端进行先空间后时间的自适应采样,获得多幅动画深度图像.通过使用动画深度图像的采样点代替原始动态场景中的顶点,极大减少需要参与计算的三维点数量;然后在每幅动画深度图像中并行压缩采样点的运动轨迹,有效减少压缩时间;最后将压缩后的动态数据传输到客户端并重构一定时间内的三维动态场景.实验结果表明,算法可以极大提高服务器端数据压缩速度,减少需要传输的数据量,有效降低网络带宽对数据传输的限制.     

基于相关规则的不平衡数据的关联分类

许多研究表明关联分类具有较高的分类准确率,然而,大多数关联分类基于"支持度-置信度"框架,在不平衡数据集中,置信度和支持度都偏向产生多数类的规则,因此,少数类的实例容易被错误分类。针对上述问题,提出了一种基于相关规则的不平衡数据的关联分类算法。该算法挖掘频繁且互关联的项集,在以该项集为前件的分类规则中选取提升度最大的规则。规则按结合了提升度、置信度和补类支持度(CCS)的规则强度进行排序。实验表明,该算法取得了较高的平均分类准确率且在分类少数类的实例时具有更高的准确率。     

M-distinct算法改进：面向动态数据集重发布的隐私保护算法

M-distinct extension算法通过将数据添加、删除、更新三种情况分开处理,在删除情况下引入伪记录的概念,使得攻击者无法得出插入和删除数据之间的联系;另一方面提出事实：数据记录的不同属性在不同的发布用途中其信息权重并不相同,根据事实,引入属性权重的概念,减少算法在分配和划分两个阶段的循环次数,提高算法的效率。     

Spark中一种高效RDD自主缓存替换策略研究

由于并行计算框架Spark缓存替换算法的粗糙性,LRU（least recently used）算法并未考虑RDD的重复使用导致易把高重用数据块替换出内存且作业执行效率较低等问题。通过优化权重模型和改进替换策略,提出了一种高效RDD自主缓存替换策略（efficient RDD automatic cache,ERAC）,包括高重用自主缓存算法和缓存替换分级算法,可实现高效RDD的自主缓存和缓存目标的分级替换。最后利用SNAP（Stanford network analysis project）提供的标准数据集将ERAC和LRU、RA（register allocation）等算法进行了对比实验,结果显示ERAC算法能够有效提高Spark的内存利用率和任务执行效率。     

基于类别加权和方差统计的特征选择方法

为提高不均衡文本分类的准确率和稳定性,提出了一种基于类别加权和方差统计的联合特征选择方法.首先,基于类别文档数大小对特征选择的影响,给出了一种类别加权策略以强化小类别的特征;其次,在探究特征类别区分能力的基础上,设计了类别方差统计策略来凸显含有丰富类别信息的特征;最后,将2种策略相融合,实现了一种联合特征选择的新算法.在Reuters-21578和复旦大学语料这2个不均衡语料上的实验都表明:该算法有效,特别是在小类别的分类效果上远远好于IG、CHI和DFICF等流行的通用算法.     

子空间聚类改进算法研究综述

高维数据聚类是聚类技术的难点和重点,子空间聚类是实现高维数据集聚类的有效途径。CLIQUE算法是最早提出的基于密度和网格的子空间聚类算法,自动子空间聚类算法的实用性和高效性,带来了子空间聚类算法的空前发展。深入分析CLIQUE算法的优点和局限性;介绍了一些近几年提出的子空间聚类算法,并针对CLIQUE算法的局限性作了改进,聚类的效率和精确性得到了提高;最后对子空间聚类算法的发展趋势进行了讨论。     

电磁环境三维可视化技术

针对当前比较复杂的电磁环境,在分析其应用需求的基础上,确定电磁环境可视化的几个基本要素,提出用三维可视化技术来构建电磁环境,采用直接体绘制、面绘制和切片绘制的方法对共进行可视化。利用这些方法实现了某区域电磁态势分析结果的可视化,试验结果证明该方法具有较好的可视化效果。     

基于样本扩充和特征优选的IGWO优化SVM的变压器故障诊断技术

为了增强变压器故障诊断模型对不平衡样本的学习能力从而提高少数类故障样本的识别精度,提出了一种基于样本扩充和特征优选的融合多策略改进灰狼算法(improved grey wolf optimizer with multi-strategy, IGWO)优化支持向量机(support vector machine, SVM)的变压器故障诊断技术。首先,使用基于K最近邻过采样方法及核密度估计自适应样本合成算法的混合过采样技术对少数类样本进行扩充得到均衡数据集,并在此基础上采用方差分析对变压器候选比值征兆进行特征优选。然后,通过改进灰狼优化算法(grey wolf optimizer, GWO)初始化策略、参数及位置更新公式,并引入差分进化策略调整种群,提出了融合多策略的改进灰狼算法。最后,构建了一种基于混合过采样技术的IGWO优化SVM的变压器故障诊断模型,并通过多组对比实验验证了所提方法能够有效增强模型对少数类故障样本的识别能力,并提升模型的整体分类性能。     

遥感图像全色锐化的卷积神经网络方法研究进展

随着计算机科学、遥感科学和大数据科学等领域的迅速发展,基于卷积神经网络的方法在图像处理、计算机视觉等任务上发挥着越来越重要的作用。而在遥感图像全色锐化领域,卷积神经网络由于其优秀的融合效果,已得到研究学者的广泛关注并有大量的研究成果产生。尽管如此,依然有一些亟待解决的问题,例如缺乏全色锐化数据集的仿真细节描述、公平公开的训练—测试数据集、简单易懂的统一代码编写框架等。对此,本文主要从以下几方面回顾当前遥感图像全色锐化问题在卷积神经网络方面的一些进展,并针对前述问题发布相关数据集和代码编写框架。1)详细介绍7种典型的基于卷积神经网络的全色锐化方法,并在统一数据集上进行公平比较(包括与典型传统方法的比较);2)详细介绍训练—测试数据集的仿真细节,并发布相关卫星(如WorldView-3, QuickBird, GaoFen2,WorldView-2)的全色锐化训练—测试数据集;3)针对本文介绍的7种基于卷积神经网络的方法,发布基于Pytorch深度学习库的Python代码统一编写框架,便于后来初学者入门、开展研究以及公平比较;4)发布统一的全色锐化传统—深度学习方法MATLAB测试软件包,...