Similarity measure design for high dimensional data

Information analysis of high dimensional data was carried out through similarity measure application. High dimensional data were considered as the a typical structure. Additionally, overlapped and non-overlapped data were introduced, and similarity measure analysis was also illustrated and compared with conventional similarity measure. As a result, overlapped data comparison was possible to present similarity with conventional similarity measure. Non-overlapped data similarity analysis provided the clue to solve the similarity of high dimensional data. Considering high dimensional data analysis was designed with consideration of neighborhoods information. Conservative and strict solutions were proposed. Proposed similarity measure was applied to express financial fraud among multi dimensional datasets. In illustrative example, financial fraud similarity with respect to age, gender, qualification and job was presented. And with the proposed similarity measure, high dimensional personal data were calculated to evaluate how similar to the financial fraud. Calculation results show that the actual fraud has rather high similarity measure compared to the average, from minimal 0.0609 to maximal 0.1667.     

一种基于信息熵的子空间聚类算法

结合传统的Parzen窗方法并引入一种更加合理的历史数据丢弃策略,在此基础上,通过计算可以得到整个数据集在低维空间投影的信息熵,利用信息熵实现了一种适用于高维数据流的子空间聚类算法(PStream)。理论及实验均表明,与传统的算法相比,该算法可以在一次遍历的前提下,完成对数据流的高精度聚类,虽然其运行效率与现有的方法(如HPStream)相比差别不大,但是却明显地改善了聚类效果。     

基于日志的异常软件使用模式检测

提出了使用日志的孤立点分析方法,对日志数据进行预处理,确立合适的挖掘粒度,刻画出正常模式。陇进的方法可对规模较大的数据集进行异常检测,在降低误报率的同时,大大提高检测率,并达到理想的时间效率;使系统定期分析用户日志,从中自动找到可疑的日志,及时预防或者处理非法操作的现象,提高检测系统的智能化、准确性和检测效率。     

具有容噪特性的C4.5算法改进

针对有噪声的高维数据引起决策树预测准确率下降的问题,利用容噪主成分分析(Noise-free Principal Component Anlysis,NFPCA)算法思想对C4.5算法改进而形成NFPCA-in-C4.5算法。该算法一方面将高维数据噪声控制问题转化为拟合数据特征与控制平滑度相结合的最优化问题,从而获得主成分空间;另一方面在决策树自顶向下构建新节点的过程中,再将主成分空间恢复到原始数据空间来避免降维过程中属性特征信息永久消失。实验结果表明NFPCA-in-C4.5算法兼具降维和容噪功能,避免了降维中由特征信息损失和噪声残留造成的预测模型准确率大幅降低的问题。     

基于PCA和平行坐标的高维数据可视化

将平行坐标用于高维数据的可视化时,如果要展示的数据维太多,会发生可视化混乱。针对上述问题,提出一种结合主成分分析(PCA)和平行坐标的数据可视化方法PPCP。利用PCA方法对高维数据进行有效的降维处理,将降维后的数据进行平行坐标可视化展示。实验结果证明,该方法能有效地揭示高维数据之间的关系。     

基于时间状态的敏捷自主在轨服务航天器协同运动规划方法研究

面对未来工业化、军事化太空对空间体系在轨服务的需求,并兼顾敏捷自主在轨服务航天器自身和所在复杂空间环境等特点,对多敏捷自主在轨服务航天器系统的协同运动规划问题进行研究.利用以平动、转动和时间为状态的改进快速搜索随机树运动规划方法,对服务系统中各航天器灵巧、精确的协同运动进行规划.仿真算例检验了该方法的有效性,结果表明它能够满足敏捷服务航天器系统在一定约束条件下按指定时间到达指定地点的协同运动要求,并且面对此类高维运动规划问题具备一定的规划效率.     

使用日志的异常检测

提出了使用日志的孤立点分析方法,对日志数据进行预处理,确立合适的挖掘粒度,刻画出正常模式。改进的方法可对规模较大的数据集进行异常检测时,在降低误报率的同时,大大提高了检测率,并达到理想的时间效率。使系统定期分析用户日志,从其自动找到可疑的日志,及时预防或者处理非法操作的现象,提高检测系统的智能化、准确性和检测效率。     

基于主动学习的K-Hub聚类算法

K-Hub聚类算法是一种有效的高维数据聚类算法,但是它对初始聚类中心的选择非常敏感,并且对于靠近类边界的实例往往不能正确聚类.为了解决这些问题,提出一种结合主动学习和半监督聚类的K-Hub聚类算法.运用主动学习策略学习部分实例的关联限制,然后利用这些关联限制指导K-Hub的聚类过程.实验结果表明,基于主动学习的K-Hub聚类算法能有效提升K-Hub的聚类准确率.     

基于高斯加权和流形的高保真彩色图像降噪

针对用矢量法对彩色图像进行降噪处理,算法复杂度较高,无法达到实时处理的问题,提出了基于改进高斯加权和自适应流形的高保真彩色图像降噪方法。首先,将彩色图像用非局部均值算法得到高维数据,使用改进的高斯内核对彩色图像进行加权计算;然后,采用抛雪球方法处理这些高维数据,以高斯距离为权值,投影每个像素点的颜色到自适应流形;接着,对流形进行平滑降维,采用迭代法实现图像平滑;最后,收集流形中的平滑值,将平滑值对所有像素进行插值,得到降噪后的图像数据。实验证明,该方法对彩色图像进行降噪处理后,能够很好地保留原图像的细节,不会掺杂周围像素的颜色,算法处理速度较快,能够达到实时处理效果,降噪效果与原算法相比峰值信噪比(PSNR)提高近2.0dB,结构相似度提高了1百分点以上。     

PCA和相融性度量在聚类算法中的应用

提出一种基于主分量分析和相融性度量的快速聚类方法。通过构造主分量空间将高维数据投影到两个主成分上进行特征提取,每一个主分量都是原始变量的线性组合,主分量之间互为正交关系,在剔除冗余信息的同时,实现高维数据降维,得到二维坐标,以此作为聚类分析的输入;提出相融性度量的定义,用相融性度量描述一个样本与训练集相融合的程度,设计一种基于相融性度量的分类器。以该方法为基础设计的光谱自动分类系统可实现快速、准确地分类。