多角度偏振成像仪测量偏差的数据挖掘分析

对多角度偏振成像仪测量偏差进行数据挖掘分析,解决多角度偏振成像仪测量偏差预测准确率低问题.利用包含决策树建立和决策树剪枝两个步骤的决策树算法,通过数据预处理,去除原始数据中的噪声,通过误差数据挖掘,选取真值方位和真值距离为输入属性,方位误差和距离误差为预测属性建立测量偏差模型,挖掘多角度偏振成像仪测量偏差;采用前向算法...     

熵加权聚类挖掘算法在学科竞赛学员选拔中的应用

针对现有学科竞赛学员选拔中对评估数据缺少有效利用的问题,提出一种基于熵加权聚类的挖掘算法,对学科数据集合进行聚类,从而实现科学合理的人才挑选机制。采用人工统计对数据进行采集和归一化预处理,并利用稀疏分数进行数据特征选择,实现非必要聚类特征的过滤。通过熵加权聚类算法挖掘具有最优解的竞赛成员分配方案。实例分析结果表明,相比标准的Apriori算法,熵加权聚类算法运行效率更高,验证了提出方法的合理性和有效性。     

一种斜视FMCW SAR的等效正侧视处理方法

本文分析了斜视调频连续波SAR中载机连续运动的影响——产生多普勒频移,以及其对图像聚焦的影响,建立了斜视调频连续波SAR信号模型,在分析了现有频率变标算法在斜视角较大情况下失效根源的基础上,提出了一种斜视数据等效正侧视处理方法,通过对斜视数据的预处理,将斜视数据按正侧视的方法来处理;针对预处理带来的方位聚焦深度的制约,采用方位非线性调频变标处理克服方位聚焦深度的限制.最后通过点目标仿真数据处理验证所提算法的有效性.     

一种岸海警戒雷达的标校方法

岸海警戒雷达需要定期进行标定以保证高的测量精度,为提高岸基雷达数据融合的有效性和目标探测精度,提出了基于AIS接收标校目标定位信息的岸基雷达标校方法。该标校方法过程简单,操作方便,真值精度高,通用性强,同时适用于静态标校和动态标校。     

曲线匹配法在雷达动态标校中的应用

雷达系统动态标校中,测量数据与真值之间一般通过记录时戳的匹配来计算测量值与真值的误差,从而进行雷达系统误差修正。时间匹配法在数据时戳精度较差时存在一定偏差,时戳精度越差,偏差越大。本文提出一种基于曲线匹配的方法,能忽略时戳误差的影响,并对比了两种方法的差异和优缺点,为雷达系统动态标校提供了一种精确、可行的数据匹配计算方法。     

对聚类算法普遍存在问题的解决办法

聚类广泛应用于统计、机器学习、模式识别、数据分析等领域并越来越受重视。本文研究了各种聚类算法共同面临的五个问题：聚类效果评估、类数目估计、数据预处理、样本间相似性测量、抗干扰性能，分析了对这些问题的有代表性的解决方法，总结并预测了未来聚类算法在这五个方面的研究方向。     

ISAR成像的数据预处理

在ISAR成像中,成像数据通常都是按顺序从回波数据中选取,方位分辨率和成像质量也是根据经验来控制.由于ISAR成像的目标是非合作的,很难得到统一的方位分辨率,同时成像的质量和成像的效率也不能达到最佳,因此对成像前的数据进行预处理非常重要.文中提出了一种预处理方法,通过预处理使方位分辨率自动达到所要求的方位分辨率.并根据数据质量自动选择平稳成像算法或机动目标成像算法.仿真表明,通过预处理,成像的效率和成像的质量都能达到很大的提高.     

一种基于神经网络的医学数据场体分割新算法

直接体分割是三维医学数据场处理的难点和研究热点之一.利用BP神经网络的聚类技术,提出了一种新的三维医学数据场的聚类分割算法.首先,根据医学数据的物理意义,对数据场进行预处理,以加快后继处理速度;随后分析推导了基于神经网络的聚类分割算法,并提出了若干加速算法收敛速度的方法.实验结果表明该算法不仅能够提高三维医学组织的聚类分割精度,而且能够模型的处理速度.     

基于K-均值与AGNES聚类算法的校园网行为分析系统研究

校园网中的服务器存有海量的用户访问日志文件,记录了校园网用户的访问信息。鉴于此,提出了一种基于聚类算法的校园网用户行为分析技术,设计和实现了数据预处理系统,对日志数据进行一系列的清理、合并,标准化等预处理,使其更好地适应后续的聚类操作。将预处理后的数据作为输入数据,分别实现了三种常用的聚类算法对日志数据进行聚类,然后从聚类准确率和聚类速度两个角度对现有算法进行优化。为了提高聚类准确率,提出了用K-均值算法结合AGNES算法的方法;为了提高聚类速度,在MPICH2平台上设计和实现了并行K-均值算法,实现多机并行分析,最后简单介绍了校园网行为分析系统的应用。     

智慧教育英语线上课程资源聚类系统设计

英语线上课程资源聚类系统检索效率较低、准确率不高。为此,提出智慧教育英语线上课程资源聚类系统。聚类系统硬件部分由数据采集层、数据聚类处理层和应用层构成。采用Gibbs算法采集数据,采用K-均值聚类方法预处理和分类采集到的数据;软件部分由持久层、数据访问层、业务逻辑层和表现层构成,采用J2FF技术将检索完成的结果以可视化的形式展现。实验结果表明,该系统能有效提高线上教育资源的检索效率,且准确率较高,符合实际用户需求。     

基于同态加密的DBSCAN聚类隐私保护方案

为了降低数据外包聚类运算过程中存在的隐私泄露风险,提出了一个基于同态加密的DBSCAN聚类隐私保护方案.为了加密实际场景中的浮点型数据,给出了针对不同数据精度的3种数据预处理方式,并提出了一种基于数据特点且综合考虑数据精度和计算开销等方面的数据预处理方式的选择策略.由于同态加密不支持密文比较运算,设计了一个用户端与云服...     

基于大数据处理技术的电力通信网检修工作分析方法

分析了电力通信网设备检修、告警及台账数据的特点,并采用属性规约和聚类完成对数据的预处理工作。提出了设备检修工作分析所需的相关指标及影响因素,并结合MapReduce技术和Apriori算法提出了数据挖掘方法。运用该方法对实际的网络数据进行了挖掘,并根据挖掘结果,从检修工作分布情况、检修对业务的影响、检修耗时等角度分析通信网的检修工作情况。     

智能电网环境下电能计量大数据智能多维分析

针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。     

DATA PREPROCESSING AND RE KERNEL CLUSTERING FOR LETTER

Many classifiers and methods are proposed to deal with letter recognition problem. Among them, clustering is a widely used method. But only one time for clustering is not adequately. Here, we adopt data preprocessing and a re kernel clustering method to tackle the letter recognition problem. In order to validate effectiveness and efficiency of proposed method, we introduce re kernel clustering into Kernel Nearest Neighbor classification （KNN）, Radial Basis Function Neural Network （RBFNN）, and Support Vector Machine （SVM）. Furthermore, we compare the difference between re kernel clustering and one time kernel clustering which is denoted as kernel clustering for short. Experimental results validate that re kernel clustering forms fewer and more feasible kernels and attain higher classification accuracy.     

Robust subspace clustering based on inter-cluster correlation reduction by low rank representation

Subspace clustering refers to clustering data points into their respective subspaces and finding a low-dimensional structure to fit each group of points. In subspace clustering, the inter-cluster correlation of data which is caused by noise such as illumination and background affects the performance of subspace clustering algorithms. To solve this problem, a new approach is proposed to detect the unusual data with strong inter-cluster correlation based on the representation matrix obtained from low-rank representation (LRR). Then a low-rank model was established by reducing the unusual part of data and subspace clustering is performed. In addition, in order to apply subspace clustering algorithm on unaligned data, the preprocessing is required to make the data aligned, and the preprocessed data is used in experiments. Experimental results on the face dataset and texture dataset show the efficiency of the proposed method. The experiment also indicates that with the signal ratio increasing, the inter-cluster correlation is becoming more obvious.     

用自动模糊划分与改进Apriori算法生成QAR关联规则

针对属性粒度模糊划分需事先给定与Aprirori算法效率低的问题,提出基于自动模糊划分和改进Apriori算法的QAR关联规则生成方法。首先对QAR数据进行空缺值填补等预处理;然后给出最佳聚类准则并根据给出的最佳聚类准则得到最佳聚类,从而对QAR属性完成自动模糊划分及隶属函数的确定;之后通过记录数据项位置及简化连接与剪枝过程来提高Apriori算法的效率;并将其应用到QAR关联规则的生成过程;最后通过品质和性能度量两方面的实验,表明此方法在各方面的性能均优于经典方法。     

Uncertain data analysis algorithm based on fast Gaussian transform

The effect of the uncertainties needs to be taken full advantage during uncertain data clustering.An uncertain data clustering algorithm based on fast Gaussian transform was proposed,to solve the problems about the impact on the accuracy of clustering results and the clustering efficiency caused by the uncertainties,during the construction of uncertain data models and the distance measurement,which existed in the current researches.First,the data model according to the characteristic of the uncertainty distribution was constructed,without the premise of assuming the data distribution.And the similarity between uncertain data objects was measured by combining the two important features of uncertain objects,attribute features and the probability density function representing the characteristic of uncertainty distribution.And then the uncertain data clustering algorithm was proposed.Finally,the experiment results on UCI and real datasets indicate the better efficiency and accuracy of proposed algorithm.     

基于GSI编码点的二维散斑测量技术研究

在摄影测量中,采用人工编码点可以有效提高测量精度.为了提高二维散斑测量的精度和效率,引入了一种有效的GSI(Geodetic Systems Incorporation)编码点.研究了GSI编码点对二维散斑测量精度和效率的影响,采用亚像素搜索和曲面拟合相结合的方法进行数据处理,并对结果进行了分析.实物实验中引入编码标志点,降低了测量误差,提高了计算效率.     

一种有效的高维分类数据聚类方法研究

随着数据规模的不断增大,提高K-modes聚类算法或模糊K-modes聚类算法的运行效率成为了一个重要问题.为了提高其算法执行效率,提出了一种基于分治法的高维分类数据聚类方法.该方法并不是一次性对所有的数据进行聚类,而是将分类数据集分成若干个子集,对每个子集同时进行聚类,最后对聚类结果进行融合以形成最终的聚类结果.实验结果表明大多数情况下较传统的方法在聚类的速度上有显著的提高.     

三维激光扫描技术下杂散光大数据预处理系统设计

杂散光的产生会降低图像对比度与信噪比,影响扫描测量结果准确性,基于此,提出三维激光扫描技术下杂散光大数据预处理系统.通过三维激光扫描系统原理与工作流程,分析杂散光点源透射比、双向散射分布函数与基本传输方程,建立6种杂散光传输路径模式;利用小数定标规范方法对三维激光数据做规范化处理,确定神经网络模型,将最速下降BP算法作...