基于高速通行数据的脱敏管理研究

随着交通部推动取消高速公路省界收费站工作的进行,需要针对大量的通行数据由路网中心统一管理。在对这些数据统一管理的过程中,需要对数据进行脱敏处理,以满足国家相关法律法规的要求。文章针对数据脱敏的管理进行研究,针对动态脱敏与静态脱敏的区别与特点、数据脱敏算法的选型区别、数据分级分类管理思路进行针对性的研究。文章对数据脱敏管理的研究,对交通部路网中心的业务流程与数据安全应用有重要意义,同时对交通数据的应用拓展也具备借鉴价值。     

大数据负载的体系结构特征分析

针对大数据离线分析类和交互式查询类负载,首先对这些负载的一些共性进行分析,提取出公共操作集,并对它们进行分组整理;然后在大数据平台上测试这些负载运行过程中的微体系结构特征,采用PCA和SimpleKMeans算法对这些体系结构特征参数进行降维和聚类处理。实验分析结果表明负载之间有公共的操作集,如Join和Cross Production;有些负载有相似的属性,如Difference和Projection共享相同的微体系结构特征。实验结果对于 处理器等硬件平台的设计以及应用程序的优化具有指导性的意义,并且为大数据基准测试平台的设计提供了参考。     

财务数据检测系统设计

为了帮助企业提升财务数据管理的效率,并及时对数据进行检测,本文开发并实现了一款财务数据管理系统。系统主要采用Vue.js、Springboot框架、MySQL以及Redis等建站工具。该系统在操作上十分便利,财务人员可通过该系统高效管理企业数据,并可对数据进行检测。该系统可提升企业财务数据管理的效率,并为企业的财务数据安全做出保障。     

基于数据网格环境的连接操作算法

数据网格是一种分布式数据管理体系结构，能够为分布在网格中的资源提供协同的管理机制．数据库管理系统在数据网格中发挥着重要作用，在各种数据库操作中，连接操作是一种最常用也是最耗时的操作，到目前为止，尚未有文献提出数据网格环境下的连接操作算法．主要对数据网格环境下海量数据的连接操作算法进行了研究，针对网格中各结点之间网络带宽异构的特点，采取关系缩减算法、行分块传输技术和流水线并行机制来减少查询的响应时间．理论分析和实验结果证明，算法在减少网络通信开销、增加I／0和CPU并行、降低响应时间方面具有较好的性能．     

基于划分的数据仓库查询归并缓冲算法

在数据仓库中存在着大量的数据。联机分析处理包含着对大量数据的复杂的查询过程。在对这些数据的存储与查询中都遇到了许多困难。解决这一问题的有效办法就是先将数据划分成便于处理的数据块,再分别对每个数据块进行处理,最后将个数据块的处理结果归并在一起。对几种常用的归并算法进行了比较,并讨论了归并中的缓冲区分配问题。     

用宏技术处理Word表格数据

在Microsfot Word2003环境下,利用宏的技术,处理表格数据。通过宏的技术,制作实现数据统计操作的快捷键,通过对快捷键的操作实现对表格数据的处理;利用宏的技术制作出对应操作的工具栏按钮,通过对这些按钮的点击操作处理多表格中数据。这些操作方便快捷,实现了简化操作和提高工效的目的。     

基于数据分区的DBSCAN算法

数据聚类在数据挖掘、模式识别、图像处理和数据压缩等领域有着广泛的应用。ＤＢＳＣＡＮ是一种基于密度的空间聚类算法,在处理空间数据时具有快速、有效处理噪声点和发现任意形状的聚类等优点,但由于直接对数据库进行操作,在数据量大的时间就需要较多的内存和Ｉ／Ｏ开销;此外,当数据密度和聚类间的距离不均匀时聚类质量较差,为此,在分析ＤＢＳＣＡＮ算法不足的基础上,提出了一个基于数据分区的ＤＢＳＣＡＮ算法,测试结果表     

银行信用卡分类挖掘数据的预处理

描述了信用卡数据分类挖掘中的数据预处理过程，先从纷杂的应用数据中选择与分析主题有关的数据表，经过一系列数据库操作，从这些数据表中获得样本的输入信息，然后从交易历史信息中抽象出对样本分类的相关参数，将分类标准量化后得到对样本的分类。最后经过数据规格化、异常处理、缺失处理等数据清理方法对样本数据进行加工，得到分类挖掘所需的样本数据。     

用宏技术处理Word表格数据

在Microsfot Word2003环境下,利用宏的技术,处理表格数据。通过宏的技术,制作实现数据统计操作的快捷键,通过对快捷键的操作实现对表格数据的处理;利用宏的技术制作出对应操作的工具栏按钮。通过对这些按钮的点击操作处理多表格中数据。这些操作方便快捷,实现了简化操作和提高工效的目的。     

基于MapReduce的数据倾斜连接算法

连接操作是大规模数据集在数据分析应用中最常用的操作,针对MapReduce自身不能有效地处理数据倾斜情况下的连接操作,提出了基于MapReduce的频次分类连接算法。根据数据在连接数据集中出现的频率将整个数据集分为3类,对倾斜数据利用分区算法和广播算法实现数据重分布,以消除数据倾斜的影响;对非倾斜数据采用Hash算法实现数据重分布。重分布后的数据在单节点内即可完成数据连接操作,避免了MapReduce框架下连接操作的跨节点传输代价;同时有效地均衡了MapReduce各节点的任务负载,从而提高了数据倾斜状态下连接操作的效率。通过与传统连接算法的对比,证明了所提算法的有效性和实用性。     

基于启发式参考集选取的复杂数据特征提取算法

对当前具有代表性的几种特征提取算法进行了分析与比较，并在Bourgain算法的基础上，提出一种基于数据类别数及各类代表元素等启发式信息的复杂数据特征提取算法。对于M类复杂数据，该算法可以提取出维向量用来表示这些数据。针对实际数据，对几种算法的降维性能进行了比较实验，实验结果表明该算法具有很好的特征提取效果。     

三维形状特征提取技术研究进展

三维形状模型广泛应用于工业设计、教育、生物医药、动画娱乐、文物保护等多个领域中。三维形状模型的特征提取是计算机图形学和模式识别领域的重要问题,近年来受到学者的广泛关注。尤其是具有铰链、关节等的非刚性三维形状通常会发生变形,进一步增加了形状特征提取的难度。主要研究、分析、总结了近几年出现的刚性三维形状和非刚性三维形状的特征提取算法,分析了三维形状特征提取的难点,给出了三维形状特征提取的发展进程。介绍了近年来三维形状特征匹配研究领域中常用的一些测试数据库,重点探讨了非刚性三维形状的特征匹配方法,并展望了三维形状特征提取、特征匹配的未来发展方向。     

手写体数字识别系统中一种新的特征提取方案

本文对手写体数字识别系统中的数字特征提取方法进行了深入的研究,分析了当前用得比较多的三种特征提取方法,在此基础上提出了一种新的特征提取方案。该方案从每个字符中提取关键的13个点作为特征点,其主要特点是特征提取简单有效,节省了特征提取时间,提高了识别系统的运行速度。进行仿真时,用同一种网络对特征提取后的结果进行训练和识别,仿真结果表明,13点特征提取法用于手写体数字的识别有着极好的适应性,在运行速度和识别率上比起其它算法都有很大的提高,从而极大地证实了新算法的有效性及实用性。     

文本挖掘中特征降维方法比较研究

研究了文本挖掘中的高维特征选取问题,对常见的降维主要方法:特征选择和特征抽取等算法进行了理论分析与性能比较,评价了它们的优缺点和适用范围。     

文本挖掘中特征降维方法比较研究

研究了文本挖掘中的高维特征选取问题．对常见的降维主要方法：特征选择和特征抽取等算法进行了理论分析与性能比较．评价了它们的优缺点和适用范围。     

Feature extraction and dimensionality reduction algorithms and their applications in vowel recognition

Feature extraction is an important component of a pattern recognition system. It performs two tasks: transforming input parameter vector into a feature vector and/or reducing its dimensionality. A well-defined feature extraction algorithm makes the classification process more effective and efficient. Two popular methods for feature extraction are linear discriminant analysis (LDA) and principal component analysis (PCA). In this paper, the minimum classification error (MCE) training algorithm (which was originally proposed for optimizing classifiers) is investigated for feature extraction. A generalized MCE (GMCE) training algorithm is proposed to mend the shortcomings of the MCE training algorithm. LDA, PCA, and MCE and GMCE algorithms extract features through linear transformation. Support vector machine (SVM) is a recently developed pattern classification algorithm, which uses non-linear kernel functions to achieve non-linear decision boundaries in the parametric space. In this paper, SVM is also investigated and compared to linear feature extraction algorithms.     

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。     

基于Word2vec和粒子群的链路预测算法

链路预测中普遍存在两大问题:特征提取困难和类别数据不平衡.本文借鉴文本处理中的深度学习特征提取算法和优化问题中的粒子群算法, 提出一种基于词向量的粒子群优化算法(Word2vec-PSO).该方法首先通过随机游走产生网络序列后, 利用Word2vec算法对节点序列特征提取.然后在有监督的条件下, 利用粒子群算法对提取好的特征进行筛选, 并确定重采样的参数来解决类别数据不平衡问题, 并分析了不同链路预测算法的计算复杂性.最后将本文的算法与基于相似性、基于深度学习、基于不平衡数据的3类链路预测算法, 在4个不同的时序网络中进行实证对比研究.结果表明, 本文提出的链路预测算法预测精度较高, 算法更加稳定且具有普适性.     

表面缺陷检测综述

基于机器视觉的表面缺陷检测技术已经广泛地应用在视觉检测各个领域中,它是确保自动化生产中产品质量的一个非常重要的环节。然而表面缺陷检测技术仍然面临着缺陷和非缺陷区域之间的低对比度,噪音和细微缺陷的相似性,检测速度慢和识别精度低等难题。为此,给出了近年来表面缺陷检测技术的最新进展。将表面检测技术分为3类：统计法、频谱法和模型法。对几种典型的表面缺陷检测技术进行了深入比较,包括特征提取、识别算法和算法性能,并分析了方法有效性的原因。最后,总结了表面缺陷检测技术面临的挑战和未来的发展趋势。     

网络流量异常检测中的维数约简研究

对包含大流量数据的高维度网络进行异常检测,必须加入维数约简处理以减轻系统在传输和存储方面的压力。介绍高速网络环境下网络流量异常检测过程以及维数约简方式,阐述流量数据常用特征和维数约简技术研究的最新进展。针对网络流量特征选择和流量特征提取2种特征降维方式,对现有算法进行归纳分类,分别描述算法原理及优缺点。此外,给出维数约简常用的数据集和评价指标,分析网络流量异常检测中维数约简技术研究面临的挑战,并对未来发展方向进行展望。