Windows无纸化考试系统中数据加密方法

在实现Windows平台的无纸化考试系统时，提出将哈夫曼编码算法作一些非常规的变异处理后，应用于加密成绩数据，既达到了很安全的加密要求，又实现了对数据的压缩处理。     

基于虚拟仪器三相突然短路试验数据处理的算法研究

提出了将参数辨识中的Marquate算法应用于虚拟仪器的三相突然短路试验数据处理，介绍了Marquate算法理论。通过试验数据和传统的仪表记录数据手工处理的结果进行了比较，改进后的算法具有过程简化，结果更准确的优点。     

挖掘数据中实时数据预处理技术的应用

流程工业中数据挖掘结果,是以所需参数的完整性和准确性为前提的。本文综合流程工业实际情况,设计出一种基于支持向量机的实时数据预处理混合算法,通过该预处理算法,可以处理因测量仪表故障导致的数据缺失和外部干扰引起的实时数据采集误差,提高进入数据挖掘系统的数据的质量,并可对仪表故障实时诊断与报警,同时给出该实时数据预处理算法的实施步骤。基于该预处理算法设计开发的实时数据预处理系统已成功应用于某大型化工企业,获得了满意的效果。     

基于量子粒子群优化算法的压缩感知数据重构方法

针对传感器监测对象特点,将压缩感知理论应用于数据压缩过程以降低通信能耗,并根据现有压缩感知数据重构算法存在的重构精度受稀疏度影响较大的缺点,在分析了压缩感知数据重构原理后,提出了将原始信号按固定长度进行分帧处理以减少算法解空间的数量,并将量子理论中的编码方式应用于粒子群优化算法,提出了基于量子粒子群优化算法的压缩感知数据重构方法QP-CSDR。算法根据传感器监测对象特点,从统计学角度出发对粒子群优化算法中的粒子初始位置及粒子群更新方式加以改进,以提高数据重构精度。仿真实验结果表明,在稀疏度小于50的条件下,QP-CSDR算法相对已有算法在重构精度方面性能提升20%~40%,该算法已应用于微地震及音频监测系统中,经实际检验算法在保证数据精度的前提下延长系统寿命2倍~4倍左右。     

基于数据筛选策略的入侵检测研究

网络入侵检测系统存在着检测网络未知攻击困难、漏报率高、自身性能难以适应大规模网络数据的处理等缺点.在入侵检测过程中引入了一种大规模数据筛选算法,并对其进行改进,有效地进行了数据的约简,约简后的小样本数据应用于基于支持向量机的网络入侵检测系统中,使其能够在较短时间内处理大规模网络数据.实验结果表明,该改进算法能有效地筛选出边界向量,在很少降低检测精度的情况下有效地减少了检测模型的建立时间,从而提高了检测速度.     

航空电磁响应数据的矩阵束法重构

时间域航空电磁探测研究中得到的海量电磁响应数据呈现出“衰减指数和”的变化趋势.针对该变化特点,采用了矩阵束法从响应数据中提取极点等特征量,并完成了数据的降秩、重构处理.算法分析和实测结果表明:无噪声干扰时,该算法表现出了较好的重构精度;加噪后,在较大信噪比变化范围内,重构精度呈现了较小的波动,体现了该算法较高的抗噪性和稳定性.因此,该算法适合应用于航空电磁响应数据分析中.     

统计关联规则决策树在医疗数据中的应用

提出一种基于统计关联规则的增量决策树分类算法,称为SARMT(Statistic Association Rules Miner Tree),它基于快速决策树(Very Fast Decision Tree,VFDT)技术来挖掘医疗数据。与VFDT不同,改进的SARMT算法不依赖于样本分裂节点的数量。在医疗大数据中,通常缺少大量可用的数据样本,因此SARMT算法更加适用于医疗环境中。将SARMT算法和VFDT算法应用于不同的三个医疗数据集上,实验结果表明在执行时间相当的情况下,SARMT算法在处理医疗数据中有更高的准确率。     

基于改进ISOMAP算法的手写数据非线性结构分析

手写数据的非线性结构分析对于手写数据识别和手写签名认证具有重要意义。然而,手写数据通常具有较高维 度,需要进行非线性降维处理。提出了一种改进的ISOMAP 算法,提高了ISOMAP 算法的效率,并将其应用于手写数据的非 线性结构分析。实验结果表明,本算法具有较高的效率和准确性,手写数据具有潜藏的本征维度和非线性结构。     

管道缺陷多超声传感器检测数据的神经网络融合

针对管道缺陷检测的现状,设计了超声传感器阵列检测系统,将神经网络技术应用于数据融合领域,采用改进的BP-LM算法对多个超声传感器测得的管道缺陷数据进行了融合处理.实验室检验结果表明,基于神经网络的数据融合大大提高了信号的质量,改进的BP-LM算法比标准BP算法融合效果更好,收敛速度更快.     

空间分类数据同位规则挖掘算法

针对空间分类数据的特性,提出一种空间分类数据同位规则挖掘算法．利用空间关系定义数据挖掘中事务的概念,采用多层参与索引搜索空间同位规则,从而实现了对空间分类数据的有效处理．采用文中算法对杭州地区119火灾数据进行实验,并验证了该算法的适用范围和性能．实验表明,该算法可以有效地处理经过离散化后的连续数据．     

一种新的数据智能化处理算法*

提出了对象及其特征数据的一些特性指标:对象的相似度、复杂度、隐蔽度(或能见度),特征数据的贡献度、常见度、显隐性。在综合分析这些特性的基础上,通过融合模糊神经网络技术及可拓学思想,研究了一种信息非完全的复杂数据智能化处理拓展算法,通过嵌入竞争神经网络的计算模型实现了该算法。在复杂的中医诊断推理过程的应用结果表明,该算法可以较好地应用于处理复杂的中医临床数据。     

面向Kinect运动数据的鲁棒足迹检测

目的 Kinect可实时获取运动数据且较传统的运动捕捉设备采集成本低廉,在运动数据捕捉方面得到了广泛应用。但Kinect获取的运动数据精度较低,现有运动数据处理算法难以适用。方法 针对运动数据处理的关键步骤足迹检测问题,提出面向Kinect运动数据的鲁棒足迹检测算法。首先使用自适应的双边滤波算法降低Kinect运动数据中的噪声;其次定义多种脚部运动特征并用于分类,优化分类效果;最后使用支持向量机(SVM)算法训练决策函数并用于足迹检测。结果 本文算法应用于多种类型运动数据后,可以有效地减少Kinect运动数据中的噪声,足迹检测的时间性能以及准确性良好,其中足迹检测的准确率比经典的基准线方法提高了10%左右,比K近邻方法提高了8%左右,检测一帧运动足迹的速度为K近邻方法的7倍左右。结论 对实验结果的分析证明算法具有良好的鲁棒性、时间性能以及准确率,可广泛应用于运动数据的处理之中。     

基于改进Kalman的传感器数据加权处理算法

物联网(IOT)和大数据的发展,对物联网数据质量和处理速度提出了新的要求,而物联网触感器原始数据由于噪音和虚假异常值的影响,如直接应用于大数据分析会严重影响分析结果的可靠性和有效性,大量传感器的部署也导致了虚假异常值数量的成倍增长;同时,由于物联网终端数量庞大且性能有限,数据价值密度低,使用机器学习方法进行处理性价比不高且不具有通用性,如何高效、可靠、通用地处理传感器数据并进行异常检测成为一个热点问题。该文基于统计学方法,结合Kalman滤波和加权融合思想,提出一种加权传感器处理预测算法。通过实验证明该算法对噪音数据处理效果相较于移动平均值,MSE和MAE都得到了提升,性能提升明显,并利用lightgbm算法验证数据处理前后预测模型性能的变化,证明通过该算法处理后的数据更易于进行模型训练和预测。     

基于模糊聚类的电子商务用户数据挖掘研究

随着互联网经济产业发展规模的突飞猛进,电子商务呈现着爆炸式发展态势。而电子商务用户数据也开始暴增,这些由用户创造的数据远超出了当前人力处理的范围。因此,研究了将模糊聚类算法应用于电子商务用户数据的挖掘处理中,通过遗传算法改进的模糊C均值聚类,处理庞大的电子商务用户数据,挖掘电子商务核心资源的商业价值,从而实现精准营销。     

基于不完全数据的TAN学习算法

TAN算法是一种针对复杂数据且在实际中具有极强的学习能力的有效算法,它已被广泛应用于数据挖掘、机器学习和模式识别领域。由于现实世界中的数据大多是不完全数据,研究了怎样使TAN有效地从不完全数据中学习。首先,用一种有效的方法直接从不完全数据中估计条件互信息,然后应用估计条件互信息法去扩展基本的TAN算法来处理不相关数据,最后实验比较了扩展的TAN算法和基本的TAN算法。实验结果表明,在大多数不完全数据集合上扩展的TAN算法精确性明显高于基本的TAN算法。虽然扩展的TAN算法时间复杂度高于基本的TAN算法,但在可接受范围之内。此估计条件互信息的方法能够容易地和其它技术相结合来进一步提高TAN算法的性能。     

二维图象数据实时处理的分布式算法

本文介绍了一种二维图象数据实时处理的分布式算法。该算法将等待处理的数据变成一维数据组,并由多组硬件设备同时处理。在该算法中,用存贮器实现乘法,而不是用传统的乘法器,从而大大缩短了运算时间。本文的后半部分从理论上分析了该算法的系统误差,可供具体应用时选择参考。     

基于Spark Streaming的视频大数据并行处理方法

视频设备被广泛应用于公共区域、智能交通和工业生产等许多领域,其产生的视频数据具有体量巨大、速度极快、价值稀疏和完全非结构化等大数据典型特征。为了进一步提高视频大数据的处理性能,提出了一种基于Spark Streaming的视频大数据并行处理方法,设计了基于Spark Streaming的视频大数据并行处理框架,针对帧间无关分析算法和帧间相关分析算法分别给出了并行化策略,前者利用数据并行机制将去冗余后的视频帧映射到不同节点并行处理,后者利用流水线并行机制将分析算法的各个算子根据依赖关系映射到不同节点并行处理;结合实际应用对并行处理框架和并行化策略进行了评价,设计了电梯乘客数并行检测算法和电梯门异常并行检测算法,当节点数增加到16个时,电梯乘客数检测算法的性能加速比为615%,电梯门异常检测的性能加速比为253%。     

基于衰减因子的评价数据时效性处理方法

针对历史评价数据时效性会影响评价计算准确性的问题,在前期研究的基础上,对原有方法进行了扩展,引入了评价数据的时间属性,构造了评价数据衰减因子.衰减因子并不直接作用于评价数据,而是改变了评价数据的统计权重,减小了时效性对于评价计算准确性的影响.实验结果表明,评价数据的时效性严重影响评价计算的准确性,扩展的算法在减小时效性影响方面是有效的,算法动态适应能力得到了提升.算法应用于学生评教数据的处理,取得了良好的效果.     

Web使用挖掘的数据预处理

Web使用挖掘的基本思想是将数据挖掘技术应用于Web使用数据源。在数据挖掘研究领域中，数据预处理起着至关重要的作用。Web使用挖掘的数据源最主要的是Web日志，介绍了Web日志的具体内容，针对Web日志的特点，介绍预处理过程中一些特殊情况的处理方法，并在事务的识别阶段给出了一种新的最大向前引用序列挖掘算法——剪枝算法。     

基于聚类混合采样的不平衡数据分类

不平衡分类问题广泛地应用于现实生活中,针对大多数重采样算法侧重于类间平衡,较少关注类内数据分布不平衡问题,提出一种基于聚类的混合采样算法。首先对原始数据集聚类,然后对每一簇样本计算不平衡比,根据不平衡比的大小对该簇样本做出相应处理,最后将平衡后的数据集放入GBDT分类器进行训练。实验表明该算法与几种传统算法相比F1-value和AUC更高,分类效果更好。