小样本采样数据的预处理

一般情况下数据处理大多采用数理统计方法，该方法对于数据较少情况下处理和判别粗大误差不适用．提出了运用线性均方估计法和熵值判别法来处理和判别粗大误差．线性均方估计消除粗大误差是一种采用软化的方法处理粗大误差；熵值判别法是根据熵的上界对应最大的不确定度，利用所得数据的熵信息量判别数据是否含有粗大误差．这两种方法经过多个实例计算，结果表明，它们在处理小样本采样数据时更有效．     

小样本最大残差的粗差判别方法

提出了一种基于累加生成最大残差对小样本采样的粗大误差快速直接判别的方法、理论分析和实例结果说明,采用该方法判别粗大误差,判别简单、速度快、处理后数据测量准确度高。     

一种有效的粗大误差判别方法

提出了一种以灰色系统理论为基础的粗大误差判别方法,该方法对测量数据少或者难于寻求统计规律的测量过程尤为有效,与算术平均滤波法一起使用可以提高数据处理的效率。理论分析和测试结果表明,采用上述的数据处理方法可以有效地提高测量系统的测量精度和测量效率。     

计量文摘精粹

1·一种有效的粗大误差判别方法作者:王广林李云峰摘要:提出了一种以灰色系统理论为基础的粗大误差判别方法,该方法对测量数据少或者难于寻求统计规律的测量过程尤为有效,与算术平均滤波法一起使用可以提高数据处理的效率。理论分析和测试结果表明,采用上述的数据处理方法可以有效地提高测量系统的测量精度和测量效率。关键词:灰色系统理论;刚度测量;粗大误差(摘自《计测技术》2005年第6期)2·工业以太网的最新发展作者:马玉敏张浩樊留群摘要:工业以太网技术是当前工业控制的一个热点。分析了以太网技术应用于工业控制网络所需解决的关键问…     

运用Excel实现粗大误差的自动检测和最佳方程的拟合

本文分为两部分.从介绍判别粗大误差的方法开始,然后选择典型实例,运用Excel软件编辑程序,实现粗大误差自动检测,并通过线性拟合方法显示最佳测量方程.本方法基于Excel软件强大的数据库函数,启用了相关的宏,在Windows环境下双击即可运行.当相应数据栏中出现"FALSE"字样时,表示该组数据存在粗大误差,应予以剔除.     

剔除异常数据的稳健性处理方法

由于以往的剔除异常数据的方法,包括国家标准GB8056-87和GB6380-86中所给出的判别异常数据的方法,多利用残差和标准差且基于假定某种典型概率分布,故存在其局限性.再者,在初始判别时就可能受异常数据的影响,尤其在小样本下会有误判.经作者各种各样的仿真试验,提出一些剔除异常数据的稳健性通用处理方法,以期适于在不同概率分布的小样本下应用.     

LabVIEW数据处理中30σ准则的应用

对多次重复测量得到的数据进行分析处理时,适当地应用3σ准则,可以有效地判别并剔除粗大误差.采用了常用的统计判别3σ准则,并以电子称量虚拟仪器系统为例,论述了在LabVIEW程序中如何使用3σ准则来进行粗大误差的判别和剔除.实际应用表明,系统运行稳定可靠,可使得最终得到的测量结果更真实、更准确,适合在易产生粗大误差的测试环境中采用.     

土工实验数据分析方法探讨

本文主要针对土工实验数据离散性的特点,以及岩土体内部物质成分、结构构造、强度特征、物理力学性质、荷载条件等具有差异性,提升对土工实验数据的评价。主要对造成土性参数实验结果误差性的原因开展了分析,并且对土工实验数据的检查及其异常点判别的原则开展了简单探讨,同时根据实验数据提出了相关距离δ内能够样本加权平均估计土的平均特性方法和最小样本数的确定方法,详细探究了土工数据的应用状况,最终达到提高土工实验数据的科学性和可靠性的目的。     

非均衡小样本条件下基于SAE - ACGANs的复杂 供输机构故障诊断方法EI北大核心CSCD

非均衡和小样本问题是制约深度学习技术在复杂供输机构故障诊断领域中应用效果的关键因素。为克服传统深度学习方法难以获取小样本数据内在分布和传统非均衡数据处理方法未考虑类别信息均衡化的缺陷,提出一种基于稀疏自编码辅助分类生成式对抗网络(sparse autoencoder auxiliary classifier generative adversarial networks,SAE-ACGANs)的复杂供输机构故障诊断方法。首先,对供输机构振动信号进行连续小波变换(continuous wavelet transform,CWT),得到反映信号时频特征的二维时频图;然后,运用稀疏编码器提取图像特征,并与类别信息融合为隐变量,强化其表征与图像所属类别相关特征的能力;生成器将融合隐变量映射为与真实样本分布类似的生成样本,从而扩展训练数据集;判别器从扩展数据集中挖掘有效的深度特征,并实现样本真伪和类别的判断;最后,通过优化后的生成器和判别器对抗学习训练机制,相互交替优化以达到纳什平衡,提高方法在非均衡小样本条件下样本生成质量和故障判定能力。复杂供输机构台架试验研究结果表明:SAE-ACGANs框架可以充分学习输入样本的内在分布和深度特征,相较于原ACGANs框架提升了判别器的性能,实现了模型收敛速度、训练精度和稳定性的提升;相较于传统非均衡数据处理算法,模型有效改善多数类分类偏好的影响,对于少数类故障样本的识别能力大幅提升。     

基于小波包分析的地震作用下网壳结构的损伤判别方法

针对空间结构自由度多,地震作用下存在复杂的非线性等特性,该文提出了以小波包分析为基础,结合多传感器数据融合和聚类分析等手段的空间网壳结构地震作用下的损伤判别方法。首先建立损伤指标和损伤判别样本库,应用最小距离原则判别结构的损伤位置;其次考虑噪声污染对判别的影响,检验了损伤指标的抗噪性;最后采用数值模拟进行典型算例分析,...     

基于秩的小样本粗差判别

根据小样本粗差判别的具体情况 ,提出使用新序列秩的最大熵估计法及一阶差分分位数法判别小样本粗差 ,这两种方法简单易行 ,便于实时处理 最后还给出了具体实例进行说明     

现代测量误差分析及数据处理（一）

现代测量误差分析及数据处理（一）林洪桦（北京理工大学，北京１０００８１）引言自七十年代后，随着计算机广泛应用与最优化技术的迅速发展，在测试误差分析及数据处理中出现不少新方法。如：从正态分布误差扩展至非正态分布误差；从判别并剔除粗大误差影响的异常数据至...     

激光内径测量系统参数校正及算法优化

基于激光位移扫描的大尺寸内径测量系统中,测量数据存在多个系统误差参数并易受到粗大误差的影响.在分析该系统工作原理的基础上,分析了测量传感器安装倾斜误差和回转臂偏心误差,并提出了相应的校正补偿方案.针对动态测量、管壁划痕、斑迹等引入的粗大误差对测量数据的最小二乘圆拟合精度影响较大的问题,提出了一种剔除粗大误差的方法:根据最小平方中值法构建基准圆,剔除孤立点,再用最小二乘法拟合,实验结果表明该算法的精度优于直接最小二乘法5倍.     

一种基于局部回归算法的多组分定量分析方法

文章针对复杂样本吸收光谱重叠或组分之间相互作用导致偏离朗伯一比尔定律的问题提出了一种以灰色综合关联度作为样本相似性判据的多组分定量分析局部回归建模方法,主要内容是对校正集样本的光谱曲线与待测样本曲线进行灰色综合关联度分析,然后以最小预测均方根误差原则选择与待测样本属性相近的样本组成校正子集,最后建立基于校正子集的偏最小二乘回归模型。相比马氏距离方法,灰色综合关联度结合了绝对位置差和变化率两方面因素,能够更为全面的反映样本之间的相似程度。建立实验系统将本方法应用于食用色素苋菜红、胭脂红、柠檬黄和日落黄混合溶液的定量分析中,实验结果表明,该方法优于全局建模方法,尤其在光谱响应与浓度之间的非线性响应段预测精度得到了明显的提升。     

简易估计激光探测系统作用距离

为了测试评估激光探测系统的有效作用距离,基于室内大气激光传输过程模拟,本文提出一种简易估计激光探测作用距离的方法,分析了大气传输的特性及室内模拟实现方法,模拟搭建了激光探测系统并对其进行了室内试验测试和外场实地验证,得到了一些有益参考数据,针对室内.外场试验数据偏差现象,定性分析了误差影响因素.试验结果表明,该方法简单、可行,可简易估计激光探测系统的作用距离,为外场测试提供参照范围,增强外场测试针对性进而提高测试效率,为测试评估激光探测系统作用距离提供了有益参考.     

面向不平衡数据的云模型旋转机械故障识别方法EI北大核心CSCD

因正常数据丰富、故障数据匮乏而引起的数据不平衡,已经成为工业大数据智能决策技术面临的关键问题之一。因此,针对机械设备故障诊断研究中经常遇到的不平衡数据集中少数样本类别识别精度偏低的问题,提出一种基于云模型的集成学习方法并将其用于旋转机械不平衡数据的模式识别。该方法首先将提取出的轴承故障特征数据集通过ReliefF算法计算各特征的权重,依据特征权重值降序排列的结果提取出权重趋大的特征构成低维特征集,并将低维特征集划分为不平衡训练集、测试集两部分;其次通过云模型理论中的正向云发生器、逆向云发生器对低维特征集中各个特征分别绘制云图,得到单一特征下各状态的训练数据与测试数据云图;然后通过距离公式判别与待测样本距离最近的训练数据云图,判断出单一特征下待测样本的类别;最后通过集成学习方法将各个特征下的识别结果进行整合,以相对多数投票法识别出待测样本的所属类别结果。与传统的BP神经网络、支持向量机两种分类器进行对比的试验表明,该方法不仅对不平衡数据的待测样本识别精度较高,而且具有一定的泛化性能。     

数据缺失下的短时交通流预测

在实际交通数据收集过程中,采集设备故障、维修等问题均易导致采集到的交通数据存在一定的缺失。针对交通数据缺失情况下的交通流预测问题,本文提出了一种基于生成式对抗网络的短时交通流预测模型。该模型由生成网络和判别网络两部分组成。其中,生成网络由全连接层和门控循环单元(GRU)构成,以编码-解码的形式完成对未来交通状态的预测输出;判别网络由多层全连接层构成,通过Wasserstein距离的计算完成对真假样本的有效判断。实验结果表明,本文提出的模型不仅适用于不同比例数据缺失下的短时交通流预测,而且其预测表现优于其他对比模型。     

基于全局-局部欧拉弹性判别投影的旋转机械故障诊断方法

故障诊断方法通常对异常值敏感，并且难以同时提取全局和局部判别信息，从而导致低维判别特征子集类间分离性不佳，针对该问题提出了一种基于全局-局部欧拉弹性判别投影(global-local euler elastic discriminant projection, GLEEDP)的旋转机械故障诊断方法。该方法通过余弦度量将高维故障特征映射到欧拉表示空间，扩大异类故障样本间的差异，然后在该空间中构建了基于全局、局部及类间散布三个目标函数的最优化模型，实现了在保持整体结构的基础上，进一步提高低维判别特征子集的局部类内聚集性和全局类间分离性。在轴承和齿轮箱两个机械故障数据集上的试验结果表明，所提方法可以有效发掘故障判别信息，具有优越的故障诊断性能。     

基于维纳过程截齿磨损退化预测研究

针对掘进机的截齿磨损状态问题，构建了基于灰色-马尔科夫链模型、Gamma过程预测模型以及维纳过程磨损状态预测模型。通过搭建试验台，提取振动及声发射数据样本，考虑试验环境对试验数据提取的影响，应用小波包分解方法，对数据进行降噪处理。定义6种截齿磨损程度状态，每种状态取50组数据样本，进行模型精度验证，均符合精度要求，进而应用模型进行数据预测研究，对比真实试验数据，结果表明：振动信号加速度能量和下灰色-马尔科夫模型相对误差为0.89%,Gamma模型相对误差为0.47%,维纳过程相对误差为0.39%;声发射信号加速度能量和下灰色-马尔科夫模型相对误差为1.02%,Gamma模型相对误差为0.84%,维纳过程相对误差为0.47%;三种模型预测精度都很好，其中维纳过程预测误差最小，为掘进机截齿磨损退化状态预测研究提供了新的方法。     

用基于邓氏灰色关联度的聚类方法对煤种进行聚类的研究

为实现煤种的准确分类,采用试验研究和定量分析的方法,测量了25组试验煤样的发热量、灰分、挥发分和硫分4项参数;运用基于邓氏灰色关联度的聚类方法,并根据其原理编写VB程序,实现该方法的程序化,对煤样的4项参数进行分析。由计算结果可知,当权值为0.4、临界值为0.68时,获得了最好的聚类结果,据此可从关联性角度研究煤样特性的相似特征,并对具备共同特征的煤种进行聚类。结果表明:在任选的25个试验样本中,误差样本只有一个,准确度为96%。