基于数据层面的不平衡数据集的分类方法

本文针对提高不均衡数据集中的少数类文本的分类性能这一问题,从数据层面处理的角度对数据进行重抽样。使用随机抽样的方法以提高分类器在不平衡数据集上的泛化能力,笔者提出一种改进的过抽样方法,在少数类中提取该类若干文本中的任意锻炼,再将提取出的段落添加至此类原始文本末尾,产生新的合成少数类样本,提高了小类别文本分类的正确率。     

一种新的测量数据校正方法—两步法

测量数据中所含的测量误差是影响化工过程监控质量的重要因素之一。本文提出一种新的测量数据校正方法—两步法,用于将难以求解的非线性校正问题转化为线性校正的问题,从而使得数据校正过程大为简化。文中还导出了两步法应用于反应器测量数据校正的公式。     

基于特征共生矩阵的图像分类方法研究

针对词袋算法(BOW)忽略局部特征空间关系的弱点,本文提出了基于特征共生矩阵的图像表达方法。该方法利用局部特征的空间共生统计代替直方图统计,充分考虑了局部特征的空间关系,增强了对图像的表达能力。实验利用标准的景物15数据库,在灰度、尺度不变特征变换(SIFT)和局部二进制模式(LBP)3个特征空间,比较了本方法、词袋法以及空间金字塔方法(SPM)的图像分类性能,结果表明本方法比词袋法的图像分类性能分别高出21.2%、6.4%、4.67%,在灰度及LBP空间,本文方法比空间金字塔法分别高出17.07%、3.87%。     

基于软件开发模式下电子商务系统数据分类信息管理研究

本文首先讨论在新媒体环境下,对电子商务系统数据分类信息管理相关的软件的开发功能作介绍,并以此为基础对软件开发的步骤进行阐述,并提出完善软件功能的具体方法,对电子商务运行平台的运行环境进行深入分析,为电子商务系统数据分类信息管理氛围提供良好的环境,保障商务平台运行的稳定性,既保障数据信息的安全,同时也要加强电子商务系统数据分类信息管理的软件开发和软件功能的不断创新。     

关于化工数据校正问题的研究

介绍化工过程数据校正和参数估计的基本原理。提出对化工过程数据进行分类的新方法─—有序规则法，为正确设计测量点的位置提供了理论依据；提出非线性数据校正问题的线性化方法，有效地避免了易使校正问题繁解的非线性方程的出现。     

基于集成学习和代价敏感的类别不平衡数据分类算法

在数据分类分析中,一些特别的类别里往往存在更重要的信息。提出一种基于集成学习,欠采样和代价敏感的类别不平衡数据分类算法(USCensemble),来解决传统算法处理类别不平衡数据分类任务时难以正确识别少数类样本的问题。该算法首先运用EasyEnsemble的算法结构,在前一组数据训练完毕后,运用欠采样方法选取权重大的多数类样本,并将其与少数类样本结合为临时训练数据以此平衡数据集并进行下一轮训练。同时赋予少数类样本更大的错分代价,快速提高错误分类的少数类的样本权重,降低多数类的样本权重,使算法更倾向少数类的正确分类,达到对少数类样本正确识别的目的。在10个uci的数据集生成的分类任务上进行了对比实验,实验结果表明,该算法能更好地识别少数类样本。     

测井数据岩相分类的机器学习方法和大数据岩相分类探讨

对现有测井数据岩相分类的机器学习方法进行归纳总结,并针对大数据岩相分类的相关问题进行探讨。     

全厂物流数据校正模型及算法研究

流程工业企业计算机集成制造系统(CIMS)以产、供、销全方位的信息化为基础,优化生产,创造最大效益.在以数据为核心的流程工业CIMS系统中,采用数据校正技术可消除测量数据的不一致性和不完整性,为整个系统的正常运行提供可靠的数据源.针对流程工业企业工艺流程的特点,建立了全厂物流数据校正模型,提出了基于模型的数据协调及大误差侦破方法,实例计算展示了所提出的全厂物流数据校正模型及数据校正算法的有效性.     

朴素贝叶斯分类算法及其应用研究

介绍了朴素贝叶斯分类算法的原理,研究了基于朴素贝叶斯算法的数据分类。实际应用表明了朴素贝叶斯算法是一种有效的分类算法。     

基于投影算法的自适应中文版面分析方法研究

主要研究学术期刊类版面的分析方法,通过版面分析,将文档版面进行分割,划分出页眉以及主体版面的各个段落、标题。在页眉检测阶段,运用直线检测方法,检测页眉下方的一条直线,进而分割页眉与主体部分。在主体版面分析方面,采用投影轮廓算法思想,结合版面先验知识,采用自适应的阈值设定方法,划分版面的各个段落及标题。所采用的版面分析方法运算量较小,算法效率较高。     

一种基于MATLAB优化工具箱的数据协调方法

为了解决测量数据的不一致问题，并在可能的情况下对未测过程变量进行估计，本文提出了一种基于MATLAB优化工具箱的数据协调方法，并将该方法用于两个稳态非线性过程系统的数据协调和变量分类。计算结果表明该方法实用、有效。     

A novel fault classification method using reconstructed distance-based discriminant locality preserving projection for industrial processes

Fault detection and classification is a crucial issue in modern industrial processes for ensuring steady operation and high product quality. The process data collected and stored fully reflect the equipment running state and the production process. Moreover, the extracted nonlinear features can directly affect the effectiveness of the data-driven fault classification model. In this paper, a novel fault classification method based on nonlinear feature extraction using reconstructed distance-based discriminant locality preserving projection (RD-DLPP) is proposed. First, a hypersphere model for each class of data is developed according to the spatial structures and classes information in high-dimensional space. The hyperspheres are used as indicators to evaluate the discriminatory difficulty of samples. Second, the constraints of the correlations between the k-nearest neighbour points of the sample and the hypersphere are introduced, which can efficiently reconstruct new measure metrics between the sample and its k-nearest neighbour points. Finally, an improved fault classification model based on RD-DLPP is established for the construction of the highly discriminant subspace. The Bayesian decision is then used to classify the samples. The feasibility and efficiency of the proposed method are verified by the Tennessee Eastman process as a case study.     

A regularization approach to the reconciliation of constrained data sets

A new iterative solution to the statistical adjustment of constrained data sets is derived in this paper. The method is general and may be applied to any weighted least squares problem containing nonlinear equality constraints. Other methods are available to solve this class of problem, but are complicated when unmeasured variables and model parameters are not all observable and the model constraints are not all independent. Of notable exception, however, are the methods of Crowe (1986) and Pai and Fisher (1988), although these implementations require the determination of a matrix projection at each iteration which may be computationally expensive. An alternative solution which makes the pragmatic assumption that the unmeasured variables and model parameters are known with a finite but equal uncertainty is proposed. We then re-formulate the well known data reconciliation solution in the absence of these unknowns to arrive at our new solution; hence the regularization approach. Another procedure for the classification of observable and redundant variables which does not require the explicit computation of the matrix projection is also given. The new algorithm is demonstrated using three illustrative examples previously used in other studies.     

基于投影寻踪的灰色聚类分析在 煤样识别中的应用*

煤炭种类识别是一个非线性灰色系统,鉴于煤样特征指标较多、其意义、量纲不同,且在数量上差异较悬殊,选用了灰色定权聚类评判模型。因指标权重对模型评判结果具有重要影响,采用了投影寻踪法计算出各指标的客观权重,以此求出煤样隶属各灰类即无烟煤、烟煤及褐煤的聚类系数。分析表明用基于投影寻踪算法的灰色定权聚类分析识别煤样种类完全可行。     

一种新的双线性数据协调方法

在流程工业数据校正中,若涉及多组分物料平衡或能量平衡时,问题则转换为一类特殊的非线性问题,即双线性数据协调.今针对双线性数据协调传统方法的不足,给出了一种新的方法.首先提出了一种消除不可观测变量的方法,通过消除不可观测变量及部分非冗余变量将协调问题降维,并将问题分解为两个子问题;然后针对分解后的子问题,利用微粒群优化算法(PSO)求解.与传统方法相比,该方法在确保高协调精度的基础上具有较好的协调运算效率,并能处理过程中含有不可观测变量的情况.今对一个实例进行了仿真,仿真结果表明该方法的有效性.     

基于一种新的鲁棒目标函数的化工过程数据校正

给出了一种基于新鲁棒目标函数的数据校正方法,分析了目标函数的性质及其影响函数,表明了该方法对显著误差具有较强的鲁棒性。对一个线性和非线性化工过程进行了仿真研究,并与常用的Huber鲁棒估计法和Fair鲁棒估计法进行了对比分析。     

一种改进的动态数据校正离群值检测法

Data reconciliation technology can decrease the level of corruption of process data due to measurement noise, but the presence of outliers caused by process peaks or unmeasured disturbances will smear the reconciled results. Based on the analysis of limitation of conventional outlier detection algorithms, a modified outlier detection method in dynamic data reconciliation （DDR） is proposed in this paper. In the modified method, the outliers of each variable are distinguished individually and the weight is modified accordingly. Therefore, the modified method can use more information of normal data, and can efficiently decrease the effect of outliers. Simulation of a continuous stirred tank reactor （CSTR） process verifies the effectiveness of the proposed algorithm.     

基于LPP-GNMF算法的化工过程故障监测方法

提出了基于LPP-GNMF算法的化工过程故障监测方法。非负矩阵分解（NMF）是一种新兴的降维算法,由于它在机理上具有潜变量的正向纯加性的特点,所以在对数据进行压缩时,可以基于数据内部的局部特征有效描述数据信息,相比于传统的多元统计过程监控方法如主元分析（PCA）等有更好的解释能力。然而NMF要求原始数据满足非负性的要求,实际的化工过程有时并不能保证,为放宽对原始数据的非负要求,引入了广义非负矩阵分解（GNMF）算法。其次,GNMF在分解的过程中没有考虑到样本间的局部结构和几何性质,可能存在不能准确处理数据的问题。针对这一问题,提出了将GNMF与LPP（局部投影保留）相结合的算法。将提出的LPP-GNMF算法应用于TE过程来评估其监测性能,并与PCA算法、NMF算法、SNMF算法进行比较,仿真模拟结果表明所提算法的可行性。     

Simultaneous Measurement Bias Correction and Dynamic Data Reconciliation

The presence of measurement bias and random noise significantly deteriorates the information quality of plant data. Data reconciliation techniques for steady-state processes have been widely applied to processing industries to improve the accuracy and precision of the raw measurements. This paper develops an algorithm for simultaneous bias correction and data reconciliation for dynamic processes. The algorithm considers process model error as an important contributing factor in the estimation of the measurement bias and process state variables. It employs black-box models for the process as would be done when phenomenological models are difficult or impractical to obtain. Simulation results of a distillation column demonstrated that this algorithm effectively compensates constant and non-constant measurement biases yielding much improved reconciled values of process variables. It has computational advantages over previously proposed algorithms based on non-linear dynamic data reconciliation because an analytical solution is available when using linear process models to approximate the process.