Determining robust reaction kinetics from limited data

Accurate chemical kinetics are essential for reactor design and operation. However, despite recent advances in “big data” approaches, availability of kinetic data is often limited in industrial practice. Herein, we present a comparative proof-of-concept study for kinetic parameter estimation from limited data. Cross-validation (CV) is implemented to nonlinear least-squares (LS) fitting and evaluated against Markov chain Monte Carlo (MCMC) and genetic algorithm (GA) routines using synthetic data generated from a simple model reaction. As expected, conventional LS is fastest but least accurate in predicting true kinetics. MCMC and GA are effective for larger data sets but tend to overfit to noise for limited data. LS-CV strongly outperforms these methods at much reduced computational cost, especially for significant noise. Our findings suggest that implementation of CV with conventional regression provides an efficient approach to kinetic parameter estimation with high accuracy, robustness against noise, and only minimal increase in complexity.     

用于ANN训练的OBD剪枝算法的改进

将Marquardt算法和OBD算法结合 ,提出了一种神经网络的DOBD动态剪枝算法 .通过一种近似的动态计算灵敏度的方法和灵敏度删除下限技术 ,该算法能够在训练的同时删除低灵敏度的权重以简化网络 ,避免了OBD算法的反复训练 .新算法应用于稳定汽油蒸气压预估的模型中 .计算结果表明 ,DOBD算法可以有效地克服由于网络结构过于复杂造成的过拟合现象 ,并且比OBD算法具有更快的训练收敛速度.     

Dynamics of Model Overfitting Measured in terms of Autoregressive Roots

Abstract. One method of describing the properties of a fitted autoregressive model of order p is to show the p roots that are implied by the lag operator. Considering autoregressive models fitted to 215 US macro series, with lags chosen by either the Bayesian or Schwarz information criteria or Akaike information criteria, the roots are found to constitute a distinctive pattern. Later analysis suggests that much of this pattern occurs because of overfitting of the models. An extension of the results shows that they have some practical multivariate time‐series modelling implications.     

防止过拟合的属性约简

近年来,机器学习的过拟合问题备受关注,尤其在属性约简中。为解决这一难题,提出一种融合集成策略和去除操作的算法。首先将训练模型数据平分为◢M份;然后将其中M◣-1份采用集成策略进行潜在约简计算;最后将剩余的一份进行提前测试,一旦发生过拟合则将刚加入的属性从潜在约简集中去除。利用提前测试潜在属性约简的方法来防止过拟合现象的发生,几组UCI数据的实验结果说明了新算法的有效性,同时为丰富和发展属性约简提供了一种新的方向。     

BP网络过拟合现象满足的不确定关系新的改进式

类比信息传递过程中的一般测不准关系式 ,引进表征问题复杂性的函数复相关系数R和代表网络结构特性的隐节点数h ,揭示了BP网络过拟合现象出现时的网络学习能力与推广能力之间满足的不确定关系式 ;通过模拟了 12种不同类型复杂程度函数的过拟合数值试验 ,确定出关系式中的过拟合参数 p的取值范围已缩小为 1×10 -5～ 5× 10 -4;给出应用BP网络对给定样本集的训练过程中 ,判断出现过拟合现象的方法     

支持向量机算法在化学化工中的应用

由于计算机技术的发展，机器学习（包括线性和非线性回归，人工神经网络，模式识别算法等）已成为处理化学化工数据，总结经验规律，据以预报未知或控制生产过程的常规手段。但是，传统的机器学习算法都以经典统计数学的渐近理论为依据。该理论的大数定理规定：统计规律只有在已知样本数无限多时才显露出来。但化学化工实际工作中已知样本总是有限的。忽视这一矛盾是造成实际计算中过拟合弊病的重要原因。针对经典统计教学这一弱点，Vapnik学派提出了“统计学习理论”和“支持向量机算法”。新算法既能处理非线性问题，又能抑制传统算法（如人工神经网络等）常遇到的过拟合弊病，本专刊中的论文系列工作表明：支持向量机算法在分析化学的多变量校正，数据处理，商品检验，相图和新化合物的计算机预报，新材料制备的实验设计，环境污染的建模和预报，以及分子设计，药物设计等领域的应用都有良好的效果。在多数情况下所建的数学模型较传统算法的结果有更好的预报正确率，这一新算法将会成为化学，化工领域数据处理广泛应用的新计算工具。     

支持向量机及其他核函数算法在化学计量学中的应用

化学，化工领域中多数数据处理问题属于数学中的“不适定问题”（ill-posed problem)，而传统的化学计量算法如线性和非线性回归，人工神经网络等忽略了这一特点，将其作为“适定问题”（well-posed problem)求解，是引发数据处理中“过拟合”问题的重要原因，近年来新提出的“支持向量机算法”适合于处理不适窒问题，能限制过拟合，且因采用核函数算法，能有效处理非线性数据集，与当前化学化工中应用极广的人工神经网络相比，优越性明显，在化学化工中具有巨大的应用潜力。     

基于卷积神经网络的图像分类算法综述

卷积神经网络（CNN）是目前基于深度学习的计算机视觉领域中重要的研究方向之一。它在图像分类和分割、目标检测等的应用中表现出色,其强大的特征学习与特征表达能力越来越受到研究者的推崇。然而,CNN仍存在特征提取不完整、样本训练过拟合等问题。针对这些问题,介绍了CNN的发展、CNN经典的网络模型及其组件,并提供了解决上述问题的方法。通过对CNN模型在图像分类中研究现状的综述,为CNN的进一步发展及研究方向提供了建议。     

Multiple Comparisons in Induction Algorithms

A single mechanism is responsible for three pathologies of induction algorithms: attribute selection errors, overfitting, and oversearching. In each pathology, induction algorithms compare multiple items based on scores from an evaluation function and select the item with the maximum score. We call this a multiple comparison procedure (MCP). We analyze the statistical properties of MCPs and show how failure to adjust for these properties leads to the pathologies. We also discuss approaches that can control pathological behavior, including Bonferroni adjustment, randomization testing, and cross-validation.     

决策树算法及其常见问题的解决

决策树这种数据挖掘技术是目前最有影响和使用最多的数据挖掘技术之一,生成决策树的算法也比较多,但是在这些生成决策树的算法中都需要解决两个问题——数据过分近似和测试属性的选择。