一种基于CDC的适用于高维数据的因果推断算法

一对观测变量之间的因果关系的推断是科学中的基本问题,基于观测数据分析提出因果关系的方法对于产生假设和加速科学发现具有实用价值。利用传统的因果推断算法从高维数据中学习因果网络结构和提高学习准确率是目前研究的难点。在引入耦合相关系数(copula dependence coefficient,CDC)的基础上,提出了一种适用于高维数据的两步骤因果推断算法。首先该算法利用优于最大信息系数的CDC对变量间的关联度进行检测,寻找目标节点的父子节点集;然后使用非线性最小二乘独立回归算法,为图中的目标节点与其父子节点之间标注因果方向;最后迭代所有的节点完成完整的因果网络结构。实验结果表明,该算法提高了高维数据下因果网络结构学习的准确率。同时在大样本数据集中,该算法的时间复杂度优于传统算法,对异常值具有鲁棒性。     

基于偏最小二乘回归的军用飞机效能预测

作战飞机效能的预测是防空作战中的重要问题,简述了效能预测的各种方法.分析了影响飞机效能的参数,提出用最小二乘回归方法来预测飞机效能值.该方法对变量进行主成分分析、典型相关分析和多元线性回归,在处理存在多重线性相关的小样本多元数据方面效果很好.通过实例与神经网络法的结果进行了比较,结果表明偏最小二乘回归更精确和简单.     

回归分析在投资风险分析中的应用

回归分析可以刻画一个或一个以上变量之间的相互关系，投资存在风险，但可以将问题转化为数学模型，应用回归分析来确定变量之间的关系，进而给我们一个比较好的决策。文中应用Excel的回归分析工具，作图、对数据进行分析，使得结果简明，易于理解。     

联合平滑矩阵多变量椭圆分布的稀疏表示算法

处理部分光照和遮挡等噪声的图像重构及分类问题因其极具挑战而备受关注,该问题的解决很大程度上取决于对误差的描述,常见的方法以向量形式存储误差矩阵且假定其服从于独立同分布,忽视了图像数据的内部结构信息.针对该问题,本文提出一种联合平滑矩阵多变量椭圆分布的稀疏表示算法（Sparse representation with smoothed matrix multivariate elliptical distribution,SMED）.该算法强调误差矩阵中各个像素间的依赖性并假定误差矩阵作为一个随机矩阵变量服从于矩阵多变量椭圆分布;之后,引入辅助变量光滑目标函数,使得模型易于获得全局最优解;最后,采用迭代加权最小二乘法优化求解模型.此外,文中对SMED算法的收敛性和复杂度进行了理论分析,并讨论了模型的参数敏感性.在AR、ExYaleB和PubFig三个公开数据集中的实验验证了所提算法具有鲁棒的鉴别力,且其综合性能明显优于经典算法.     

全相关核偏最小二乘故障诊断方法及在抽油机上应用

针对油田抽油机生产数据存在强非线性和强耦合性, 导致故障诊断困难的问题, 本文提出一种全相关动态 核偏最小二乘(FCDKPLS)故障诊断方法. 首先, 构建抽油机生产数据自回归模型, 反映数据变量间的动态特性; 其 次, 分析了KPLS算法中输出变量与输入变量残差子空间的相关性, 为此, 在输出模型上构建一个辅助矩阵, 从而表 征输入变量与输出变量的全相关性, 建立输入变量和输出变量之间更直接的联系. 最后, 将提出的全相关动态偏最 小二乘方法应用于抽油机过程故障诊断, 实验结果表明本文提出方法的有效性.     

OPLS在非线性偏最小二乘回归模型的应用

为了解决隐含潜变量回(implicit non-linear latent variable regression,INLR)建模方法中加入自变量的非线性项使系统中出现了与因变量y无关的信息或者噪音的问题,提出了基于正交投影(orthogonal projection to latent structures,OPLS)方法,时INLR数据进行预处理.OPLS算法能有效去除预测矩阵中与因变量y无关的信息,在不影响INLR建模效果的同时减少有意义的成分,改善了模型的解释性和真实性.模拟实验结果表明,改进后算法的建模效果优于INLR、偏最小二乘回归(partial least squares regression,PLSR)算法得到的模型.     

基于Sas的时间序列缺失值处理方法比较

对于时间序列挖掘过程中的缺失值处理,目前有许多方法.在处理数据变量成一定的相关的数据集时,回归模型不失为较好的插补方法.利用均值插补、一元线性回归、多元线性回归、迭代回归方法对水文时间序列数据集的缺失数据进行处理,比较不同的皮氏相关系数下各方法的优劣及适用性.文中研究表明当数据集中存在与缺值变量相关度较大的变量时,一元线性回归的插补简单直观,且有较高的精度,结果接近真实;当数据集中不存在与缺值变量显著相关的自变量时,一元线性回归的结果变差,多元线性回归与多元迭代回归具有较好的结果.但多元迭代回归迭代次数难以确定,插补代价较大.多元线性回归为最佳选择;当缺值变量与其他自变量相关系数均较小时,回归插补的结果不理想,此时可考虑其他插补方法.     

基于时序隐变量模型的因果关系发现算法

为在基于隐变量模型的因果关系发现算法中综合考虑隐变量之间的瞬时性和延时性因果效应,构建以动态贝叶斯网络为基础的时序隐变量模型,提出对应的因果关系发现算法。使用因子分析的方法估计测量模型中的因子载荷矩阵,应用结构向量自回归模型估计自回归矩阵,利用数据的非高斯性依次学习模型中隐变量之间的瞬时效应矩阵与延时效应矩阵,构建时序隐变量模型的因果网络结构。实验结果验证了算法的有效性。     

基于核偏最小二乘回归分析的线损率预测

研究了线损率预测问题。由于影响线损率的因素间存在着复杂的非线性和强相关性,一般方法难以得到较高精度的预测结果。针对线损率的特点,为了提高预测精度,本文首次将核偏最小二乘回归算法应用于线损率预测。先以历年来的线损率及其相关数据为样本建立预测模型,然后对预测年线损率进行预测。以某电网为实例进行仿真,并将仿真结果与其他方法所得到的仿真结果进行比较。结果表明基于核偏最小二乘回归分析的线损率预测具有较高精度,能较好地克服变量相关性和非线性因素对预测模型的不利影响,为电力企业制订科学合理的线损率计划提供理论依据。     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

Kernel continuum regression

The continuum regression technique provides an appealing regression framework connecting ordinary least squares, partial least squares and principal component regression in one family. It offers some insight on the underlying regression model for a given application. Moreover, it helps to provide deep understanding of various regression techniques. Despite the useful framework, however, the current development on continuum regression is only for linear regression. In many applications, nonlinear regression is necessary. The extension of continuum regression from linear models to nonlinear models using kernel learning is considered. The proposed kernel continuum regression technique is quite general and can handle very flexible regression model estimation. An efficient algorithm is developed for fast implementation. Numerical examples have demonstrated the usefulness of the proposed technique.     

一种适合用于处理中药指纹图谱数据的偏最小二乘法

中药指纹图谱数据具有变量数很大而样本数较小的特点,本文中采用拉格朗日求极值的方法导出一种新的适合用于处理这类数据的偏最小二乘算法。结果表明：所得到新的算法,在处理中药指纹图谱数据时,与传统的偏最小二乘算法比较,节省存储单元,计算量小,计算速度快,因而计算效率高。     

Expectile regression forest: A new nonparametric expectile regression model

Classical nonlinear expectile regression has two shortcomings. It is difficult to choose a nonlinear function, and it does not consider the interaction effects among explanatory variables. Therefore, we combine the random forest model with the expectile regression method to propose a new nonparametric expectile regression model: expectile regression forest (ERF). The major novelty of the ERF model is using the bagging method to build multiple decision trees, calculating the conditional expectile of each leaf node in each decision tree, and deriving final results through aggregating these decision tree results via simple average approach. At the same time, in order to compensate for the black box problem in the model interpretation of the ERF model, the measurement of the importance of explanatory variable and the partial dependence is defined to evaluate the magnitude and direction of the influence of each explanatory variable on the response variable. The advantage of ERF model is illustrated by Monte Carlo simulation studies. The numerical simulation results show that the estimation and prediction ability of the ERF model is significantly better than alternative approaches. We also apply the ERF model to analyse the real data. From the nonparametric expectile regression analysis of these data sets, we have several conclusions that are consistent with the results of numerical simulation.     

基于投影的回归分析方法综述

回归分析方法是建立复杂对象外特性模型的一类重要方法.本文对现有各种回归方法进行了综述.采用一个统一的目标函数来解释各种回归方法,并以此为基础,系统介绍了各种回归分析方法(包括常见的主成分分析法和部分最小二乘法(PLS))的意义、结构、算法、特性及其相互关系.     

采用双重特征扰动的最小平方有序回归

有序回归是一种特殊的机器学习范式,其目标是利用类间内在的有序标号来划分模式。尽管已有众多有序学习方法相继被提出,但其性能常受制于有限的训练样本。借鉴最近提出的边际特征扰动思想,通过对训练样本的输入和输出分别施加已知分布噪声的随机扰动和确定偏差的可控扰动,以弥补样本有限的不足,进而在最小平方有序回归基础上发展出采用双重特征扰动的最小平方有序回归（least squares ordinal regres-sion using doubly corrupted features,LSOR-DCF）。实验结果表明,LSOR-DCF性能优于无扰动或单一输入/输出的扰动,且在小数据集上表现得尤其明显。     

移动最小二乘法在多功能传感器数据重构中的应用

针对传统最小二乘法全局拟合的局限性, 将一种新型的数值算法---移动最小二乘法应用于非线性多功能传感器的信号重构. 通过详细研究插值函数的构造方法及性质, 合理地选取基函数和权函数, 求出试函数的系数, 进而得到信号的重构值. 详细分析了基函数维数、影响域节点数及权函数因子对计算结果的影响, 并对最小二乘法以及移动最小二乘法的重构数据进行了对比, 重构的相对误差分别小于 15.3 % 和 1.03 %, 结果表明移动最小二乘法更适合非线性曲面拟合, 且适当地增加基函数维数或影响域节点数可以进一步提高数据重构的精度.     

支持向量回归的一种网络优化策略

提出一种用于支持向量回归的网络优化策略．学习策略分为两个阶段：首先训练支持向量机,得到支持向量回归的初始结构和参数,构造一个无阈值的支持向量回归网络;然后通过带有遗忘因子的递归最小二乘算法,优化计算支持向量回归网络的权值,以达到更好的函数拟合精度．与支持向量回归相比,这种策略可以得到最优的权值和阈值．仿真结果表明,该网络性能优良,具有在线应用的潜力．     

Point cloud surfaces using geometric proximity graphs

We present a new definition of an implicit surface over a noisy point cloud, based on the weighted least-squares approach. It can be evaluated very fast, but artifacts are significantly reduced.

We propose to use a different kernel function that approximates geodesic distances on the surface by utilizing a geometric proximity graph. From a variety of possibilities, we have examined the Delaunay graph and the sphere-of-influence graph (SIG), for which we propose several extensions.

The proximity graph also allows us to estimate the local sampling density, which we utilize to automatically adapt the bandwidth of the kernel and to detect boundaries. Consequently, our method is able to handle point clouds of varying sampling density without manual tuning.

Our method can be integrated into other surface definitions, such as moving least squares, so that these benefits carry over.     

基于测地回归模型的颅面复原

颅面复原是指根据一个未知颅骨的特征预测出对应的面貌,在考古研究、医学整容、刑事案件调查等领域有重要应用.为解决颅面复原过程中存在着数据量大、需要大量标定特征点的手工工作及颅面特征点定义困难的问题,针对三角网格表示的三维颅骨和面皮模型,将颅面模型用从鼻尖出发的一组测地线表示,提出了基于测地回归的颅面复原方法.该方法首先从...