基于 HY-FMV 模型的雷暴天气预测研究

本文以极端天气中的雷暴天气为研究对象,基于历史气象数据预测未来三小时是否发生雷暴。为预测雷暴是否发生,本文分别对极端天气气象数据的采样、数据预处理、特征选择,以及建模分析进行了研究,最终提出一种基于机器学习方法的HY-FMV模型框架对雷暴天气进行预测。该模型采用混合模型进行数据预处理,基于概率分布与模型评价进行特征的选择和构建,并使用梯度提升树算法对极端天气进行预测分类。最后,本文以2010年到2015年福建和广东两省数据为例,分别使用本文所提出的HY-FMV模型,和随机森林算法等进行雷暴天气预测,结果表明,本文所提出的HY-FMV模型在F1指标上精度达到78%,相比其他算法,在雷暴天气预测精度上提高了0.5%-0.6%。     

态空间系统的梯度优化辨识及收敛性分析*

为解决状态空间系统的预报误差与系统参数之间的非线性、非凸性给参数估计带来的困难,提出了状态空间系统的梯度优化辨识方法。分析了基于局部线性化的梯度辨识原理,给出了基于QR分解、奇异值分解(SVD)确定参数搜索方向的实现方案,得到了估计系统参数的迭代辨识算法。探讨了算法的收敛性、给出了算法收敛速度的解析表达式,最后进行了数值仿真,实验结果说明了所提出方法的有效性。     

基于系统辨识算法的风力机桨距系统故障诊断

针对风力机桨距系统故障,提出一种基于观测器的多新息随机梯度辨识算法的故障诊断方法．多新息随机梯度辨识算法通过扩展新息长度能够改进随机梯度辨识算法的估计精度,根据系统的规范状态空间模型,结合状态观测器可以实现系统状态和参数的交互估计．将桨距系统模型转换为可辨识的状态空间模型,依据桨距系统故障会引起系统参数变化的特点,采用所提出的算法对系统状态和参数进行估计,将桨距系统故障诊断问题转化为系统状态和参数估计问题．仿真结果表明,所提出的方法能够有效诊断桨距系统故障．     

局部加权组合状态空间系统正交梯度辨识

提出了局部加权组合状态空问模型参数的正交梯度辨识方法.局部状态空间模型用全参数化形式描述,同时选用正则化径向基函数作为分状态的加权因子.通过优化系统输出误差得到了系统矩阵、径向基函数中心与带宽的参数估计.仿真结果表明,所提出的方法用于非线性动态系统的建模是有效的.     

基于核的冶金煤气流量在线区间预测

针对冶金企业煤气系统的流量区间预测问题, 本文提出一种基于核的在线区间预测构造方法, 该方法将传统预测区间构造过程中对雅克比矩阵的复杂计算转化为对核的计算, 大大降低了计算成本. 为确定所提方法的超参数, 采用共轭梯度下降算法来优化模型预测误差, 使其逼近样本数据中有效噪声的方差. 为验证本文所提方法的有效性, 对现场实时数据库中的煤气流量数据进行了仿真实验, 其结果表明本文方法在预测精度、可靠性和实时性三方面都表现出明显的优势.     

一种解决连续空间问题的真实在线自然梯度AC算法

策略梯度作为一种能有效解决连续空间决策问题的方法被广泛研究.然而,由于在策略估计过程中存在较大的方差,因此基于策略梯度的方法往往受到样本利用率低、收敛速度慢等限制.针对该问题,提出了真实在线增量式自然梯度行动者-评论家算法（TOINAC）.TOINAC算法采用优于传统梯度的自然梯度,在真实在线时间差分（TOTD）算法的基础上,提出了一种新型的向前观点,改进了自然梯度行动者-评论家算法.在评论家部分,利用TOTD算法高效性的特点来估计值函数;在行动者部分,引入一种新的向前观点来估计自然梯度,再利用资格迹将自然梯度估计变为在线估计,提高了自然梯度估计的准确性和算法的效率.将TOINAC算法与核方法以及正态策略分布结合,解决连续空间问题.最后,在平衡杆、Mountain Car、以及Acrobot等连续问题上进行了仿真实验,验证算法的有效性.     

基于神经网络的机电伺服系统非线性控制

针对机电伺服系统精确动力学模型难以获取以及系统状态信息的测量易受噪声影响的问题,设计一种基于指令滤波与神经网络相结合的非线性反步控制算法,该算法能够有效地补偿未建模动态和外部扰动对机电伺服系统的影响.首先,引入指令滤波器来获取已知信号的微分估计并处理噪声;其次,利用神经网络估计未知的系统动态,包括未建模的摩擦和外部干扰;然后,神经网络权值的更新律通过梯度下降算法在线实现,没有离线学习阶段;最后,利用李雅普诺夫函数分析方法证明闭环系统的稳定性.为验证所提出算法的有效性,在机电伺服实验平台上进行大量对比实验,实验结果表明,所提出的算法具有良好的控制效果,对系统不确定性和外部干扰具有良好的鲁棒性.     

包含执行器动力学的子空间预测动态控制分配方法

针对具有冗余执行机构的过驱动系统的最优控制分配问题, 基于数据驱动的子空间辨识方法和预测控制理论, 提出了一种考虑执行器动力学特性的动态控制分配新方法. 在考虑范数有界不确定性的在线子空间辨识的基础上, 对执行器动力学特性进行不确定性建模, 再结合预测控制理论进行动态控制分配. 从而将执行机构的动力学建模、控制量最优分配和执行机构控制律的设计包含在一个子系统框架内, 对执行机构的模型不确定性具有更好的鲁棒性. 最后给出仿真实例验证了算法的有效性.     

基于t分布的贝叶斯深度学习模型及其应用

贝叶斯深度学习(BDL)融合了贝叶斯方法与深度学习(DL)的互补优势,成为复杂问题中不确定性建模与推断的强大工具.本文构建了基于t分布和循环随机梯度汉密尔顿蒙特卡罗采样算法的BDL框架,并基于数据不确定性和模型定不确定性给出了不确定性的度量.为了验证模型框架的有效性和适用性,我们分别基于人工神经网络(ANN)、卷积神经网络(CNN)和循环神经网络(RNN)构建了相应的BDL模型,并将模型应用于全球15个股票指数预测,实证结果显示:1)该框架在ANN、CNN和RNN下均适用,对全部指数的预测效果均很出色; 2)在预测精度和通用性方面,基于t分布BDL的模型比基于正态分布的BDL模型具有显著优越性; 3)在给定不确定性阈值之下的预测MAE比初始MAE显著提升,表明文中定义的不确定性是有效的,对不确定性建模具有重要意义.鉴于该BDL框架在预测精度、易于拓展和具备提供预测不确定性度量的优势,其在金融和其他具有复杂数据特征的领域均有广阔的应用前景.     

基于蒙特卡罗仿真的湖库水质预测及富营养化风险评估方法

已有的水质预测研究通常是单值预测,并以此为依据分析富营养化状态,具有一定的偶然性和不确定性。结合水质动力学模型,提出了一种基于蒙特卡罗仿真的湖库水质预测及富营养化风险评估方法。在已知水质动力学模型水质指标和模型参数的先验分布基础上,利用蒙特卡罗仿真预测水质指标的演化过程,获得未来时刻水质指标取值的概率分布,实现水质预测。进一步,构造综合营养状态指数,结合水质指标预测结果,计算综合营养状态指数的概率分布和处于不同营养程度的概率,实现富营养化风险评估。仿真结果表明,该方法能够有效实现水质预测和富营养化分析,且考虑更加全面、准确,克服了单值预测结果带来的偶然性。     

基于激光束匹配和图模型的移动机器人相对运动估计误差分析

提出激光束匹配问题中移动机器人相对运动估计误差的分析方法. 以概率图模型建模激光点几何特征, 构建链式成双条件随机场推理激光点关联的边缘概率. 通过对关联配置空间的节点和状态限定, 紧凑采样激光束匹配不确定性概率分布, 并映射于相对运动估计空间, 推理相对运动估计误差. 实验验证了算法的有效性.     

含时延和丢失数据不确定系统的FIR滤波器

针对状态空间模型中存在服从伯努利分布的时延和随机观测丢失的情况,基于极大似然法则,分别设计有限脉冲响应(finite impulse response, FIR)滤波器的慢速率批处理形式和快速率迭代形式.首先,将时延和数据丢失情况下的模型表述为服从伯努利分布的概率线性函数;然后,通过极大似然处理从而得到所提出极大似然FIR算法;最后,将在相同条件下的极大似然FIR估计、改进型卡尔曼滤波以及无偏FIR估计3种滤波方法进行对比,从估计误差、均方根误差和不确定性影响等角度进行比较分析.实验部分通过3-DOF直升机模型仿真,可发现所提出极大似然FIR估计方法在处理时延和数据丢失问题时更加有效,鲁棒性更高.     

开放式动态网络中可渗透路径预测方法仿真

针对机器学习、生物免疫以及条件概率算法下的三种可渗透路径预测方法存在的空间复杂度高、预测覆盖面小问题,提出基于贝叶斯算法的开放式动态网络可渗透路径预测方法。方法对贝叶斯算法进行描述,并基于贝叶斯算法设计可渗透路径预测方法,分析开放式动态网络可渗透过程,然后对可渗透数据进行采集并处理,提取可渗透特征,建立基于贝叶斯算法的预测模型,实现可渗透路径预测。结果表明,与机器学习、生物免疫以及条件概率算法下的三种可渗透路径预测方法相比,所提方法空间复杂度最低,预测覆盖面最大,最高可达98%。     

基于学习的群体动画生成技术研究

为了降低群体动画中生成大量自然而又相似的人体运动的难度和复杂性,研究了一种基于学习的群体动画生成技术。该技术首先通过建立基于高斯过程隐变量模型和隐空间动态模型的运动姿势学习模型,将高维运动姿势映射到低维隐空间中,并在低维隐空间对相邻姿势的动态演化进行建模;然后通过对已有运动数据的学习来获得组成该运动的姿势的概率分布,再通过隐空间中的动态预测和Hybrid Monte Carlo采样来得到符合给定概率分布的隐轨迹;最后通过姿势重构来得到与原运动非常相似但又不同的一系列自然的运动,以产生群体动画,从而避开了传统的基于几何和物理约束的逆运动方法固有的困难和复杂性。     

有偏最小最大概率模型及在汽油属性预测中的应用

汽油属性的在线预测多采用无偏估计方法建立的近红外定量分析模型实现,累积预测误差的正负偏差范围难以控制,这会严重影响汽油调合优化控制的投运效果.针对这一问题,本文提出了一种采用有偏估计实现油品属性在线预测的方法.首先从最小最大概率学习机出发,提出了有偏最小最大概率回归模型.然后利用即时学习方法设计了有偏回归模型的局部建模与更新策略,用以提高回归模型的自适应能力.最后在国内某炼厂汽油调合过程中采集的工业数据上进行实验,结果表明该方法与传统方法相比具有明显优势,有利于大幅度提高调合优化控制的投运率.     

Balance Control of a Biped Robot on a Rotating Platform Based on Efficient Reinforcement Learning

In this work, we combined the model based reinforcement learning (MBRL) and model free reinforcement learning (MFRL) to stabilize a biped robot (NAO robot) on a rotating platform, where the angular velocity of the platform is unknown for the proposed learning algorithm and treated as the external disturbance. Nonparametric Gaussian processes normally require a large number of training data points to deal with the discontinuity of the estimated model. Although some improved method such as probabilistic inference for learning control (PILCO) does not require an explicit global model as the actions are obtained by directly searching the policy space, the overfitting and lack of model complexity may still result in a large deviation between the prediction and the real system. Besides, none of these approaches consider the data error and measurement noise during the training process and test process, respectively. We propose a hierarchical Gaussian processes (GP) models, containing two layers of independent GPs, where the physically continuous probability transition model of the robot is obtained. Due to the physically continuous estimation, the algorithm overcomes the overfitting problem with a guaranteed model complexity, and the number of training data is also reduced. The policy for any given initial state is generated automatically by minimizing the expected cost according to the predefined cost function and the obtained probability distribution of the state. Furthermore, a novel Q(λ) based MFRL method scheme is employed to improve the policy. Simulation results show that the proposed RL algorithm is able to balance NAO robot on a rotating platform, and it is capable of adapting to the platform with varying angular velocity.      

小数据集条件下的多态系统贝叶斯网络参数学习

针对贝叶斯网络中多父节点条件概率分布参数学习问题,提出了一种适用于多态节点、模型不精确、样本信息不充分情形的参数学习方法.该方法利用因果机制独立假设,分解条件概率分布,使条件概率表的规模表现为父节点个数和状态数的线性形式;利用Leaky Noisy-MAX模型量化了多态系统模型未含因素对参数学习的影响;从小样本数据集中获取模型参数并合成条件概率表.结果表明,该方法能提高参数学习效率与精度.     

Feature selection in single and ensemble learning‐based bankruptcy prediction models

Feature selection is an important data preprocessing step for the construction of an effective bankruptcy prediction model. The prediction performance can be affected by the employed feature selection and classification techniques. However, there have been very few studies of bankruptcy prediction that identify the best combination of feature selection and classification techniques. In this study, two types of feature selection methods, including filter‐ and wrapper‐based methods, are considered, and two types of classification techniques, including statistical and machine learning techniques, are employed in the development of the prediction methods. In addition, bagging and boosting ensemble classifiers are also constructed for comparison. The experimental results based on three related datasets that contain different numbers of input features show that the genetic algorithm as the wrapper‐based feature selection method performs better than the filter‐based one by information gain. It is also shown that the lowest prediction error rates for the three datasets are provided by combining the genetic algorithm with the naïve Bayes and support vector machine classifiers without bagging and boosting.     

Confidence-based active learning

This paper proposes a new active learning approach, confidence-based active learning, for training a wide range of classifiers. This approach is based on identifying and annotating uncertain samples. The uncertainty value of each sample is measured by its conditional error. The approach takes advantage of current classifiers' probability preserving and ordering properties. It calibrates the output scores of classifiers to conditional error. Thus, it can estimate the uncertainty value for each input sample according to its output score from a classifier and select only samples with uncertainty value above a user-defined threshold. Even though we cannot guarantee the optimality of the proposed approach, we find it to provide good performance. Compared with existing methods, this approach is robust without additional computational effort. A new active learning method for support vector machines (SVMs) is implemented following this approach. A dynamic bin width allocation method is proposed to accurately estimate sample conditional error and this method adapts to the underlying probabilities. The effectiveness of the proposed approach is demonstrated using synthetic and real data sets and its performance is compared with the widely used least certain active learning method.     

基于AC-GAN数据重构的风电机组主轴承温度监测方法

为更好地识别风电机组主轴承运行状态,提出了一种基于辅助分类生成对抗网络(auxiliary classifier generative adversarial networks, AC-GAN)的数据重构算法对风电机组主轴承温度进行监测。首先,利用采集与监视控制系统(supervisory control and data acquisition, SCADA)时序数据建立基于轻型梯度增强学习器(light gradient boosting machine, LightGBM)的主轴承温度预测模型,并计算其残差特征。其次,利用统计过程控制(statistical process control, SPC)方法对主轴承温度异常残差在控制线范围内进行筛选,并利用AC-GAN算法对残差进行重构。最后,分别提取主轴承温度正常和异常的残差特征,建立基于自然梯度提升(natural gradient boosting, NGBoost)的主轴承状态监测模型。实验结果表明,该方法对主轴承运行状态判断准确度高达87.5%,能够有效地监测风电机组轴承类运行状态。