基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

约束条件下BN参数最大熵模型扩展学习算法

在很多智能系统的参数建模时,用户往往面对建模样本稀少的困境。针对在小数据集条件下贝叶斯网络（BN）参数建模的问题,提出了一种约束数据最大熵BN参数学习算法（CDME）。首先利用小数据集估算BN参数,随后把定性的专家经验转换为不等式约束,并利用Bootstrap算法生成满足约束的一组参数候选集,再根据信息最大熵进行加权计算出BN参数。实验结果表明,当数据量充分时,CDME参数学习算法与经典的MLE算法的学习精度近似,表明了算法的正确性;在小数据集条件下,利用CDME算法,可以对BN进行参数建模,学习精度优于MLE算法和QMAP算法。CDME算法在实际故障诊断样本数据相对稀缺的条件下,获取了诊断BN模型参数,在此基础上完成的诊断推理结果也印证了算法的有效性,为小数据集条件下的参数建模提供了一条新途径。     

小数据集条件下基于数据再利用的BN参数学习

着重研究了小数据集条件下结合凸约束的离散贝叶斯网络(Bayesian network, BN)参数学习问题, 主要任务是用先验知识弥补数据的不足以提高参数学习精度. 已有成果认为数据和先验知识是独立的, 在参数学习算法中仅将二者机械结合. 经过理论研究后, 本文认为数据和先验知识并不独立, 原有算法浪费了这部分有用信息. 本文立足于数据信息分类, 深入挖掘数据和先验知识之间的约束信息来提高参数学习精度, 提出了新的BN 参数学习算法 --凸约束条件下基于数据再利用的贝叶斯估计. 通过仿真实验展示了所提算法在精度和其他性能上的优势, 进一步证明数据和先验知识不独立思想的合理性.     

基于稀缺数据集下BN参数学习的目标识别

针对贝叶斯网络（BN）在目标识别参数建模中常常面临特征数据样本相对稀缺的问题,研究了将稀缺数据集与定性专家经验相融合来估算BN模型参数的方法——CSDE,并据此提出了一种目标识别算法。该算法在BN结构已知的情况下,将定性专家经验转化为BN条件概率之间的约束集合;随后引入凸优化求解方法完成BN目标识别模型参数的估算。在实验研究中,先通过对经典的BN模型的参数学习问题验证了CSDE算法的有效性;随后,针对实际稀缺样本数据集目标识别问题,进行了建模及识别实验。实验结果表明：所提出的算法能够较好地解决样本数据集相对稀缺条件下的目标识别参数建模问题。     

面向深度学习图像分类的GPU并行方法研究

针对深度学习图像分类场景中多GPU并行后传输效率低的问题,提出一种低时间复杂度的Ring All Reduce改进算法。通过分节点间隔配对原则优化数据传输流程,缓解传统参数服务器并行结构的带宽损耗。基于数据并行难以支撑大规模网络参数及加速延缓的问题,根据深度学习主干网络所包含的权重参数低于全连接层权重参数、同步开销小、全连接层权重大与梯度传输开销过高等特点,提出GPU混合并行优化算法,将主干网络进行数据并行,全连接层进行模型并行,并通过改进的Ring All Reduce算法实现各节点之间的并行后数据通信,用于基于深度学习模型的图像分类。在Cifar10和mini ImageNet两个公共数据集上的实验结果表明,该算法在保持分类精度不变的情况下可以获得更好的加速效果,相比数据并行方法,可达到近45%的提升效果。     

基于加性协同的离散贝叶斯网络参数学习

针对小数据集条件下离散BN参数学习的问题,为了将加性协同约束融入到BN参数学习过程中,通过借鉴经典保序回归算法的思想,提出四种处理加性协同约束的方法,进而利用经典的草地湿润模型对改进算法进行仿真,并与最大似然估计算法进行对比,仿真结果表明,改进算法在精度上有一定优势,能够很好的对最大似然估计算法进行修正,得到相对准确的参数,然而时效性则劣于最大似然估计算法.进一步将改进算法应用到弹道导弹突防模型的参数学习中,通过推理分析验证算法的有效性.     

一种基于自适应局部融合参数的协同过滤方法

基于内存的协同过滤推荐系统存在数据稀疏和数据集异构的问题。为此,提出一种基于变权重相似度计算和自适应局部融合参数的协同过滤方法。通过统计数据集,提取用户-项目评分项的用户情感信息量计算用户相似度,同时根据用户-项目评分项的评分质量改进项目相似度计算方法,利用基于相似用户(或项目)的方法预测置信度,得到自适应局部融合参数,以增强协同过滤方法对数据集的适应能力。实验结果表明,相比传统全局融合参数方法,该方法在数据稀疏情况下的平均绝对误差降低了0.02,具有较高的推荐精度和推荐覆盖度,并且有效解决了数据稀疏和数据集异构问题。     

面向大规模数据集的贝叶斯网络参数学习算法

贝叶斯网络的学习可以分为结构学习和参数学习。期望最大化（EM）算法通常用于不完整数据的参数学习,但是由于EM算法计算相对复杂,存在收敛速度慢和容易局部最大化等问题,传统的EM算法难于处理大规模数据集。研究了EM算法的主要问题,采用划分数据块的方法将大规模数据集划分为小的样本集来处理,降低了EM算法的计算量,同时也提高了计算精度。实验证明,该改进的EM算法具有较高的性能。     

基于CLNF与BN模型的疼痛表情识别方法

为提高疼痛表情的识别准确性,将约束局部神经域（CLNF）模型和贝叶斯网络（BN）模型相结合,提出一种疼痛表情识别方法。利用CLNF模型获取疼痛表情的关键特征点,在此基础上得到携带大量疼痛信息的面部活动单元（AU）,通过对AU加标签处理得到样本数据集。根据定性专家经验获取BN条件概率之间的约束集合,采用变权重方法将样本数据集与约束扩展参数集相融合以完成BN模型的参数估算,并通过BN推理方法实现疼痛表情的最终识别。实验结果表明,与概率潜在语义分析、局部二值体卷积神经网络等方法相比,该方法可有效提高疼痛表情的识别性能,具有更高的识别精度。     

基于贝叶斯网络参数迁移学习的电熔镁炉异常工况识别

在贝叶斯网络(Bayesian network,BN)参数学习中,如果数据不够充分,将无法建立准确的BN模型来分析和解决问题.针对电熔镁炉熔炼过程的异常工况识别建模,提出一种新的BN参数迁移学习方法来改进异常工况识别精度.该方法可以解决源域BN与目标域BN在结构不一致情况下的参数迁移学习问题.在实验部分,首先在著名的A...     

小数据集条件下贝叶斯网络自适应参数学习方法

针对小数据集条件下贝叶斯网络参数学习问题,约束最大似然(CML)和定性最大后验概率(QMAP)方法是两种约束适用性较好的方法.当样本数量、约束数量、参数位置不同时,上述两种方法互有优劣,进而导致方法上的难以选择.因此,本文提出一种自适应参数学习方法:首先,利用CML和QMAP方法学习得到两组参数;然后,基于拒绝–接受采样和空间最大后验概率思想自定义计算得到样本权重、约束权重、参数位置权重;最后,基于上述参数和权重计算得到新的参数解.实验表明:在任何条件下,本文方法计算得到参数的精度接近甚至优于CML和QMAP方法的最优解.     

小数据集条件下基于双重约束的BN参数学习

针对小数据集条件下的贝叶斯网络（Bayesian network,BN）参数学习问题,提出了一种基于双重约束的贝叶斯网络参数学习方法. 首先,对网络中的参数进行分析并将网络中的参数划分为: 父节点组合状态相同而子节点状态不同的参数和父节点组合状态不同而子节点状态相同的参数;然后,针对第一类参数提出了一种新的基于Beta分布拟合的贝叶斯估计方法,而针对第二类参数利用已有的保序回归估计方法进行学习,进而实现了对网络中参数的双重约束学习;最后,通过仿真实例说明了基于双重约束的参数学习方法对小数据集条件下贝叶斯网络参数学习精度提高的有效性.     

基于多代表点学习的RSKNN分类算法

RSKNN 算法是一种基于变精度粗糙集理论的 k-近邻改进算法,该算法能够保证在一定分类精度的前提下,有效地降低分类的计算量,提高分类效率。但由于 RSKNN 算法只是简单地将每个类中的样本划分成一个核心和边界区域,并没有根据数据集本身的特点进行划分,因而存在极大的局限性。针对存在的问题,提出一种多代表点学习算法,运用结构风险最小化理论对影响分类模型期望风险的因素进行分析,并使用无监督的局部聚类算法学习优化代表点集合。在UCI公共数据集上的实验表明,该算法比RSKNN算法具有更高的分类精度。     

改进的自适应参数DBSCAN聚类算法

针对传统DBSCAN算法需要人工输入[Eps]和[MinPts]参数，且参数选择不合理导致聚类准确率低的问题，提出了一种改进的自适应参数密度聚类算法。采用核密度估计确定[Eps]和[MinPts]参数的合理区间，通过分析数据局部密度特点确定簇数，根据合理区间内的参数值进行聚类，计算满足簇数条件时的轮廓系数，最大轮廓系数对应的参数即为最优参数。在4种经典数据集上进行对比实验，结果表明，该算法能够自动选择最优的[Eps]和[MinPts]参数，准确率平均提高6.1%。     

基于变精度粗糙集的KNN分类改进算法

传统KNN算法具有简单、稳定和高效的特点,在实际领域得到广泛应用。但算法的时间复杂度与样本规模成正比,大规模或高维数据会降低KNN分类效率。文中通过引入变精度粗糙集模型,提出一种改进的KNN分类算法。算法运用变精度粗糙集上下近似概念,将各类训练样本划分为核心和边界区域,分类过程计算新样本与各类的近似程度,获取新样本的归属区域,减小分类代价,增强算法的鲁棒性。实验表明,与传统KNN算法相比,文中算法保持较高的分类精度并有效提高分类效率,具有一定的理论与实际价值。     

基于欠采样和代价敏感的不平衡数据分类算法

针对不平衡数据集中的少数类在传统分类器上预测精度低的问题,提出了一种基于欠采样和代价敏感的不平衡数据分类算法——USCBoost.首先在AdaBoost算法每次迭代训练基分类器之前对多数类样本按权重由大到小进行排序,根据样本权重选取与少数类样本数量相当的多数类样本;之后将采样后的多数类样本权重归一化并与少数类样本组成临...