融合深度学习与集成学习的用户离网预测

随着国内通信市场逐渐饱和, 电信运营商之间的竞争日趋激烈. 用户流失预测已成为电信运营商最关注的问题之一. 本文提出一种基于多模型融合的方法创建用户离网预测模型. 首先, 将原始训练数据经过有放回采样和正负样本平衡得到多份不同的训练数据; 然后, 利用多份不同的训练数据使用集成学习与深度学习算法训练得到多个基础模型; ...     

融合用户兴趣表征与注意力机制的推荐算法

为利用用户行为挖掘用户的兴趣,提出一种融合用户兴趣表征与注意力机制的推荐算法.利用CVR算法将传统的用户-项目表征转换为用户-兴趣表征;构建一种应用于用户兴趣预测的深度森林模型,引入兴趣簇重要性作为特征选择权重,融合时间注意力机制进行兴趣预测,将用户-兴趣模型结合基于用户的协同过滤算法预测推荐结果.两个数据集上的实验结果表明,该算法能够提高用户兴趣预测准确率,提升推荐效果.     

基于进化集成学习的用户购买意向预测

在电子商务时代背景下,精准预测用户的购买意向已经成为提高销售效率和优化客户体验的关键因素。针对传统集成策略在模型设计阶段往往受人为因素限制的问题,构建了一种自适应进化集成学习模型用于预测用户的购买意向。该模型能够自适应地选择最优基学习器和元学习器,并融合基学习器的预测信息和特征间的差异性扩展特征维度,从而提高预测的准确性。此外,为进一步优化模型的预测效果,设计了一种二元自适应差分进化算法进行特征选择,旨在筛选出对预测结果有显著影响的特征。研究结果表明,与传统优化算法相比,二元自适应差分进化算法在全局搜索和特征选择方面表现优异。相较于六种常见的集成模型和DeepForest模型,所构建的进化集成模型在AUC值上分别提高了2.76%和2.72%,并且能够缓解数据不平衡所带来的影响。     

基于集成深度森林的入侵检测方法

基于卷积神经网络(CNN)的入侵检测方法在实际应用中模型训练时间过长、超参数较多、数据需求量大。为降低计算复杂度,提高入侵检测效率,提出一种基于集成深度森林(EDF)的检测方法。在分析CNN的隐藏层结构和集成学习的Bagging集成策略的基础上构造随机森林(RF)层,对每层中RF输入随机选择的特征进行训练,拼接输出的类向量和特征向量并向下层传递迭代,持续训练直至模型收敛。在NSL-KDD数据集上的实验结果表明,与CNN算法相比,EDF算法在保证分类准确率的同时,其收敛速度可提升50%以上,证明了EDF算法的高效性和可行性。     

基于深度LightGBM集成学习模型的谷歌商店顾客购买力预测

针对轻量化梯度促进机（LightGBM）等集成学习模型只对数据信息进行一次挖掘,无法自动地细化数据挖掘粒度或通过深入挖掘得到更多的数据中潜在内部关联信息的问题,提出了深度LightGBM集成学习模型,该模型由滑动窗口和加深两部分组成。首先,通过滑动窗口使得集成学习模型能够自动地细化数据挖掘粒度,从而更加深入地挖掘数据中潜在的内部关联信息,同时赋予模型一定的表示学习能力。然后,基于滑动窗口,用加深步骤进一步地提升模型的表示学习能力。最后,结合特征工程对数据集进行处理。在谷歌商店数据集上进行的实验结果表明,所提深度集成学习模型相较原始集成学习模型的预测精度高出6.16个百分点。所提方法能够自动地细化数据挖掘粒度,从而获取更多数据集中的潜在信息,并且深度LightGBM集成学习模型与传统深度神经网络相比是非神经网络的深度模型,参数更少,可解释性更强。     

基于用户隐性反馈行为的下一个购物篮推荐

下一个购物篮推荐是当前电子商务领域中极其重要的一项任务,传统的下一个购物篮推荐方法主要分为时序推荐模型和总体推荐模型。这些方法对点击、收藏、加入购物车等用户的隐性反馈行为利用得不够,并且没有考虑用户行为偏好的时间敏感性。该文提出了一种基于用户隐性反馈行为的下一个购物篮推荐方法,将用户行为按照一定的时间窗口进行划分,对于每个窗口从多个维度抽取用户对商品的时序偏好特征,运用深度学习领域的卷积神经网络模型进行分类器训练。在真实数据集中的实验结果表明,与传统的线性模型和树模型等分类器相比,该文提出的卷积神经网络框架具有较强的特征萃取能力和泛化能力,提高了推荐系统的用户满意度。     

基于聚类和随机森林的协同过滤推荐算法

针对基于邻近关系的协同过滤算法在线推荐效率低的问题,提出了一种可离线训练评分预测模型的算法。通过聚类算法降低用户-项目评分矩阵中用户向量和项目向量的维数,并对数据进行转换使其适用于监督模型;利用转换后的数据离线训练随机森林模型,在线推荐时只需根据随机森林模型的规则进行评分预测,无需查找最邻近用户或项目。实验结果表明,该算法在不降低评分预测精度的情况下,在线推荐效率远高于基于邻近关系的协同过滤算法。     

极限学习机的分类器集成模型研究

将极限学习机算法与旋转森林算法相结合,提出了以ELM算法为基分类器并以旋转森林算法为框架的RF-ELM集成学习模型。在8个数据集上进行了3组预测实验,根据实验结果讨论了ELM算法中隐含层神经元个数对预测结果的影响以及单个ELM模型预测结果不稳定的缺陷;将RF-ELM模型与单ELM模型和基于Bagging算法集成的ELM模型相比较,由稳定性和预测精度的两组对比实验的实验结果表明,对ELM的集成学习可以有效地提高ELM模型的性能,且RF-ELM模型较其他两个模型具有更好的稳定性和更高的准确率,验证了RF-ELM是一种有效的ELM集成学习模型。     

一种加权的深度森林算法

深度森林DF(Deep Forest)由多粒度扫描和级联森林两个部分组成。其中:多粒度扫描通过滑动窗口技术获取多个特征子集,以增强级联森林的差异性;级联森林则是将决策树组成的森林通过级联方式实现表征学习。因此,深度森林克服深度学习参数依赖性强、训练开销大以及仅适用于大数据集等不足之处。然而,深度森林中各个子树的预测精度是各不相同的,简单算术平均会导致子树的错误预测对整个森林的预测产生影响,进而随着级数增加,有可能使错误被进一步放大。为此,提出一种根据森林中每棵子树的预测精度进行加权的深度森林。在高维和低维数据集上进行实验,结果表明:加权的深度森林在高维和低维数据集上性能都获得一定提升,特别在高维数据集上优势较为明显。     

深度随机森林在离网预测中的应用

在电信运营商领域,离网预测模型是企业决策者用来发现潜在离网用户(即停用运营商服务)的主要手段。目前离网预测模型都是基于逻辑回归、决策树、神经网络及随机森林等浅层机器学习算法,但是在大数据的背景下,这些浅层算法在预测问题上很难取得更高的精度。因此,提出了一种新型的深层结构模型——深度随机森林,通过将传统浅层随机森林堆积成深层结构模型,获得更高的预测精度。在运营商真实数据上进行了大量实验,结果证明深层随机森林模型比传统浅层机器学习算法在离网预测问题上可以得到更好的效果。同时,增大训练数据量可以进一步提升深层随机森林的预测能力,从而证明了在大数据环境下深层模型的潜力。     

面向用户隐私保护的联邦安全树算法

针对联邦学习算法在用户行为预测中存在的准确率低和运行效率不高等问题，提出一种无损失的联邦学习安全树（FLSectree）算法。首先，通过对损失函数的推导，证明损失函数的一阶偏导数与二阶偏导数为敏感数据，采用特征索引序列的扫描和分裂来返回加密后的最佳分裂点，以保护敏感数据不被泄露；接着，通过对实例空间的更新来继续向下分裂并寻找下一个最佳分裂点，直至满足终止条件后结束训练；最后，利用训练后的结果使得各参与方得到本地算法参数。实验结果表明，FLSectree算法能够在保护数据隐私的前提下有效提高用户行为预测算法的准确率和训练效率，与联邦学习FATE（Federated AI Technology Enabler）框架中的SecureBoost算法相比，FLSectree算法在用户行为预测中的准确率提高了9.09%，运行时间降低了87.42%，训练结果与集中式Xgboost算法一致。     

基于用户偏好和可疑度的推荐方法研究

针对传统推荐算法在推荐过程中存在忽略用户偏好、用户恶意虚假信息和时间序列等问题,本文引入用户兴趣模型,结合用户可疑度与时间效应计算更新用户相似度,经过深度学习网络得到最佳推荐目标。为避免出现数据过拟合情况,在利用贪心思想训练用户数据时,给隐含层和可见层均加上了用户偏好,一定程度上提高深度学习网络的自学习能力。将改进的算法与传统协同过滤推荐算法在Movie Lens 数据集上做推荐对比实验,实验证明：相对于传统的推荐算法,改进的推荐算法可以大大提高项目推荐的精确度。     

LSTM模型集成方法在客户流失预测中的应用

目前客户流失预测任务中常用的模型集成方法采用传统机器学习模型作为基学习器。而传统机器学习模型相比于深度学习模型,存在无法对时序数据进行有效建模、特征工程对模型效果影响较大等缺点。针对这些问题,提出基于LSTM的模型集成方法。采用LSTM作为基学习器进行时序数据建模;改进snapshot模型集成方法,增加样本权重调整方法,在训练单个LSTM模型的过程中得到多个具有不同权值的模型;利用得到的多个模型构造新数据集,在新数据集上训练逻辑回归模型。实验结果表明,该方法相比于单模型LSTM,可以在仅花费其1.8倍训练时间的前提下,将查准率和PR-AUC分别提升4.67%和3.74%,显著提高了客户流失预测效果。     

改进的多标签深度森林算法研究

多标签深度森林（Multi-Label Deep Forest,MLDF）是一种基于深度森林的深度集成学习模型。为了限制模型的复杂度以及用户可以根据需求优化评价指标,多标签深度森林使用了两种算法：度量感知特征重用与度量感知层增长。前者重用前一层较好的特征,后者用于限制模型增长,然而度量感知特征重用算法使用当前层的输出取算术平均值来计算置信度,忽略了各个森林的精度差异造成的影响。因此,提出一种改进的度量感知特征重用算法,为每个森林在每个标签上赋予权重来计算置信度。实验结果表明,改进的算法在低维多标签数据集上有一定的提升。     

基于深度森林与异质集成的标记分布学习方法

作为一种解决标签模糊性问题的新学习范式, 标记分布学习(LDL)近年来受到了广泛的关注. 为了进一步提升标记分布学习的预测性能, 提出一种联合深度森林与异质集成的标记分布学习方法(LDLDF). 所提方法采用深度森林的级联结构模拟具有多层处理结构的深度学习模型, 在级联层中组合多个异质分类器增加集成的多样性. 相较于其他现有LDL方法, LDLDF能够逐层处理信息, 学习更好的特征表示, 挖掘数据中丰富的语义信息, 具有强大的表示学习能力和泛化能力. 此外, 考虑到深层模型可能出现的模型退化问题, LDLDF采用一种层特征重用机制(layer feature reuse)降低模型的训练误差, 有效利用深层模型每一层的预测能力. 大量的实验结果表明, 所提方法优于近期的同类方法.     

基于改进深度森林算法的软件缺陷预测

软件缺陷预测是合理利用软件测试资源、提高软件性能的重要途径。为处理软件缺陷预测模型中浅层机器学习算法无法对软件数据特征进行深度挖掘的问题,提出一种改进深度森林算法——深度堆叠森林(DSF)。该算法首先采用随机抽样的方式对软件的原始特征进行变换以增强其特征表达能力,然后用堆叠结构对变换特征做逐层表征学习。将深度堆叠森林应用于Eclipse数据集的缺陷预测中,实验结果表明,该算法在预测性能和时间效率上均比深度森林有明显的提升。     

基于CMAES集成学习方法的地表水质分类

为了提高人民生活质量,政府部门不断加强水质管理,然而人工分类方法无法满足实时处理的需求,传统机器学习方法的分类准确率又不够高。集成学习使用多种学习算法来获得比单一学习算法更好的预测性能。首先,对集成学习进行概述,简要介绍了Bagging和Boosting算法,并提出基于协方差自适应调整的进化策略算法(CMAES)的集成学习方法。接着,介绍了数据处理方式、模型评估方法和评价指标。最后,用CMAES集成学习方法对逻辑回归、线性判别分析、支持向量机、决策树、完全随机树、朴素贝叶斯、K-邻近算法、随机森林、完全随机树林、深度级联森林十种模型进行集成。实验结果表明,CMAES集成学习方法优于所有其他模型,该方法将继续被应用到未来的研究之中。     

融合密度聚类与集成学习的数据库异常检测

目前,针对数据库系统内部攻击与威胁的检测方法较少,且已有的数据库异常检测方案存在代价开销高、检测准确率低等问题.为此,将密度聚类和集成学习融合,提出一种基于密度聚类和集成学习的数据库异常检测方法.利用OPTICS(Ordering Points To Identify the Clustering Structure)密度聚类算法对用户产生的数据库SQL操作日志进行聚类,通过对SQL语句中的各属性进行分析,提取用户的异常行为,形成先验知识;将Bagging、Boosting和Stacking进行组合,形成集成学习模型,以OPTICS聚类形成的先验知识为基础,并利用该集成学习模型对用户行为作进一步分析,并创建用户行为特征库.基于用户形成特征库,对用户行为进行检测.给出了方案的详细构建过程,包括数据预处理、训练、学习模型建立以及异常检测;利用相关实验数据进行测试,结果表明本方案能以较高的效率检测出数据库异常行为,并且在准确率方面优于同类方案.     

一种基于矩阵分解和随机森林算法的推荐模型

针对传统环境下运行的推荐算法预测精度不高的问题,提出一种基于矩阵分解和随机森林算法的推荐模型.提出的基于数据分割策略和新的学习过程的分布式推荐模型是在Apache Spark上设计的.通过数据分区、模型训练和偏好预测三个步骤处理大规模数据,提高预测质量,解决数据稀疏问题.为了提高模型在大数据环境下的性能,采用基于矩阵分解(Matrix Factorization,MF)和随机森林(Random Forests,RF)混合的新颖学习过程,从而显著加快分布式训练的速度.实验结果表明,相对于其他算法,该算法在性能指标上具有明显的优势.     

深度信念网软件缺陷预测模型

软件缺陷预测技术在检测软件缺陷、保证软件质量方面发挥了重要的作用。利用神经网络分类算法构建的软件缺陷预测模型得到了广泛的应用。但是利用神经网络分类算法训练历史数据只能进行“浅层学习”,无法对数据特征进行深度挖掘。针对该问题,利用多层限制玻尔兹曼机叠加成深度信念网,先进行特征集成与迭代,并对这些特征数据进行深度学习,构建了基于深度信念网的软件缺陷预测模型(DBNSDPM)。仿真实验表明,本模型预测的准确性与传统的神经网络缺陷预测模型预测的准确性相比有显著提高。