客户流失预测的现状与发展研究

根据客户流失预测研究的发展历程和智能化程度的高低,将客户流失预测研究划分为三个阶段,包括基于传统统计学的预测方法、基于人工智能的预测方法和基于统计学习理论的预测方法,并通过分析每个阶段存在的问题提出了未来可研究的方向。     

基于简易支持向量机的客户流失预测研究*

应用简易支持向量机（SSVM）进行客户流失预测,以提高机器学习方法的预测能力。以国外电信公司客户流失预测为实例,与最近邻算法（NPA）进行了对比,发现该方法在获得与NPA近似准确率的条件下,所花费的时间和时间增加值远小于NPA,是研究客户流失预测问题的有效方法。     

基于神经网络的电信客户流失预测主题建模及实现

客户流失管理是电信运营商通过对客户需求满意度调查进行有针对性挽留客户的一个重要方法，其中最关键的就是对客户流失行为做出预测。提出了一种基于神经网络的客户流失预测模型。根据行业专家经验值选取分析变量，通过神经网络计算分析变量的权值，建立客户流失预测模型并对客户流失趋势进行预测。该方法与决策树和贝叶斯网络等算法相比，通过使用两次神经网络，从原始数据上千个属性中提炼出与客户流失度相关性较大的属性，分析出的影响流失属性更利于下一步的客户挽留工作。     

基于差异度的不均衡电信客户数据分类方法

针对传统分类技术对不均衡电信客户数据集中流失客户识别能力不足的问题,提出一种基于差异度的改进型不均衡数据分类（IDBC）算法。该算法在基于差异度分类（DBC）算法的基础上改进了原型选择策略。在原型选择阶段,利用改进型的样本子集优化方法从整体数据集中选择最具参考价值的原型集,从而避免了随机选择所带来的不确定性;在分类阶段,分别利用训练集和原型集、测试集和原型集样本之间的差异性构建相应的特征空间,进而采用传统的分类预测算法对映射到相应特征空间内的差异度数据集进行学习。最后选用了UCI数据库中的电信客户数据集和另外6个普通的不均衡数据集对该算法进行验证,相对于传统基于特征的不均衡数据分类算法,DBC算法对稀有类的识别率平均提高了8.3%,IDBC算法对稀有类的识别率平均提高了11.3%。实验结果表明,所提IDBC算法不受类别分布的影响,而且对不均衡数据集中稀有类的识别能力优于已有的先进分类技术。     

基于DCNN特征与集成学习的车型分类算法

针对传统人工设计特征描述不充分及单分类器泛化能力弱等问题,提出一种基于深度卷积神经网络(DCNN)特征与集成学习相结合的车型分类算法。微调VGG16深度卷积神经网络模型,将全连接层Fc7输出的4096维矢量采用PCA方法降至100维,作为图像的特征表示;采用拉格朗日支持向量机(LSVM)作为基分类器,以Adaboost方法自动学习各样本及基分类器的权重实现分类器集成。基于BIT和MIO-TCD数据集的对比实验结果表明,平均分类精度分别达到84.5%与83%,优于其它传统特征与单分类器方法。     

基于迁移学习的文本共情预测

由于缺乏足够的训练数据,文本共情预测的进展一直都较为缓慢;而与之相关的文本情感极性分类任务则存在大量有标签的训练样本。由于文本共情预测与文本情感极性分类两个任务间存在较大相关性,因此提出了一种基于迁移学习的文本共情预测方法,该方法可从情感极性分类任务中学习到可迁移的公共特征,并通过学习到的公共特征辅助文本共情预测任务。首先通过一个注意力机制对两个任务间的公私有特征进行动态加权融合;其次为了消除两个任务间的数据集领域差异,通过一种对抗学习策略来区分两个任务间的领域独有特征与领域公共特征;最后提出了一种Hinge?loss约束策略,使共同特征对不同的目标标签具有通用性,而私有特征对不同的目标标签具有独有性。在两个基准数据集上的实验结果表明,相较于对比的迁移学习方法,所提方法的皮尔逊相关系数（PCC）和决定系数（R²）更高,均方误差（MSE）更小,充分说明了所提方法的有效性。     

基于增强特征判别性的典型相关分析和分类集成的助学金预测方法

针对高校资助管理办法效率低下、工作量大等问题,提出一种增强特征判别性的典型相关分析（EN-DCCA）方法,并结合分类集成方法实现高校学生助学金预测。将学生在校多维度数据划分为两个不同视图,已有的各种多视图判别典型相关分析算法没有综合考虑视图类别之间的相关性和视图组合特征的判别性两者因素。EN-DCCA的优化目标在最大化类内相关的同时最小化类间相关,并且考虑了视图组合特征的判别性,进一步强化了属性的判别性能,更有利于分类预测。高校学生助学金预测的实现过程：首先,根据学生生活行为和学习表现将数据预处理为两个不同视图,然后用EN-DCCA方法对这两个视图数据进行特征学习,最后用分类集成方法完成预测。在真实的数据集上进行实验,所提方法的预测准确率达到90.01%,较增强视图组合特征判别性的典型相关分析（CECCA）的集成方法提高了2个百分点,实验结果表明,所提方法能有效实现高校助学金预测。     

基于作者主题模型和辐射模型的用户位置预测模型

由于全球定位系统（GPS）设备采集的用户历史位置数据通常具有稀疏性,使得基于单个用户数据的位置预测模型能力受限,所以结合人类移动性的时间和空间周期性,提出一种基于作者主题模型（ATM）和辐射模型（RM）的用户位置预测模型。在时间维度上,该模型利用ATM发现与目标用户移动行为相似的用户群,并确定该用户群在预测时刻所处的目标状态;在空间维度上,该模型利用RM算法计算目标用户的候选地点在目标状态下的概率,并通过比较各候选地点的概率值确定目标用户可能出现的地点,从而实现对目标用户位置的预测。实验结果表明,该模型的平均预测准确率为61.49%,相对于基于变阶的Markov模型提高近28个百分点。所提预测模型能够在单个用户数据量小的条件下获得更高的预测准确率。     

基于PPI网络与机器学习的蛋白质功能预测方法

针对现有的基于蛋白质相互作用（PPI）网络的蛋白质功能预测方法预测精度不高、易受数据噪声影响的问题,提出一种基于机器学习（层次聚类、主成分分析和多层感知器）的蛋白质功能预测方法HPMM。该方法综合考虑蛋白质宏观和微观层面的信息,将蛋白质家族、结构域和重要位点信息作为顶点属性整合到PPI网络中以减轻网络中数据噪声的影响。首先,基于层次聚类和主成分分析进行特征提取,得到功能模块和属性主成分特征,然后训练多层感知器模型,建立多特征与多功能之间的映射关系以用于功能预测。在三个分别被分子功能（MF）、生物过程（BP）和细胞组件（CC）注释的人类PPI网络上进行测试,对HPMM、余弦迭代算法（CIA）和有向PPI网络基因本体术语传播（GoDIN）算法的功能预测效果进行比较分析。实验结果表明,相比CIA和GoDIN这两种完全基于PPI网络的方法,HPMM的精确度与F值更高。     

基于优化变分模态分解和核极限学习机的集装箱吞吐量预测

针对港口集装箱吞吐量数据的复杂性特征,提出基于优化变分模态分解（OVMD）和核极限学习机（KELM）的集装箱吞吐量短期混合预测模型。首先,用汉佩尔辨识法（HI）剔除原始时间序列中的异常值,并把预处理之后的序列通过OVMD分解为多个特征明显的子模态。然后,为提高预测效率,将分解后的子模态按照样本熵（SE）值的大小分成高频低幅、中频中幅和低频高幅三类;同时,借助KELM中携带的小波、高斯和线性核函数捕捉具有不同特征子模态的趋势。最后,把所有子模态的预测结果线性相加得到最终的预测结果。以深圳港的月度集装箱吞吐量数据为样本进行实验,所提模型的平均绝对误差（MAE）达到0.914?9,平均绝对百分比误差（MAPE）达到0.199%,均方根误差（RMSE）达到7.886?0,决定系数（R²）为0.994?4。与四种对比模型相比,所提出的模型在预测精度和效率上都具有一定的优势,同时克服了传统互补集成经验模态分解（CEEMD）和集成经验模态分解（EEMD）中容易出现的模态混叠问题以及极限学习机（ELM）中存在过拟合等问题,具有一定的实际应用潜力。     

基于网络表示学习与随机游走的链路预测算法

现有的基于随机游走链路预测指标在无权网络上的转移过程存在较强随机性,没有考虑在网络结构上不同邻居节点间的相似性对转移概率的作用。针对此问题,提出一种基于网络表示学习与随机游走的链路预测算法。首先,通过基于深度学习的网络表示学习算法——DeepWalk学习网络节点的潜在结构特征,将网络中的各节点表征到低维向量空间;然后,在重启随机游走（RWR）和局部随机游走（LRW）算法的随机游走过程中融合各邻居节点在向量空间上的相似性,重新定义出邻居节点间的转移概率;最后,在5个真实数据集上进行大量实验验证。实验结果表明：相比8种具有代表性的基于网络结构的链路预测基准算法,所提算法链路预测结果的AUC值均有提升,最高达3.34%。     

基于改进粒子群优化和极限学习机的网络安全态势预测

针对网络安全态势预测模型预测精度不高、收敛较慢等问题,提出了一种基于改进粒子群优化极限学习机(IPSO-ELM)算法的预测方法.首先,通过改进粒子群优化(PSO)算法中的惯性权重和学习因子来实现两种参数随着迭代次数增加的自适应调整,使PSO初期搜索范围大、速度高,后期收敛能力强、稳定.其次,针对PSO易陷入局部最优的问...     

基于值差度量和聚类优化的K最近邻算法在银行客户行为预测中的应用

为提升贷款金融客户行为预测的准确性,针对传统的K-最近邻（KNN）算法在数据分析中处理非数值因素的不完备问题,提出了一种采用值差度量（VDM）距离的对聚类结果迭代优化的改进KNN算法。首先对收集到的数据信息进行基于VDM距离的KNN算法的聚类,再对聚类结果进行迭代分析,最后通过联合训练提高了预测精度。基于葡萄牙零售银行2008-2013年收集的客户数据比较可知,改进的KNN算法与传统的KNN算法、基于属性值相关距离的KNN改进（FCD-KNN）算法、高斯贝叶斯算法、Gradient Boosting等现有算法相比具有更好的性能和稳定性,在银行数据预测客户行为中具有很大的应用价值。     

基于时空节点选择和深度学习的城市道路短时交通流预测

针对目前交通流短时预测对于交通流特性考虑得不够全面、预测精度不高的问题,提出一种基于时空节点选择和深度学习的城市道路交通流短时预测方法。首先,在理论和数据表现上对交通流特性进行分析,获得时空特性;其次,根据车流的可达范围确定候选时空节点集合,以误差平方和的倒数为目标函数计算适应度,在训练集上使用遗传算法和反向传播神经网络(BPNN)进行时空节点选择,得到最终的时空节点和训练好的BPNN;最后,在工作集上将选择的时空节点的实测值输入训练好的BPNN得出预测值。实验结果表明,所提模型与仅使用相邻时空节点数据、采用其他时间节点范围、支持向量机(SVM)和梯度提升树(GBDT)相比误差略有降低,平均绝对误差(MAE)和平均绝对百分误差(MAPE)分别为10.6316和14.2758%;仅使用与待预测路段相邻空间的交通流数据的预测结果相比MAE和MAPE两个值上分别高出了0.2573和0.9991个百分点。     

Fault detection in multi-sensor networks based on multivariate time-series models and orthogonal transformations

We introduce the usage of multivariate orthogonal space transformations and vectorized time-series models in combination with data-driven system identification models to achieve an enhanced performance of residual-based fault detection in condition monitoring systems equipped with multi-sensor networks. Neither time-consuming annotated samples nor fault patterns/models need to be available, as our approach is solely based on on-line recorded data streams. The system identification step acts as a fusion operation by searching for relations and dependencies between sensor channels measuring the state of system variables. We therefore apply three different vectorized time-series variants: (i) non-linear finite impulse response models (NFIR) relying only on the lagged input variables, (ii) non-linear output error models (NOE), also including the lags of the own predictions and (iii) non-linear Box–Jenkins models (NBJ) which include the lags of the predictions errors as well. The use of multivariate orthogonal space transformations allows to produce more compact and accurate models due to an integrated dimensionality (noise) reduction step. Fault detection is conducted based on finding anomalies (untypical occurrences) in the temporal residual signal in incremental manner. Our experimental results achieved on four real-world condition monitoring scenarios employing multi-sensor network systems demonstrate that the Receiver Operating Characteristic (ROC) curves are improved over those ones achieved with native static models (w/o lags, w/o transformations) by about 20–30%.