基于改进的代价敏感决策树的网络贷款分类

在网络贷款用户数据集中，贷款成功和贷款失败的用户数量存在着严重的不平衡，传统的机器学习算法在解决该类问题时注重整体分类正确率，导致贷款成功用户的预测精度较低。针对此问题，在代价敏感决策树敏感函数的计算中加入类分布，以减弱正负样本数量对误分类代价的影响，构建改进的代价敏感决策树；以该决策树作为基分类器并以分类准确度作为衡量标准选择表现较好的基分类器，将它们与最后阶段生成的分类器集成得到最终的分类器。实验结果表明，与已有的常用于解决此类问题的算法（如MetaCost算法、代价敏感决策树、AdaCost算法等）相比，改进的代价敏感决策树对网络贷款用户分类可以降低总体的误分类错误率，具有更强的泛化能力。     

一种快速人眼定位与跟踪算法的实现

提出了一种在复杂背景、光照、姿势变化条件下的人脸眼睛定位与跟踪算法。首先采用基于OpenCV的级联式AdaBoost对象检测算法进行人脸检测,并提出了解决平面和深度旋转的方法;然后采用基于瞳孔定位后的分类器法精确定位眼睛;最后采用卡尔曼粒子滤波算法进行人眼跟踪。实验结果表明,该算法在复杂背景下极大地提高了眼睛定位与跟踪的速度和精确度,并对光照、姿势不敏感。     

基于均衡系数的决策树优化算法

针对ID3算法多值偏向及误分类代价被忽视的问题,结合属性相似度和代价敏感学习,提出基于均衡系数的决策树优化算法。该算法既克服了多值偏向,又考虑了误分类代价问题。首先引进属性相似度和性价比值两者的均衡系数,对ID3算法进行改进;然后运用麦克劳林公式对ID3算法进行公式简化;最后将算法改进和公式简化相结合,得到基于均衡系数的决策树优化算法。实验结果表明,基于均衡系数的决策树优化算法,既能够提高分类精度,缩短决策树生成时间,又能考虑代价问题并降低误分类代价,还能克服多值偏向问题。     

基于新型不纯度度量的代价敏感随机森林分类器

针对不平衡数据集的有效分类问题,提出一种结合代价敏感学习和随机森林算法的分类器。首先提出了一种新型不纯度度量,该度量不仅考虑了决策树的总代价,还考虑了同一节点对于不同样本的代价差异;其次,执行随机森林算法,对数据集作K次抽样,构建K个基础分类器;然后,基于提出的不纯度度量,通过分类回归树(CART)算法来构建决策树,从而形成决策树森林;最后,随机森林通过投票机制做出数据分类决策。在UCI数据库上进行实验,与传统随机森林和现有的代价敏感随机森林分类器相比,该分类器在分类精度、AUC面积和Kappa系数这3种性能度量上都具有良好的表现。     

基于深度学习的ARM平台实时人脸识别

针对ARM平台上人脸识别实时性不强和识别率低的问题，提出一种基于深度学习的实时人脸识别方法。首先基于MTCNN人脸检测算法设计了一种实时检测并追踪人脸的算法；然后在ARM平台上基于深度残差网络（ResNet）设计人脸特征提取网络；最后针对ARM平台的特点，使用Mali-GPU加速人脸特征提取网络的运算，分担CPU负荷，提高系统整体运行效率。算法部署在基于ARM的瑞芯微RK3399开发板上，运行速度达到22 帧/s。实验结果表明，与MobileFaceNet相比，该方法在MegaFace上的识别率提升了11个百分点。     

FastFace:实时鲁棒的人脸检测算法

目的 尽管基于深度神经网络的人脸检测器在检测精度上有了极大的提升,但其代价是必须依赖强大的计算资源。如何在CPU上取得较高的检测精度的同时达到实时的检测速度是一个巨大的挑战。针对非约束性条件下的快速鲁棒的人脸检测问题,提出一种基于轻量级神经网络的检测方法。方法 受轻量级网络MobileNet的启发,本文算法采用通道分离的卷积方式进行特征提取,并结合Inception和残差连接的思想,构建若干特征提取模块,最终训练出一个简单高效的特征提取网络;在检测时,采用One-Stage的检测策略,在骨干网络的若干不同层级上使用卷积的同时进行目标区域的分类和定位;在进行目标区域精调时,需要先在对应的特征层上预设先验框,然后再使用边界框回归算法调整先验框的位置和大小,使之接近真实框的位置。为了减少先验框的数量以节省模型参数,本算法针对人脸目标框的特点设置先验框。结果 基于TensorFlow深度学习库构建和训练本文的检测模型,在FDDB数据集上对其进行测试,并与若干经典算法对比了检测速度和精度。相较于多任务级联卷积网络（MTCNN）等典型的深度学习方法,本文算法在CPU上将检测速度提升到25帧/s,同时平均精度（mAP）保持在0.892,高于大多数传统算法。实验结果表明本文方法能实现在CPU上的实时、高精度检测。结论 提出了一种基于轻量级网络模型的人脸检测方法,以简单高效的卷积模块为基础构建骨干网络,并在检测时针对人脸比例特征设置合理的先验框。在非约束性条件以及有限计算资源条件下,该方法不仅在精度上表现良好,而且具有较快的检测速度,是一种鲁棒的检测方法。     

基于相对等待时间的代价敏感决策树

首先引入相对等待时间代价,将它与测试代价一起称为有形代价,利用单位有形代价中无形代价(即误分类代价)降低最多的原则选择分裂属性;然后结合序列测试策略和批量测试策略建立相对等待时间代价敏感决策树。实验结果显示,该方法无论在误分类代价的减少量上还是所需有形代价的数量上都优于存在的算法,并且实验地分析了建立代价敏感决策树考虑相对等待时间是必要的。     

面向移动平台人脸检测的FaceYoLo算法

针对移动平台上人脸检测实时性不强的问题,提出了一种基于深度学习的FaceYoLo实时人脸检测算法。首先,在YoLov3检测算法的基础上,加入快速消化卷积层（RDCL）缩小输入空间,然后加入多尺度卷积层（MSCL）丰富不同检测尺度的感受野,最后加入中心损失和致密化策略加强模型的泛化能力和鲁棒性。实验结果表明,在GPU上测试时,该算法较YoLov3算法在速度上提高至原来的8倍,每幅图像的处理速度可达0.002 8 s;精度提高了2.1个百分点;在Android平台上测试时,该算法较最好的MobileNet模型在检测速率上从5 frame/s提升到10 frame/s。通过实验结果可知,该算法能有效提高人脸检测在移动平台上的实时性能。     

Haar-like特征双阈值Adaboost人脸检测

目的 针对基于Haar-like特征的Adaboost人脸检测算法,在应用于视频流时训练的时间较长,以及检测效率较低的问题,提出了一种基于区间阈值的Adaboost人脸检测算法。方法 通过运行传统的Adaboost算法对人脸图像Haar-like特征值进行提取分析后,对人脸样本与非人脸样本特征值进行比较,发现在某一特定的特征值区间内,人脸和非人脸区域能够得到准确区分,根据此特性,进行分类器的选择,在简化弱分类器计算步骤的同时,降低训练时间,提高对人脸的识别能力。除此之外,弱分类器的增强通过Adaboost算法的放大使得强分类器分类精度提高,与级联结构的配合使用也提升了最终模型检测人脸的准确率。结果 利用MIT（Massachusetts Institute of Technology）标准人脸库对改进Adaboost算法的性能进行验证,通过实验验证结果可知,改进后的Adaboost人脸检测算法训练速度提升为原来的1.44倍,检测率上升到94.93%,虚警率下降到6.03%。并且将改进算法在ORL（Olivetti Research Laboratory）、FERET（face recognition technology）以及CMU Multi-PIE（the CMU Multi-PIE face database）这3种标准人脸库中,分别与SVM（support vector machine）、DL（deep learning）、CNN（convolutional neural networks）以及肤色模型等4种算法进行了人脸检测对比实验,实验结果显示,改进后的Adaboost算法在进行人脸检测时,检测率提升了2.66%,训练所需时间减少至624.45 s,检测效果明显提升。结论 提出的基于区间阈值的Adaboost人脸检测算法,在分类器的训练和人脸检测方面都比传统的Adaboost算法性能更高,能够更好地满足人员较密集处（如球场等地）对多人脸同时检测的实际需求。     

局部关注支持向量机算法

针对训练数据集的不均衡性这一问题,结合采样方法和集成方法,提出一种集成支持向量机分类算法。该算法首先对不均衡的训练集进行非监督聚类;然后依靠其底层的局部关注支持向量机进行数据集局部划分,以精确把控数据集间的局部特征;最后通过顶层支持向量机进行分类预测。在UCI数据集上的评测结果显示,该算法与当前流行的算法（如基于采样的核化少数类过采样技术（K-SMOTE）、基于集成的梯度提升决策树（GTB）和代价敏感集成算法（AdaCost）等）相比,分类效果有明显提升,能在一定程度上解决数据集的不均衡问题。     

EBNO: Evolution of cost-sensitive Bayesian networks

The last decade has seen an increase in the attention paid to the development of cost-sensitive learning algorithms that aim to minimize misclassification costs while still maintaining accuracy. Most of this attention has been on cost-sensitive decision tree learning, whereas relatively little attention has been paid to assess if it is possible to develop better cost-sensitive classifiers based on Bayesian networks. Hence, this paper presents EBNO, an algorithm that utilizes Genetic algorithms to learn cost-sensitive Bayesian networks, where genes are utilized to represent the links between the nodes in Bayesian networks and the expected cost is used as a fitness function. An empirical comparison of the new algorithm has been carried out with respect to (a) an algorithm that induces cost-insensitive Bayesian networks to provide a base line, (b) ICET, a well-known algorithm that uses Genetic algorithms to induce cost-sensitive decision trees, (c) use of MetaCost to induce cost-sensitive Bayesian networks via bagging (d) use of AdaBoost to induce cost-sensitive Bayesian networks, and (e) use of XGBoost, a gradient boosting algorithm, to induce cost-sensitive decision trees. An empirical evaluation on 28 data sets reveals that EBNO performs well in comparison with the algorithms that produce single interpretable models and performs just as well as algorithms that use bagging and boosting methods.     

Handling over-fitting in test cost-sensitive decision tree learning by feature selection, smoothing and pruning

Cost-sensitive learning algorithms are typically designed for minimizing the total cost when multiple costs are taken into account. Like other learning algorithms, cost-sensitive learning algorithms must face a significant challenge, over-fitting, in an applied context of cost-sensitive learning. Specifically speaking, they can generate good results on training data but normally do not produce an optimal model when applied to unseen data in real world applications. It is called data over-fitting. This paper deals with the issue of data over-fitting by designing three simple and efficient strategies, feature selection, smoothing and threshold pruning, against the TCSDT (test cost-sensitive decision tree) method. The feature selection approach is used to pre-process the data set before applying the TCSDT algorithm. The smoothing and threshold pruning are used in a TCSDT algorithm before calculating the class probability estimate for each decision tree leaf. To evaluate our approaches, we conduct extensive experiments on the selected UCI data sets across different cost ratios, and on a real world data set, KDD-98 with real misclassification cost. The experimental results show that our algorithms outperform both the original TCSDT and other competing algorithms on reducing data over-fitting.     

基于层次聚类和极限学习机的母线短期负荷预测

利用传统方法预测母线负荷时,通常选取离待测日相近的一段时间作为历史相似日进行模型训练,没有考虑其天气情况、星期类型、节假日等因素的影响,相似日与待测日特征相差较大。为解决以上问题,提出一种基于层次聚类（HC）和极限学习机（ELM）的母线负荷预测算法。首先使用层次聚类法将母线历史日负荷进行聚类,然后对层次聚类得出的聚类结果建立决策树,其次根据待测日的温度、湿度、星期和节假日类型等日属性在决策树中匹配出训练极限学习机预测模型的历史日负荷,最后建立极限学习机预测模型,对待测日母线日负荷进行预测。对两条不同母线的负荷进行了预测,与传统单一的极限学习机相比,所提算法的平均绝对百分比误差（MAPE）分别降低了1.4和0.8个百分点。实验结果表明,所提算法预测母线负荷具有更高的预测精度和稳定性。     

一种联合检测命名数据网络中攻击的方法

兴趣泛洪攻击(interest flooding attack,IFA)和合谋兴趣泛洪攻击(conspiracy interest flooding attack,CIFA)是命名数据网络(named data networking,NDN)面临的典型的安全威胁.针对现有检测方法的检测特征单一因此不能有效地辨别攻击种类以及检测率不够高等问题,提出一种基于关联规则算法和决策树算法联合检测NDN中攻击的方法.首先,通过提取NDN路由节点的内容缓存(content cache,CS)中的数据信息挖掘CS中新的检测特征“缓存增长率”,实验发现“CS数据包增长率”是辨别IFA还是CIFA的有利依据.其次,使用关联规则算法将新的检测特征与待定兴趣表(pending interest table,PIT)中多个检测特征联合,寻找各个特征之间的关联性并将其作为决策树的输入.最后,使用决策树算法检测攻击.该方法使用决策树算法和关联规则算法联合检测NDN中的攻击,不仅避免了单一特征检测攻击造成的误判并且丰富了决策树的分类属性.分析仿真结果表明该检测方法可以精确地区分并检测IFA和CIFA并且提高了检测率.     

基于代价敏感集成分类器的长方法检测

长方法(Long Method)是由于一个方法太长而需要重构的软件设计的问题。为了提高传统机器学习方法对长方法的识别率,针对代码坏味数据不平衡的特性,提出代价敏感集成分类器算法。以传统决策树算法为基础,利用欠采样策略对样本进行重采样,进而生成多个平衡的子集,并将这些子集训练生成多个相同的基分类器,然后将这些基分类器组合形成一个集成分类器。最后在集成分类器中引入由认知复杂度决定的误分类代价,使得分类器向准确分类少数类倾斜。与传统机器学习算法相比,此方法对长方法检测结果的查准率和查全率均有一定提升。     

采用随机森林改进算法的Webshell检测方法*

为解决Webshell检测特征覆盖不全、检测算法有待完善的问题,论文提出一种基于随机森林的Webshell检测方法。首先对三种类型的Webshell进行深入特征分析,构建多维特征向量较全面的覆盖静态属性和动态行为,改进随机森林特征选取方法,依据Fisher比度量特征重要性,对子类的依赖特征进行划分,按比例和顺序从中选择特征,克服特征选择完全随机带来的弊端,提高决策树分类强度,降低树间相关度。实验对随机森林改进算法和标准算法进行了对比分析,结果表明改进算法依靠更少的决策树就能达到很好效果,并进一步与SVM算法进行比较,证明了该方法在Webshell检测问题上具有一定优越性。     

基于形状索引的DoG特征结合GPRT的人脸关键点检测算法

针对传统人脸对齐算法效率较低的问题,提出一种基于形状索引的高斯差分(DoG)特征与高斯过程回归树(GPRT)的人脸关键点检测算法。首先,由高斯过程回归树的内核测量两个输入之间的相似性,并表示为两个输入进入相同叶子的树木数。然后基于高斯过程回归树模型提取形状索引DoG特征,并进一步完成GPRT的特征设计。最后从局部视网膜模式中采集滤波回应来增加稳定性,实现对抗几何差异的鲁棒性。在LFPW人脸数据库上验证结果表明该方法能够取得良好的性能表现,证明了基于形状索引的DoG特征与GPRT的人脸关键点检测算法的有效性。     

一种模型决策森林算法

随机森林(RF)具有抗噪能力强,预测准确率高,能够处理高维数据等优点,因此在机器学习领域得到了广泛的应用。模型决策树(MDT)是一种加速的决策树算法,虽然能够提高决策树算法的训练效率,但是随着非纯伪叶结点规模的增大,模型决策树的精度也在下降。针对上述问题,提出了一种模型决策森林算法(MDF)以提高模型决策树的分类精度。MDF算法将MDT作为基分类器,利用随机森林的思想,生成多棵模型决策树。算法首先通过旋转矩阵得到不同的样本子集,然后在这些样本子集上训练出多棵不同的模型决策树,再将这些树通过投票的方式进行集成,最后根据得到的模型决策森林给出分类结果。在标准数据集上的实验结果表明,提出的模型决策森林在分类精度上明显优于模型决策树算法,并且MDF在树的数量较少时也能取到不错的精度,避免了因树的数量增加时间复杂度增高的问题。