基于非平衡数据处理方法的网络在线广告中点击欺诈检测的研究

网络在线广告中以套取广告费为目的的点击欺诈检测是机器学习应用的重要内容之一。支持向量机(Support Vector Machine,SVM)是一种优秀的解决二分类和回归问题的机器学习算法,但应用于网络在线广告中的欺诈点击检测时,由于数据集的极端非平衡性,算法性能受到极大的限制。从FDMA2012竞赛欺诈发布商检测的真实数据集出发,在详细研究与对比了3种非平衡数据处理方法后,选取最佳的混合采样方法对原始数据进行处理,再将其应用于SVM分类器。实验结果表明,所提方法能够有效识别实施欺诈点击行为的非法发布商,准确度达到95%左右,满足了网络在线广告中点击欺诈检测的要求。     

点击欺诈群体检测与发现*

在线广告中的欺诈点击(click fraud)是指所有利用欺诈性手段或带有欺诈意图并被搜索引擎承认的点击行为。传统点击欺诈检测主要集中在检测个体用户点击的合法性。然而,目前存在很多的发布商雇佣大批网络用户,以群体形式进行欺诈点击。针对这一问题,提出了一种检测点击欺诈群组的方法。首先使用频繁项集挖掘算法来发现共同点击过大量广告的个体用户,作为疑似欺诈组。然后,在对组内用户点击行为属性分析的基础上,运用孤立点检测方法找到与组内其它用户有显著差异的疑似欺诈用户。最后,运用贝叶斯分类方法对检测到的所有疑似欺诈成员分类,得到真正的欺诈群组和欺诈用户。在真实数据集上的实验结果证明了方法的可行性与有效性。     

一种基于用户行为特征选择的点击欺诈检测方法

在线广告是目前众多网络巨头收入的主要来源,在线广告也为网络的健康发展提供了强大的经济支撑。目前,利用用户行为属性特征来识别点击欺诈的方法中,含有较多的冗余特征,检测效率相对较低。针对这一问题,提出了一种属性特征选择与分类方法相结合的欺诈检测方法。通过训练数据集找到欺诈用户点击广告的属性特征集合,采用Fisher分方法得到了属性特征重要度排序,选取重要属性特征,并基于这些重要的特征使用支持向量机二分类方法分类。在真实数据集上的实验结果证明了该方法的可行性与有效性。     

基于特征选择的网络入侵检测模型研究

为了有效从收集的恶意数据中选择特征去分析,保障网络系统的安全与稳定,需要进行网络入侵检测模型研究;但目前方法是采用遗传算法找出网络入侵的特征子集,再利用粒子群算法进行进一步选择,找出最优的特征子集,最后利用极限学习机对网络入侵进行分类,但该方法准确性较低;为此,提出一种基于特征选择的网络入侵检测模型研究方法;该方法首先以增强寻优性能为目标对网络入侵检测进行特征选择,结合分析出的特征选择利用特征属性的Fisher比构造出特征子集的评价函数,然后结合计算出的特征子集评价函数进行支持向量机完成对基于特征选择的网络入侵检测模型研究方法;仿真实验表明,利用支持向量机对网络入侵进行检测能有效地提高入侵检测的速度以及入侵检测的准确性。     

基于多标签分类的传感器网络数据故障检测算法

传感器网络中多种数据故障会同时出现,为了同时检测出多种数据故障,使用多标签分类模型对传感器网络数据故障的检测过程进行建模.为了提高多标签分类器对数据故障的检测性能,提出了一种基于多标签ReliefF和遗传算法的特征选择算法.该方法将ReliefF扩展成可以对特征子集进行评估的多标签ReliefF,特征选择过程首先使用遗传算法搜索特征子集,然后使用多标签ReliefF对特征子集进行评估.在三个多标签分类器上的实验结果表明,提出的特征选择算法可以显著地提升多标签分类器对传感器网络数据故障的检测性能.     

CAT-RFE:点击欺诈的集成检测框架

点击欺诈是近年来最常见的网络犯罪手段之一,互联网广告行业每年都会因点击欺诈而遭受巨大损失。为了能够在海量点击中有效地检测欺诈点击,构建了多种充分结合广告点击与时间属性关系的特征,并提出了一种点击欺诈检测的集成学习框架——CAT-RFE集成学习框架。CAT-RFE集成学习框架包含3个部分:基分类器、递归特征消除(RFE,recursive feature elimination)和voting集成学习。其中,将适用于类别特征的梯度提升模型——CatBoost(categorical boosting)作为基分类器;RFE是基于贪心策略的特征选择方法,可在多组特征中选出较好的特征组合;Voting集成学习是采用投票的方式将多个基分类器的结果进行组合的学习方法。该框架通过CatBoost和RFE在特征空间中获取多组较优的特征组合,再在这些特征组合下的训练结果通过voting进行集成,获得集成的点击欺诈检测结果。该框架采用了相同的基分类器和集成学习方法,不仅克服了差异较大的分类器相互制约而导致集成结果不理想的问题,也克服了RFE在选择特征时容易陷入局部最优解的问题,具备更好的检测能力。在实际互联网点击欺诈数据集上的性能评估和对比实验结果显示,CAT-RFE集成学习框架的点击欺诈检测能力超过了CatBoost模型、CatBoost和RFE组合的模型以及其他机器学习模型,证明该框架具备良好的竞争力。该框架为互联网广告点击欺诈检测提供一种可行的解决方案。     

基于连接数据分析和OSELM分类器的网络入侵检测系统

针对网络入侵的实时高效检测问题,提出一种基于网络连接数据分析和在线贯序极限学习机(OSELM)分类器的网络入侵检测系统(IDS)。首先,对入侵数据库中的网络连接数据进行分析,通过特征选择算法选择出最优特征子集。然后,迭代执行交叉验证,并通过Alpha剖析来缩减样本尺寸,以此减低后续分类器的计算复杂度。最后,利用优化后的样本特征集来训练OSELM分类器,以此构建一个网络实时入侵检测系统。在NSL-KDD数据库上的实验结果表明,提出的IDS具有较高的检测率和较低的误报率,同时检测时间较短,符合实时入侵检测的要求。     

Web挖掘在网络广告点击欺诈检测中的应用

为有效解决网络广告中存在的点击欺诈问题,提出了一种基于Web挖掘算法的解决方案,并设计了一套点击欺诈检测模型.该模型通过对点击流进行时序分析、离群点挖掘、非线性分析等操作,能有效检测或屏蔽各类点击欺诈,有效屏蔽无意识的无效点击,并且在不影响广告展示速度的基础上显著提高检测点击欺诈的效率.实验结果表明,该解决方案可以有效检测采用手动或者利用计算机程序的方法模仿正常用户进行点击欺诈的行为,表明了模型的可行性和方案的有效性.     

基于量子进化算法的网络入侵检测特征选择

针对当前网络入侵检测中普遍存在检测速度较慢的缺陷,提出了一种新的网络入侵检测特征选择方法。该方法将量子进化算法应用于网络入侵检测的特征选择,从网络连接的原始特征属性中选出一组有效的特征用于入侵检测,以提高检测效率。首先以增强寻优性能为目标改进了量子进化算法,基于特征属性的Fisher比构造了特征子集的评价函数,然后按照量子进化算法的流程设计了网络入侵检测特征选择算法。通过KDD99样本数据集的实验,表明算法是有效的,既保证了入侵检测的分类性能,也提高了入侵检测的效率。     

基于用户行为分析的广告欺诈点击检测

在网络广告业中出现的欺诈点击行为,使得搜索引擎企业以及广告主的利益受到了严重损害,致使点击付费模式遭到质疑,欺诈点击已经成为阻碍网络广告业健康发展的一大顽疾。针对网络广告业发展所面临的此种困境,提出一种基于用户行为分析的广告欺诈点击检测技术。首先创建用户行为数据仓库,然后运用贝叶斯分类方法对用户行为数据进行点击合法等级预测,最后结合博弈控制机制对用户点击有效性进行最终判断。     

一种有效预防点击欺诈的算法

网络广告中,点击欺诈愈演愈烈,已经成为阻碍网络广告业健康发展的一大顽疾。针对网络广告业发展所面临的困境,对预防点击欺诈进行了研究,提出一种基于浏览时间和点击频率,并与验证码相结合的算法。该算法能有效屏蔽类似于木马点击器软件的点击欺诈,有效屏蔽浏览者偶然的无意识的无效点击,显著降低人工点击欺诈的效率,同时也不会让真正的潜在客户流失。     

一种有效预防点击欺诈的策略

网络广告中,点击欺诈愈演愈烈,使得搜索引擎企业以及点击付费模式遭到质疑。点击欺诈已经成为阻碍网络广告业健康发展的一大顽疾。针对网络广告业发展所面临的困境,提出一种基于图形验证码的预防点击欺诈策略。该策略能有效屏蔽类似于木马点击器软件的欺诈点击,有效屏蔽浏览者偶然的无意识的无效点击,显著降低人工欺诈点击的效率。     

自适应嵌套级联的在线集成学习方法研究

针对视频目标检测问题,提出一种新的在线集成学习方法。该方法把目标检测看成两类分类问题,首先用少量已标注样本离线训练一个初始集成分类器,然后在检测目标的同时通过跟踪过滤虚警目标,并通过样本置信度作进一步验证自动标注样本,最后通过在线集成学习方法更新级联分类器。该方法通过在线调整级联分类器,提高分类器对目标环境变化的适应能力,在大量视频序列上进行实验验证,并与现有在线集成学习方法进行比较,结果表明,通过该方法训练得到的检测器不但能够很好地应对目标特征的变化,也能在出现目标遮挡及背景干扰下稳定地检测出目标,具有较好的适应性及鲁棒性。     

基于FTRL优化算法的广告点击率预测模型研究

当前在线广告的业务场景下，线性模型没有充分考虑到数据高维、稀疏性、非线性等特点。针对这些问题，引入了基于梯度提升决策树算法的特征提取方法，提出了基于FTRL（Follow-The-Regularized-Leader）优化算法的因子分解机模型。FTRL优化算法能有效地学习到特征之间存在的非线性关系，使不同参数可以自适应不同学习率，并加入了混合正则项。实验结果证明基于FTRL优化算法的因子分解机模型能有效提高广告点击事件的预测准确率。     

基于改进多目标遗传算法的入侵检测集成方法

针对现有入侵检测算法中存在着对不同类型攻击检测的不均衡性以及冗余或无用特征导致的检测模型复杂与检测精度下降的问题,提出了一种基于改进多目标遗传算法的入侵检测集成方法.利用改进的多目标遗传算法生成检测率与误报率均衡优化的最优特征子集的集合,并采用选择性集成方法挑选精确的、具有多样性的基分类器构造集成入侵检测模型.实验结果表明,该算法能够有效地解决入侵检测中存在的特征选择问题,并在保证较高检测精度的基础上,对不同类型的攻击检测具有良好的均衡性.     

一种混合的信用卡欺诈检测模型

信用卡欺诈检测是一个重要的问题,为了提升对于真实世界的信用卡欺诈数据的识别率,提出了一种混合的信用卡欺诈检测模型AWFD(Anomaly weight of credit card fraud detection),首先通过异常检测的方法将数据划分为可信和异常数据,然后利用半监督的方法训练一个集成模型,最终再利用异常检测进一步剔除检测结果中的异常结果。AWFD在保障对于可信数据的学习效果上,通过半监督集成学习的方法,利用异常数据进一步扩充集成模型的多样性,并将异常检测和集成模型融合。实验结果表明,比起一些传统的机器学习方法,AWFD可以提高整体的信用卡欺诈检测的识别率。     

A P2P Botnet detection scheme based on decision tree and adaptive multilayer neural networks

In recent years, Botnets have been adopted as a popular method to carry and spread many malicious codes on the Internet. These malicious codes pave the way to execute many fraudulent activities including spam mail, distributed denial-of-service attacks and click fraud. While many Botnets are set up using centralized communication architecture, the peer-to-peer (P2P) Botnets can adopt a decentralized architecture using an overlay network for exchanging command and control data making their detection even more difficult. This work presents a method of P2P Bot detection based on an adaptive multilayer feed-forward neural network in cooperation with decision trees. A classification and regression tree is applied as a feature selection technique to select relevant features. With these features, a multilayer feed-forward neural network training model is created using a resilient back-propagation learning algorithm. A comparison of feature set selection based on the decision tree, principal component analysis and the ReliefF algorithm indicated that the neural network model with features selection based on decision tree has a better identification accuracy along with lower rates of false positives. The usefulness of the proposed approach is demonstrated by conducting experiments on real network traffic datasets. In these experiments, an average detection rate of 99.08 % with false positive rate of 0.75 % was observed.