国内网络水军识别研究

目前网络水军的识别已经成为一项具有挑战性的工作.为了维持良好的网络环境,保证合理的网络秩序,我们可以从大量的用户信息中挖掘出水军的特征和行为模式,从而发现网络水军.按水军目 标领域可划分为邮件水军、电商领域的网络水军、社交领域的网络水军和微博领域的网络水军并从其目标领域角度对近几年国内网络水军识别研究进行综述,并对网络...     

自净化机制对网络水军的效用研究

网络水军是新媒体发展的产物,以网络空间中信息的自由传播为基础,同时也不可避免地为谣言的滋生和传播带来了便利。自净化机制是网络自带的运行机制,在媒体信息充分流动、网络用户高度互动、网民素养进一步提升的大背景下可以发挥一定效用,切断网络谣言的传播途径、缩短伪信息的生命周期。然而,在树立"意见领袖"、纠正网民主观"表达偏差"方面,自净化机制所起的效用有限,不可避免地表现出了"乏力"的态势。     

网络新词识别算法研究

针对社交网络新词识别过程中“旧词新义”所引起的语义模糊问题,提出了网络新词识别算法.通过检测词语频度变化、共现词语分布一致性、情感倾向性迁移三项指标综合分析判断网络新词产生变化的规律特点,从而设计一种网络新词识别算法.最后以实验验证了该算法对提高现有系统网络新词识别准确率的可行性和有效性.     

基于群体行为的社交媒体中水军分析

社交媒体是当下非常热门的一种互联网应用。在发生公共事件时,许多当事人雇佣公关公司在社交媒体上发布虚假信息来影响舆情。这部分为公关公司所服务的社交媒体账号称为水军。水军在当下的中国社交媒体中有泛滥的趋势。基于水军的群体行为分析社交媒体中的水军集团。定义了情感社会网络和情感社会网络中的团的概念;设计了一个分析框架,包括提出了情感社会网络中发现社区,以及从社区中发现对立的派别（称为团）的算法。从微博的评论数据构建情感社会网络,并发现情感社会网络中的团,可以识别水军,而且可以考察社交媒体中的水军集团的特性。采用人工标注的数据集进行了实验。     

基于网络关系的微博水军集团发现方法

由于目前水军的高伪装性,经典的水军识别算法变得不再有效。与真实用户相同,水军用户之间也会形成一定的网络结构,提出了一种基于网络关系的方法来发现水军集团,首先以一个典型的水军账号作为种子,逐层扩展粉丝关系,优先搜索出现次数频繁的用户,从而获得一个包含大量水军账号的集合,按照水军用户之间关系的高度聚集性以及与真实用户之间关系稀疏性的特点,用Fast Unfolding算法进行社区检测。实验结果表明,该方法能够很好地发现水军集团。     

社交网络水军用户的动态行为分析及在线检测

利用社交网络用户的静态行为特征识别水军用户,无法检测水军用户的动态行为且难以应用于在线检测的环境。为此,构造社交网络用户的动态行为特征,分析正常用户和水军用户间的差异,以半监督模型为基础,结合动静行为特征构建在线检测模型,通过静态行为特征聚类及动态行为特征过滤筛选,使半监督模型利用最有价值的未标记用户数据进行增量学习,从而检测水军用户。实验结果表明,该模型的F1值高达93.33%,平均训练时间约为2 min,能够有效检测社交网络上的水军用户。     

基于逻辑回归算法的微博水军识别

受潜在的商业利益的驱动,微博水军横行于话题与评论之间,对人们了解真实的结果产生不良影响,成为正常用户了解事实真相的障碍。分析了正常用户和水军的关系图,以此为切入点,分析了水军的特点,从用户属性中抽取了8个特征数据(粉丝数、关注数、好友粉丝比、注册时间、活跃度、关注速率、双向关注比和互粉数)基于学习数据集R训练逻辑回归分类模型,得到可靠的回归系数后,使用识别样本集R进行识别,水军识别率高达98.770%。为验证抽取的8个特征是否能有效识别水军,使用Scikit-Learn机器学习库中4种分类方法对同一识别样本集进行水军识别,水军识别准确率均在98.688%以上。研究结果表明,选取的8个特征能有效地进行水军判别,逻辑回归分类模型在进行水军识别研究中具有高准确性和可靠性。     

基于用户行为的产品垃圾评论者检测研究

为找到垃圾评论的制造者,提出一种基于用户行为的产品垃圾评论者检测方法。从垃圾评论者的行为目的出发,将其发表垃圾评论的5种行为模式作为垃圾评论者的检测指标,从卓越亚马逊网站获取1 470个评论用户,按单指标选取、5个指标集成选取的方法确定最可能和最不可能成为垃圾评论者的评论用户各25个,并对这50个评论者进行人工标记,根据标记结果设计有监督的线性回归模型。实验结果表明,该模型从1 470个评论者中发现88个用户为垃圾评论者,对垃圾评论者的检测效果优于基于用户有用性投票的基准方法。     

基于微博重复发送的垃圾用户甄别

针对微博平台上的垃圾用户甄别问题,本文提出了基于微博重复发送行为的垃圾用户行为建模和甄别算法。在真实微博垃圾用户数据分析的基础上,本建模方法综合考虑了微博垃圾用户的行为信息、社交网络信息和文本信息,从不同的角度对垃圾用户进行了分析和建模。在真实数据集上的实验证明了方法的有效性,并且对模型中若干参数进行了优化,同时也分析了垃圾用户行为信息、社交网络信息和文本信息对模型的影响程度。     

基于双层采样主动学习的社交网络虚假用户检测方法

社交网络的飞速发展给用户带来了便捷,但是社交网络开放性的特点使得其容易受到虚假用户的影响.虚假用户借用社交网络传播虚假信息达到自身的目的,这种行为严重影响着社交网络的安全性和稳定性.目前社交网络虚假用户的检测方法主要通过用户的行为、文本和网络关系等特征对用户进行分类,由于人工标注用户数据需要的代价较大,导致分类器能够使用的标签样本不足.为解决此问题,本文提出一种基于双层采样主动学习的社交网络虚假用户检测方法,该方法使用样本不确定性、代表性和多样性3个指标评估未标记样本的价值,并使用排序和聚类相结合的双层采样算法对未标记样本进行筛选,选出最有价值的样本给专家标注,用于对分类模型的训练.在Twitter、Apontador和Youtube数据集上的实验说明本文所提方法在标签样本数量不足的情况下,只使用少量有标签样本就可以达到与有监督学习接近的检测效果;并且,对比其他主动学习方法,本文方法具有更高的准确率和召回率,需要的标签样本数量更少.     

Co-Training——内容和链接的Web Spam检测方法

Web spam是指通过内容作弊和网页间链接作弊来欺骗搜索引擎,从而提升自身搜索排名的作弊网页,它干扰了搜索结果的准确性和相关性。提出基于Co-Training模型的Web spam检测方法,使用了网页的两组相互独立的特征——基于内容的统计特征和基于网络图的链接特征,分别建立两个独立的基本分类器;使用Co-Training半监督式学习算法,借助大量未标记数据来改善分类器质量。在WEB SPAM-UK2007数据集上的实验证明:算法改善了SVM分类器的效果。     

虚假评论检测技术综述

随着互联网的发展,用户倾向于在购物、旅游、用餐之前参考线上评论.之后,他们也会发表评论来表达自身意见.线上评论越来越具有价值.评论对用户决策的重要导向作用催生了虚假评论.虚假评论,指用户由于利益、个人偏见等因素发布的不符合产品真实特性的评论.这些虚假评论语言上模仿真实评论,消费者很难识别出来.国内外学者综合运用自然语言处理技术来研究虚假评论检测问题.从特征工程的角度分析,虚假评论检测方法可以分为三类：基于语言特征和行为特征的方法、基于图结构的方法、基于表示学习的方法.主要描述了检测的一般流程,归纳了三类研究方法常用的特征,比较了方法的优缺点,并且介绍了研究常用的数据集.最后探讨了未来研究方向.     

Spam Short Messages Detection via Mining Social Networks

Short message service(SMS) is now becoming an indispensable way of social communication,and the problem of mobile spam is getting increasingly serious.We propose a novel approach for spam messages detection.Instead of conventional methods that focus on keywords or flow rate filtering,our system is based on mining under a more robust structure:the social network constructed with SMS.Several features,including static features,dynamic features and graph features,are proposed for describing activities of nodes in the network in various ways.Experimental results operated on real dataset prove the validity of our approach.     

Detection of cloaked web spam by using tag-based methods

Web spam attempts to influence search engine ranking algorithm in order to boost the rankings of specific web pages in search engine results. Cloaking is a widely adopted technique of concealing web spam by replying different content to search engines’ crawlers from that displayed in a web browser. Previous work on cloaking detection is mainly based on the differences in terms and/or links between multiple copies of a URL retrieved from web browser and search engine crawler perspectives. This work presents three methods of using difference in tags to determine whether a URL is cloaked. Since the tags of a web page generally do not change as frequently and significantly as the terms and links of the web page, tag-based cloaking detection methods can work more effectively than the term- or link-based methods. The proposed methods are tested with a dataset of URLs covering short-, medium- and long-term users’ interest. Experimental results indicate that the tag-based methods outperform term- or link-based methods in both precision and recall. Moreover, a Weka J4.8 classifier using a combination of term and tag features yields an accuracy rate of 90.48%.     

基于CNN的恶意Web请求检测技术

目前,基于卷积神经网络的Web恶意请求检测技术领域内只有针对URL部分进行恶意检测的研究,并且各研究对原始数据的数字化表示方法不同,这会造成检测效率和检测准确率较低。为提高卷积神经网络在Web恶意请求检测领域的性能,在现有工作的基础上将其他多个HTTP请求参数与URL合并,将数据集HTTP data set CSIC 2010和DEV_ACCESS作为原始数据,设计对比实验。首先采用6种数据数字向量化方法对字符串格式的原始输入进行处理;然后将其分别输入所设计的卷积神经网络,训练后可得到6个不同的模型,同时使用相同的训练数据集对经典算法HMM,SVM和RNN进行训练,得到对照组模型;最后在同一验证集上对9个模型进行评估。实验结果表明,采用多参数的Web恶意请求检测方法将词汇表映射与卷积神经网络内部嵌入层相结合对原始数据进行表示,可使卷积神经网络取得99.87%的准确率和98.92%的F1值。相比其他8个模型,所提方法在准确率上提升了0.4～7.7个百分点,在F1值上提升了0.3～13个百分点。实验充分说明,基于卷积神经网络的多参数Web恶意请求检测技术具有明显的优势,...     

网络钓鱼Web页面检测算法

网络钓鱼(Phishing)攻击在电子商务和电子金融中普遍存在。该文分析Phishing页面敏感特征,提出一种防御Phishing攻击的Web页面检测算法。该算法通过分析Web页面的文档对象模型来提取Phishing敏感特征,使用BP神经网络检测页面异常程度,利用线性分类器判断该页面是否为Phishing页面。该算法成功过滤了Phishing页面,有效地阻止了Phishing攻击。     

主题相似度与链接权重相结合的垃圾网页排序检测

针对因Web中存在由正常网页指向垃圾网页的链接,导致排序算法(Anti-TrustRank等)检测性能降低的问题,提出了一种主题相似度和链接权重相结合,共同调节网页非信任值传播的排序算法,即主题链接非信任排序(TLDR)。首先,运用隐含狄利克雷分配(LDA)模型得到所有网页的主题分布,并计算相互链接网页间的主题相似度;其次,根据Web图计算链接权重,并与主题相似度结合,得到主题链接权重矩阵;然后,利用主题链接权重调节非信任值传播,改进Anti-TrustRank和加权非信任值排序(WATR)算法,使网页得到更合理的非信任值;最后,将所有网页的非信任值进行排序,通过划分阈值检测出垃圾网页。在数据集WEBSPAM-UK2007上进行的实验结果表明,与Anti-TrustRank和WATR相比,TLDR的SpamFactor分别提高了45%和23.7%,F1-measure(阈值取600)分别提高了3.4个百分点和0.5个百分点, spam比例(前三个桶)分别提高了15个百分点和10个百分点。因此,主题与链接权重相结合的TLDR算法能有效提高垃圾网页检测性能。