面向专利文献的中文分词技术的研究

针对专利文献的特点,该文提出了一种基于统计和规则相结合的多策略分词方法。该方法利用文献中潜在的切分标记,结合切分文本的上下文信息进行最大概率分词,并利用术语前后缀规律进行后处理。该方法充分利用了从大规模语料中获取的全局信息和切分文本的上下文信息,有效地解决了专利分词中未登录词难以识别问题。实验结果表明,该文方法在封闭和开放测试下分别取得了较好的结果,对未登录词的识别也有很好的效果。     

融合多种特征的恶意URL检测方法

随着Web应用的日益广泛,Web浏览过程中,恶意网页对用户造成的危害日趋严重.恶意URL是指其所对应的网页中含有对用户造成危害的恶意代码,会利用浏览器或插件存在的漏洞攻击用户,导致浏览器自动下载恶意软件.基于对大量存活恶意URL特征的统计分析,并重点结合了恶意URL的重定向跳转、客户端环境探测等逃避检测特征,从页面内容、JavaScript函数参数和Web会话流程这3个方面设计了25个特征,提出了基于多特征融合和机器学习的恶意URL检测方法——HADMW.测试结果表明：该方法取得了96.2%的精确率和94.6%的召回率,能够有效地检测恶意URL.与开源项目以及安全软件的检测结果相比,HADMW取得了更好的效果.     

基于威胁情报平台的恶意URL检测研究

互联网应用已经渗透到人们日常生活的方方面面,恶意URL防不胜防,给人们的财产和隐私带来了严重威胁。当前主流的防御方法主要依靠黑名单机制, 难以检测 黑名单以外的URL。因此,引入机器学习来优化恶意URL检测是一个主要的研究方向,但其主要受限于URL的短文本特性,导致提取的特征单一,从而使得检测效果较差。针对上述挑战,设计了一个基于威胁情报平台的恶意URL检测系统。该系统针对URL字符串提取了结构特征、情报特征和敏感词特征3类特征来训练分类器,然后采用多分类器投票机制来判断类别,并实现威胁情报的自动更新。实验结果表明,该方法对恶意URL进行检测 的准确率 达到了96%以上。     

基于AN和LSTM的恶意域名检测

目前,恶意域名被广泛应用于远控木马、钓鱼欺诈等网络攻击中,传统恶意域名检测方法存在长距离依赖性问题,容易忽略上下文信息并且数据维度过大,无法高效、准确地检测恶意域名。提出了一种自编码网络（Autoencoder Network,AN）降维和长短期记忆神经网络（Long Short-Term Memory network,LSTM）检测恶意域名的深度学习方法。利用实现包含语义的词向量表示,解决了传统方法导致的数据表示稀疏及维度灾难问题。由word2vec构建词向量作为LSTM的输入,利用Attention机制对LSTM输入与输出之间的相关性进行重要度排序,获取文本整体特征,最后将局部特征与整体特征进行特征融合,使用softmax分类器输出分类结果。实验结果表明,该方法在恶意域名检测上具有较好的表现,比传统检测恶意域名方法具有更高的检测率和实时性。     

Tri-BERT-SENet:融合多特征的恶意网页识别

传统恶意网页识别缺乏全局性、系统性考量，没有将网页作为有机整体，而是独立针对标签结构、URL地址、文本内容等特定层面特征开展研究，导致准确率较低.虽然已有学者提出融合特征思想，但依旧使用机器学习算法予以实现，特征工程工作量巨大，识别效率低下.针对上述问题，提出一种基于多特征融合的Tri-BERT-SENet模型，用于完成恶意网页的识别任务.利用获取得到的HTML特征、网页URL特征以及网页文本特征，结合BERT模型的上下文感知能力，将特征转化为3个BERT模型输出；之后将模型输出作为特征通道，使用SENet进行加权计算，最终输出识别结果.实验结果表明，与传统机器学习模型以及使用BERT对单一特征的识别方法相比，该检测方法在恶意网页识别的准确率上有较大提升.     

一种基于提取上下文信息的分词算法

汉语分词在汉语文本处理过程中是一个特殊而重要的组成部分。传统的基于词典的分词算法存在很大的缺陷,无法对未登录词进行很好的处理。基于概率的算法只考虑了训练集语料的概率模型,对于不同领域的文本的处理不尽如人意。文章提出一种基于上下文信息提取的概率分词算法,能够将切分文本的上下文信息加入到分词概率模型中,以指导文本的切分。这种切分算法结合经典n元模型以及EM算法,在封闭和开放测试环境中分别取得了比较好的效果。     

汉语分词中上文和下文重要性比较

上下文是统计语言学中获取语言知识和解决自然语言处理中多种实际应用问题必须依靠的资源和基础。近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,当前字的词位标注需要借助于该字的上下文来确定。为克服仅凭主观经验给出猜测结果的不足,采用四词位标注集,使用条件随机场模型研究了词位标注汉语分词中上文和下文对分词性能的贡献情况,在国际汉语分词评测Bakeoff2005的PKU和MSRA两种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验,结果表明,下文对分词性能的贡献比上文的贡献高出13个百分点以上。     

网页内容链接层次语义树的恶意网页检测方法

针对攻击者利用URL缩短服务导致仅依赖于URL特征的恶意网页检测失效的问题,及恶意网页检测中恶意与良性网页高度不均衡的问题,提出一种融合网页内容层次语义树特征的成本敏感学习的恶意网页检测方法。该方法通过构建网页内容链接层次语义树,提取基于语义树的特征,解决了URL缩短服务导致特征失效的问题;并通过构建成本敏感学习的检测模型,解决了数据类别不均衡的问题。实验结果表明,与现有的方法相比,提出的方法不仅能应对缩短服务的问题,还能在类别不均衡的恶意网页检测任务中表现出较低的漏报率2.1%和误报率3.3%。此外,在25万条无标签数据集上,该方法比反病毒工具VirusTotal的查全率提升了38.2%。     

基于图注意力网络的突发事件触发词抽取

针对目前突发事件触发词抽取方法存在由于分词引起的误差传递而导致触发词提取不准确的问题，提出基于图注意力网络的突发事件触发词抽取模型（ETEGAN）。ETEGAN首先使用Word2vec和BERT预训练语言模型对文本序列进行向量化，将获取到的向量表示与动态词向量相结合，使用双向门控循环单元BiGRU提取上下文特征，并利用图注意力网络GAT提取文本特征，调整重要特征的权重，突出重要词对事件触发词抽取的贡献。实验结果表明，本文模型有效地提高了突发事件触发词识别准确率。     

基于Transformer和多特征融合的DGA域名检测方法

针对域名生成算法生成的恶意域名隐蔽性高，现有方法在恶意域名检测上准确率不高的问题，提出一种基于Transformer和多特征融合的DGA域名检测方法。该方法使用Transformer编码器捕获域名字符的全局信息，通过并行深度卷积神经网络获取不同粒度的长距离上下文特征，同时引入双向长短期记忆网络BiLSTM和自注意力机制Self-Attention结合浅层CNN得到浅层时空特征，融合长距离上下文特征和浅层时空特征进行DGA域名检测。实验结果表明，所提方法在恶意域名检测方法上有更好的性能。相对于CNN、LSTM、L-PCAL和SW-DRN,所提方法在二分类实验中准确率分别提升了1.72%,1.10%,0.75%和0.34%;在多分类实验中准确率分别提升了1.75%,1.29%,0.88%和0.83%。