利用词性信息改进Katz平滑算法

对已有的N-gram平滑算法进行了系统地分析,分别实现了Absolute、W-B和Katz平滑算法.为解决传统Katz平滑算法在处理某些汉语固定搭配时无法进行概率折扣的问题,利用词性信息构造了新的折扣系数.新的折扣系数使词频越大,折扣越小,后接词越多,折扣越大,满足平滑算法对折扣系数的期望.试验结果表明:新的Katz平滑算法降低了N-gram模型的交叉熵,在汉语分词中应用改进的平滑算法也提高了分词结果的F量度.     

A new linguistic decoding method for online handwritten Chinese character recognition

This paper presents a new linguistic decoding method for online hadwritten Chinese character recognition.The method employs a hybrid language model which combines N-gram and linguistic rules by rule quantification technique,The linguistic decoding algorithm consists of three stages:word lattice construction,the optimal sentence hypothesis search and self-adaptive learning mechanism.The technique has been applied to palmtop computer‘s online handwritten chinese character recognition.Samples containing millions of characters were used to test the acter recognition,Samples containing millions of characters were used to test the linguistic decoder.In the open experiment,accuracy rate up to 92% is acieved.and the error rate is reduced by 68%.     

基于系统调用序列学习的内核模糊测试

操作系统内核是计算机系统中最基本的软件组件, 它控制和管理计算机硬件资源, 并提供访问和管理其他应用程序所需的接口和服务. 操作系统内核的安全性直接影响整个计算机系统的稳定性和可靠性. 内核模糊测试是一种高效、准确的安全漏洞检测方法. 然而目前内核模糊测试工作中, 存在系统调用间关系的计算开销过大且容易误判, 以及系统调用序列构造方式缺乏合理能量分配以至于很难探索低频系统调用的问题. 本文提出以N-gram模型学习系统调用间关系, 根据系统调用的出现频次信息和TF-IDF信息优先探索出现频次低或者TF-IDF值高的系统调用. 我们以极低的开销, 在Linux 4.19和5.19版本的24 h实验中分别提升了15.8%、14.7%的覆盖率. 此外, 我们挖掘到了一个已知CVE (CVE-2022-3524)、8个新崩溃, 其中一个获得了CNNVD编号(CNNVD-2023-84723975).     

基于N-gram的Android恶意检测

随着Android系统的广泛应用,Android平台下的恶意应用层出不穷,并且恶意应用躲避现有检测工具的手段也越来越复杂,亟需更有效的检测技术来分析恶意行为。文中提出并设计了一种基于N-gram的静态恶意检测模型,该模型通过逆向手段反编译Android APK文件,利用N-gram技术在字节码上提取特征,以此避免传统检测中专家知识的依赖。同时,该模型使用深度置信网络,能够快速而准确地学习训练。通过对1267个恶意样本和1200个善意样本进行测试,结果显示模型整体的检测准确率最高可以达到98.34%。实验进一步比较了该模型和其他算法的检测结果,并对比了相关工作的检测效果,结果表明该模型有更好的准确率和鲁棒性。     

基于N元模型的维吾尔文文本分类技术研究

考虑到维吾尔文词干提取、词性标注等工具不够成熟和相关的开源资源很少的实际情况,提出了基于N元模型的维吾尔文文本分类技术.其特点是不需要任何自然语言处理工具,拼写错误率对分类结果的影响很低.在训练阶段分别提取字符级别的三元和四元模型构造不同规模的N元词典,在分类测试阶段分别用曼哈顿距离计算和骰子测量对文本进行分类.实验结果表明,当四元模型词典的规模为500时,使用骰子测量分类时性能最佳,平准准确率达到86.56％.     

基于HMM的汉语整句拼音输入法研究

介绍了一种基于HMM的汉语整句拼音输入转换为整句汉字的输入法,提出了引入语言知识后的一种音字选择方法.并给出了采用N元拼音文法时的选择模型.实验表明,该方法取得了较好的效果.     

基于N-gram语言模型的哈萨克文机构名识别

针对哈萨克文文本中机构名构成特点,提出了一种基于N-gram语言模型的哈萨克文机构名可信度计算方法,并以机构名尾词为触发词,构建了一个哈萨克文机构名识别系统。系统分为训练和识别两个模块,识别过程是：首先从训练语料中提取特征进行训练,得到一个特征训练模型,然后利用训练好的特征模型及少量的附加规则,对测试文本中的机构名进行识别,实验结果表明该方法可行。     

语料资源缺乏的连续语音识别方法的研究

由于少数民族语言有其本身的特点, 不能简单地套用现有的连续语音识别的方法. 本文以蒙古语为例, 研讨了声学和语言模型的建立, 并在日本国际电气通信基础技术研究所的连续语音识别器上实现了蒙古语的语音识别系统. 本文侧重于语言模型的建立, 基于蒙古语黏着性语言特点, 提出用相似词聚类方法建立多类N-gram模型. 实验结果显示, 应用我们提出的语言模型, 识别精度比用传统的词的N-gram识别法提高了5.5%.     

面向股票新闻的情感分类方法

互联网新闻资讯对证券市场和投资者有举足轻重的影响,新闻进行情感分类后再展示给用户,可以帮助投资者迅速做出投资决定.从文本分类的基本方法出发,实现了基于N-gram 统计模型的新词发现方法,并将所得结果用于构建中文分词词典和情感词典.同时引入评价理论,并用朴素贝叶斯、K 近邻和支持向量机3 种方法进行股票新闻标题的情感分类实验.所用实验数据来自2009 年“新浪财经”共计23 万余条的新闻标题,结果表明二分类的准确率最高可达82.9%.此外,还实现了一个原型系统用于展示股票新闻的分类结果.     

基于购物网站用户搜索日志的商品词发现

商品词是电子商务领域描述商品的新词。主要介绍基于购物网站用户搜索日志的商品词发现的方法。该方法从搜索日志中提取用户查询,对查询进行分词,采用N元递增分步算法和串频统计,计算候选串的条件概率,选择候选商品词。为了降低人工审核的成本,只对产出商品词的准确率进行评价。利用该方法在手机、面霜和香水三类商品的搜索日志上进行了实验,最高准确率达到92.58%。