马尔可夫及隐马尔可夫模型在数据挖掘中的应用

随着用户对于数据挖掘的精确度与准确度要求的日益提高,马尔可夫模型与隐马尔可夫模型被广泛用于数据挖掘领域。本文阐述了马尔可夫模型和隐马尔可夫模型数据挖掘领域的应用,以及隐马尔可夫模型可解决的问题,以供其他研究者借鉴。     

马尔可夫及隐马尔可夫模型在数据挖掘中的应用

随着用户对于数据挖掘的精确度与准确度要求的日益提高,马尔可夫模型与隐马尔可夫模型被广泛用于数据挖掘领域。本文阐述了马尔可夫模型和隐马尔可夫模型数据挖掘领域的应用,以及隐马尔可夫模型可解决的问题,以供其他研究者借鉴。     

HMM在自然语言处理领域中的应用研究

隐马尔可夫模型（HMM）是一种强大的统计学机器学习技术,该模型已经成功地应用于连续语音识别、在线手写识别,在生物学信息中也得到了广泛的应用。由于该模型的强大的学习能力,在自然语言处理领域逐渐得到了应用。对隐马尔可夫模型在词性标注、命名实体识别、信息抽取应用中的关键问题进行了分析。着重分析了在信息抽取时使用隐马尔可夫模型的重点和难点问题,期望让更多的研究人员进一步认识和了解HMM。最后分析了隐马尔可夫模型在应用中的不足之处和改进研究。     

HMM在自然语言处理领域中的应用研究

隐马尔可夫模型（HMM）是一种强大的统计学机器学习技术,该模型已经成功地应用于连续语音识别、在线手写识别,在生物学信息中也得到了广泛的应用。由于该模型的强大的学习能力,在自然语言处理领域逐渐得到了应用。对隐马尔可夫模型在词性标注、命名实体识别、信息抽取应用中的关键问题进行了分析。着重分析了在信息抽取时使用隐马尔可夫模型的重点和难点问题,期望让更多的研究人员进一步认识和了解HMM。最后分析了隐马尔可夫模型在应用中的不足之处和改进研究。     

基于隐马尔可夫模型的音频自动分类

音频的自动分类,尤其是语音和音乐的分类,是提取音频结构和内容语义的重要手段之一,它在基于内容的音频检索、视频的检索和摘要以及语音文档检索等领域都有重大的应用价值.由于隐马尔可夫模型能够很好地刻画音频信号的时间统计特性,因此,提出一种基于隐马尔可夫模型的音频分类算法,用于语音、音乐以及它们的混合声音的分类.实验结果表明,隐马尔可夫模型的音频分类性能较好,最优分类精度达到90.28%.     

基于隐马尔可夫模型在股票择时上的应用与研究

隐马尔可夫模型(HMM)是由马尔可夫过程衍生出的概率图模型,常被用于语音模式识别、生物基因序列标记、金融时间序列预测等.主要是验证隐马尔可夫模型在量化金融领域的应用可行性.选取上证指数(上海证券交易所全部上市股票,包括A股和B股,反映了上海证券交易所上市股票价格的变动情况),指数在2000年到2004年这个时间段的数据并进行特征选取,通过实验对隐马尔可夫模型的预测结果与实际结果进行对比,发现隐马尔可夫模型能够更好地识别金融市场的状态,预测金融市场的走向,从而验证其在我国金融市场的应用可行性.     

隐马尔可夫模型及其在自然语言处理中的应用

基于隐马尔可夫模型(HMM)对汉语文本进行了词性标注,首先介绍隐马尔可夫模型的基本概念,然后着重介绍了隐马尔可夫模型的三个基本问题以及解决问题的基本算法,最后演示了隐马尔可夫模型在词性标注中的简单应用.     

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型是序列数据处理和统计学习的一种重要概率模型,最近几年已经被成功应用到许多关于自然语言处理的任务中.简要介绍了隐马尔可夫模型,对其在词性标注应用中的难点、模型的建立,Viterbi算法等问题进行了详细论述,给出了基于隐马尔可夫模型的中文科研论文头部信息抽取过程以及模型结构的学习和参数的训练等关键问题的解决办法.     

HMM模型在语音识别研究中的应用

语音识别是人工智能最基础性课题,该课题研究者通过对隐马尔可夫模型这一数学模型的扩领域应用,解决了声学、语言学、句法等统计知识相关性问题。文章系统阐述了隐马尔可夫模型原理以及在语音识别中的应用过程,从而为更多研究者了解和认识。     

数据库自然语言接口研究

使用自然语言对数据库进行操作,有利于数据库技术的进一步推广应用。本文首先对语音识别的主要技术隐马尔可夫模型进行了综述,对数据库操作的词法和语义进行了研究,分析给出了基本的操作语句框架。     

文本摘要模型的研究进展

随着互联网产生的文本数据越来越多,文本信息过载问题日益严重,对各类文本进行一个“降维”处理显得非常必要,文本摘要便是其中一个重要的手段,也是人工智能领域研究的热点和难点之一。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。近年来语言模型的预处理提高了许多自然语言处理任务的技术水平,包括情感分析、问答、自然语言推理、命名实体识别和文本相似性、文本摘要。本文梳理文本摘要以往的经典方法和近几年的基于预训练的文本摘要方法,并对文本摘要的数据集以及评价方法进行整理,最后总结文本摘要目前面临的挑战与发展趋势。     

视觉问答语言处理方法综述

视觉问答中的语言处理方法对视觉问答模型的性能影响巨大。语言处理方法源于自然语言处理,但在发展过程中与自然语言处理领域最先进技术脱节,导致视觉问答中涉及的问题理解和答案生成受阻。产生这一问题的根源主观上是研究人员对语言处理方法的重要性认识不足,客观上则是相关研究文献的匮乏。针对上述问题,通过分析语言处理对视觉问答的价值,调查视觉问答中涉及到的语言处理方法和最新研究成果,归纳总结语言处理方法的类型,从而为研究人员认识语言处理重要性提供基础;探讨了自然语言处理技术对视觉问答中语言处理方法的推动作用,并展望了语言处理方法未来的发展方向。     

基于长短时神经网络的古汉语分词系统

在自然语言处理领域,分词是非拉丁语系语言处理的首要任务。而在中文自然语言处理中,常见的是针对现代汉语进行分词处理,对古汉语涉及得较少。针对这一问题,设计针对古汉语的分词系统。系统采用流行的深度学习方法,对中文首先进行分词,采用长短时神经网络LSTM提取序列特征;之后采用Softmax进行分类,设计针对古汉语分词的长短时神经网络。在测试中取得了理想的预期,基本可以满足设计需求。该系统一方面提高了教学的效率,降低了古汉语断句的难点;另一方面,在一定程度上提升了学习的兴趣。     

面向自然语言处理的预训练技术研究综述

近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。     

统计与规则相结合的维吾尔语人名识别方法

命名实体识别（Named entity recognition,NER）是自然语言处理（Natural language processing,NLP）中重要的任务,其中人名实体是主要的识别对象之一.本文从维吾尔语黏着性特点出发,从词干、音节、字符串三个角度对维吾尔语单词进行拆分,获得更小的语言单元,并把切分的新单元作为特征加入到条件随机场（Conditional random field,CRF）中,明显缓解了数据稀疏的影响,取得了比以单词为基本单元的人名识别方法更好的性能.同时还从维吾尔语中汉族人名的特点出发,提出了基于规则的维吾尔语中汉族人名的识别方法,最终利用统计和规则相结合的方法进一步提高了识别的准确率.实验结果表明,该方法人名识别的准确率、召回率和F1值分别达到了87.47%、89.12%和88.29%.     

ESM:一种增强语义匹配的语句评分模型

语义匹配问题是自然语言处理的核心问题之一。基于语义的匹配,即通过提取文本内在语义进行匹配度计算,是目前自然语言处理领域研究的热点。传统的语义匹配模型并没有结合语句通顺度等多种要素综合评价,因此效果较差。提出一种增强语义匹配模型,模型在文本相似度计算的基础上,增加通顺度因子,并通过大量数据来调整最优参数。通过自动阅卷系统进行测试,对比3种常用的自动阅卷评分模型验证该模型能有效降低平均误差值。     

自然语言实时交通信息与位置信息的融合方法

实时交通信息在交通诱导中有着重要的作用,然而与之不相适应的是大量的实时语言交通信息没得到有效应用。针对这一问题,分析了自然语言交通信息的表达特点,得出了自然语言交通信息中地理位置的表达方式,提出了针对自然语言交通信息的最大匹配分词算法;提出了自然语言交通信息与位置信息的匹配融合方法,并通过实例对该方法进行了测试,结果表明,该方法能对自然语言交通信息与交通网络进行有效的融合。     

关于数独问题的算法的设计与实现

数独问题(Sudoku)是十八世纪瑞士数学家欧拉提出的、近年来风靡全球的一种智力游戏.本文通过分析数据结构、函数、以及“有限递推“预处理算法和回溯算法,深入探讨了数独问题的解决方案,并给出了该方案的具体实现.     

基于知觉加工模式的发展式分词算法

分词是自然语言理解的一个重要过程,由于语言问题又是最重要的心理学问题之一,所以从认知心理学和发展心理学的观点出发,将分词问题看成是知觉问题在语言信息处理过程中的一部分,把知觉表达和知觉的双向加工过程引入对分词问题的分析,并同时考虑言语发展的心理过程,把对言语发展规律的归纳作为构造学习算法的基础和模板,以进化的方式来逐步改进自然语言理解系统的性能,从而避免知识获取瓶颈在自然语言理解问题中的出现。     

基于限定中文自然语言需求的SysML模型自动生成方法

模型驱动开发方法逐渐成为安全关键信息物理融合系统(safety-critical cyber-physical system,SC-CPS)设计与开发的重要手段.然而,安全关键信息物理融合系统需求往往是通过自然语言描述的,如何自动化或半自动化链接自然语言需求和基于模型驱动的系统设计与开发过程是目前面临的重要挑战.面向安全关键信息物理融合系统,提出基于限定中文自然语言需求的SysML模型自动生成方法RNL2SysML.首先,为了降低自然语言需求表达的二义性,提出一种结构化的限定自然语言需求模板进行需求规约,并通过基于人工智能的(AI)安全关键信息物理融合系统术语提取和推荐方法,对系统需求中的领域术语和数据字典加以自动提取,提高限定自然语言需求规约工作的自动化程度.然后,给出限定自然语言需求规约到SysML系统设计模型的转换方法.最后,基于开源工具Papyrus对所提方法进行了原型工具实现,并通过航空领域的飞机空气增压系统(airplane air compressor system)案例验证了方法的有效性和实用性.