Hadoop平台下实现文本分类的优化算法

目前如何对互联网上的海量数据进行文本分类已经成为一个重要的研究方向,随着云计算技术和Hadoop平台的逐步发展,文本分类的并行化方式将能够更有效的解决当前的问题.论文针对文本分类中特征选择阶段对文本分类性能有很大影响的缺点,提出了一种改进的特征选择算法——类别相关度算法(Class Correlation Algorithm,CCA),同时根据Hadoop平台在海量数据存储和处理方面所具有的优点,利用MapReduce的并行编程框架和HDFS分布式存储系统对文本分类的各个阶段实现了并行化编程.最后通过实验将Hadoop平台下的文本分类的优化算法与传统的单机运行环境下的文本分类算法进行了对比分析,实验结果表明对于相同的数据集,该算法在运算时间上有极大的提高.     

基于预训练模型的关系抽取研究综述

近年来随着深度学习技术的不断革新,预训练模型在自然语言处理中的应用也越来越广泛,关系抽取不再是单纯地依赖传统的流水线方法。预训练语言模型的发展已经极大地推动了关系抽取的相关研究,在很多领域已经超越了传统方法。首先简要介绍关系抽取的发展与经典预训练模型;其次总结当下常用的数据集与评测方法,并分析模型在各数据集上的表现;最后探讨关系抽取发展的挑战与未来研究趋势。     

基于学习风格的个性化自适应资源推荐算法研究

个性化自适应资源推荐是以学习者为中心、以人工智能和大数据技术为基础,模拟人类思维进行学习资源推荐的过程。论文在分析学习者和资源学习风格的基础上,分别构建学习者模型和资源模型,运用基于学习风格过滤推荐算法、协同过滤推荐算法、关联规则推荐算法,展开个性化自适应资源推荐研究。研究结果表明,以学习风格为基础的混合式自适应推荐的结果,更贴合学习者的个性化学习需求。     

面向买卖合同的词汇增强细粒度实体识别

对于合同文本中当事人信息、合同基本信息、合同条款等细粒度实体的正确提取,可以有效提升合同的审查效率,为智能合同管理赋能。然而现有的实体识别方法,难以解决合同文本中实体类型复杂和合同实体细化的问题。因此,该文提出一种新的基于词汇增强的细粒度实体识别模型BLBC-CFER,该方法通过对预训练语言模型提供的字级增强、字加词嵌入提供的词级增强以及词汇集合结构提供的词级增强进行融合并嵌入到模型输入中,然后采用深度神经网络获取最优标记序列。该文在自行构建的买卖合同细粒度实体语料集和两个不同领域的公开数据集上进行实验。实验结果表明,该方法不仅可以有效地完成合同文本的细粒度实体识别任务,而且具有较好的鲁棒性,效果优于基线模型。     

基于知网的词语语义相似度改进算法研究

词语语义相似度计算在很多自然语言处理相关领域都有着广泛应用.基于知网的现有词语语义相似度计算方法未深入考虑同棵义原层次树的义原距离、义原深度、义原密度及主次关系的影响,致使相似度计算结果并不够精确.针对该问题,提出一种词语语义相似度改进算法,通过分析知网中的义项表达式和义原层次树,用集合的加权平均值代替了义项相似度最大...     

基于深度学习的合同分类及要素抽取模型

合同文本的智能化处理已成为企业信息化的一个重要需求。针对合同文本存在的凌乱、碎片化和无规则的问题,本文提出了基于深度学习的合同分类模型及要素抽取模型。合同分类从标题分类和文本分类两个方向展开研究,提出了基于注意力机制的BiLSTM模型进行标题分类,基于改进的HAN深度学习模型进行文本分类,有效地提升了文本分类的准确性;针对存在的合同信息难以抽取的问题,提出基于BiLSTM-CRF深度学习模型识别合同要素,以准确获取合同要素信息。实验表明,本文提出模型能够很好地应用在合同文本处理中,能够提升分类和要素抽取的性能。     

一种在MapReduce下实现的KNN改进算法

在文本分类过程中,经典的最近邻分类算法(KNN)面对海量数据时的执行时间较长.对经典KNN算法进行改进,通过在训练阶段构造初级分类器以减少训练阶段的计算量,并在Hadoop平台MapReduce下予以实现.实验结果表明,改进后的算法可以在保证分类精度的情况下节省运行时间.     

生物文本中蛋白质名称的识别

随着基因和蛋白质序列的发布和分子生物学研究的发展,其相关的数据呈指数级增长,因此如何从海量的相关文献中直接获取生物学家研究领域的相关信息变得迫在眉睫,识别生物文献中的命名实体如蛋白质、基因、脱氧核糖核酸名称等成为生物信息学中信息抽取的最基本任务。介绍了国际同类研究中生物命名实体识别的各种方法,重点介绍了蛋白质名称识别的相关方法、所用资源、实验结果及与国际同类研究的比较结果。     

基于元学习策略的分类器融合方法及应用

提出了基于元学习策略的分类器融合的新模型,使用了两类元学习策略将4种分类算法即Generalized Winnow算法、支持向量机算法、条件随机域算法和最大熵算法进行融合,并根据具体领域的应用任务和分类器特点选择了有效特征信息,在面向生物医学文本命名实体识别的应用中取得了较高识别精度。实验结果表明基于元学习策略的分类器融合方法明显优于单分类器方法,并且也优于基于判别规则的分类器融合方法。