导盲系统的设计及实现

目前多数的视力患者通过使用盲人杖来辅助独立行走,但盲人杖的功能单一,且存在诸多安全隐患,针对以上问题文中提出的导盲系统在普通盲人手杖的基础上,利用红外测距原理,识别周围是否有物体,利用语音播报模块发出语音信号提示,利用温度传感器感应盲人手心位置温度变化辅助盲人找回导盲杖,通过GPS定位系统,有效地防止盲人走失,实现对盲...     

基于阅读理解智能问答的RPR融合模型研究

基于阅读理解的智能问答是指同人类一样首先让模型阅读理解相关文本,然后根据模型获取的文本信息来回答对应问题。预训练模型RoBERTa-wwm-ext使用抽取原文片段作为问题的回答,但这种方法遇到原文中不存在的答案片段或需要对原文总结后回复这两种情况时不能很好解决,而使用预训练模型进行生成式模型训练,这种生成式回复在一定程度上解决了需要总结原文才能回答的问题。因此,改进了只采用RoBERTa-wwm-ext模型进行抽取答案的方式,在此基础上融合了基于RAG模型的生成式问答模型,用于回答RoBERTa-wwm-ext等抽取式模型无法处理的问题。同时,吸取了PGN模型的优点,对RAG模型进行改进得到RPGN子模型,可以更好地利用阅读理解的文章生成合理的答案。由此,提出RPR(RAG、PGN、RoBERTa-wwm-ext)的融合模型,用于同时处理抽取式问题任务和生成式问答任务。     

一种盲人识字辅助装置的实现方法

本文介绍了一种盲人识字辅助装置的实现方法。盲人对于文字和图像的获取途径来自于触觉,同时,在识字的过程还需要语音提示来辅助,说明所触摸文字的含义。本系统能完成上述功能,系统由盲人显示器、智能语音发声装置、SD卡存储等模块组成。其中,盲人显示器是系统的核心组成部件,通过二维运动控制等手段,在有字迹的像素点处放置颗粒物,从而形成突起,供盲人触摸识别文字或图像。本系统对于盲人识字及认知图像有着重大意义。     

基于Honeywell PKS的语音报警软件设计

随着油气田行业自动化水平的普及,美国Honeywell公司的PKS软件得到了广泛的应用。但它是一套成熟的软件,有时无法满足用户特殊的功能需求。语音报警软件作为PKS软件的辅助软件,可协助PKS软件实现更多的功能,包括数据异常分析判断、自定义语音及文字报警、报警点信息维护记录日志、定时语音播报、报警信息的查询和统计等等。     

基于文本感知和非重复单词生成的图像语义理解

在描述图像时，阅读视觉场景中的文本对于理解关键信息至关重要。传统的视觉语言预训练任务都无法指导模型关注图像中的文本信息，以及图像中的文本信息和图像内容的关系。针对此问题，提出基于图像文本信息的预训练任务，包括掩模语言建模（MLM）、图像-文本匹配（ITM）以及相对空间位置预测（RPP）。在解码过程中，为解决生成语句冗余问题，提出重复掩码模块，以避免预测语句中出现重复的单词。最后在Textcaps数据集上的实验结果表明，所提的方法可以有效地提高生成描述语句的准确率。     

机器阅读理解式中文事件抽取方法

事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先验信息。提出一种基于预训练模型的机器阅读理解式中文事件抽取方法（Chinese event extraction by machine reading comprehension,CEEMRC）,将中文事件抽取简化为两个问答模型的级联。首先对事件触发词抽取、事件类型判定、属性抽取构建相应的问答任务问题。以RoBERTa为基础构建触发词抽取和事件类型识别联合模型、事件属性抽取两个问答模型,并融入触发词先验特征、分词信息、触发词相对位置等信息来提升模型效果。最后以模型预测回答的起始和结束位置完成所需的抽取。实验使用DuEE中文事件数据集,触发词抽取和属性抽取的F1值均优于同类方法,验证了该方法的有效性。     

基于会话式机器阅读理解模型的事件抽取方法

事件抽取旨在从海量的非结构化文本中自动提取出结构化描述信息,以帮助人们快速地了解事件的最新发展动态。传统的事件抽取方法主要采用分类或者序列标注的方法,其依赖于大量的标注数据来训练模型。近年来,研究者提出了利用机器阅读理解模型来进行事件抽取的方法,通过任务转换并联合利用机器阅读理解任务中的标注数据进行训练来缓解标注数据的不足。然而现有方法局限于单轮问答,问答对之间缺少依赖关系;此外,已有方法也未充分利用句子中的实体信息等知识。针对以上不足,提出了一种会话式机器阅读理解框架用于事件抽取,针对已有方法进行了两方面的扩展：首先,通过在句子中显式地增加实体标记信息,使得模型能够有效地学习到输入句子中的实体知识;其次,设计了历史会话信息编码模块,并结合注意力机制从历史会话中筛选出重要信息,融合到阅读理解模型中以辅助推断。最后,在公开数据集上的实验结果表明所提模型相比已有方法取得了更优的结果。     

基于Prompt学习的无监督关系抽取模型

无监督关系抽取旨在从无标签的自然语言文本中抽取实体之间的语义关系。目前，基于变分自编码器（VAE）架构的无监督关系抽取模型通过重构损失提供监督信号来训练模型，这为完成无监督关系抽取任务提供了新思路。针对此类模型无法有效地理解上下文信息、依赖数据集归纳偏置的问题，提出基于Prompt学习的无监督关系抽取（PURE）模型，其中包括关系抽取和链接预测两个模块。在关系抽取模块中设计了上下文感知的Prompt模板函数以融入上下文信息，并将无监督关系抽取任务转换为掩码预测任务，从而充分利用预训练阶段获得的知识完成关系抽取。在链接预测模块中则通过预测关系三元组中的缺失实体提供监督信号联合训练两个模块。在两个公开真实关系抽取数据集上进行了大量实验，得到的结果表明PURE模型能有效利用上下文信息并且不依赖数据集归纳偏置，相较于目前最优的基于VAE架构的模型UREVA(Variational Autoencoder-based Unsupervised Relation Extraction model)在NYT数据集上的B-cubed F1指标上提升了3.3个百分点。     

基于带注意力机制CNN的联合知识表示模型

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。     

基于序列标注的漏洞信息结构化抽取方法

从漏洞信息当中抽取结构化信息对于安全研究而言有重要意义。安全研究者常需要在大规模的CVE数据中按特定要求进行筛选,或对漏洞进行自动化的分析测试。然而现有的CVE数据库中只包含了非结构化的文本描述和并不完备的辅助信息。从描述文本抽取结构化的信息能帮助研究者更好地组织与分析CVE。总结漏洞描述包含的七种核心要素,为结构化抽取建立模型,并将信息抽取转换为一个序列标注模型,构建数据集对其进行训练。实验表明,该模型能够以较高的准确率从CVE文本中抽取出各类关键信息。     

基于跨模态对比学习的视觉问答主动学习方法

视觉自动问答技术是一个新兴的多模态学习任务,它联系了图像内容理解和文本语义推理,针对图像和问题给出对应的回答．该技术涉及多种模态交互,对视觉感知和文本语义学习有较高的要求,受到了广泛的关注．然而,视觉自动问答模型的训练对数据集的要求较高．它需要多种多样的问题模式和大量的相似场景不同答案的问题答案标注,以保证模型的鲁棒性和不同模态下的泛化能力．而标注视觉自动问答数据需要花费大量的人力物力,高昂的成本成为制约该领域发展的瓶颈．针对这个问题,本文提出了基于跨模态特征对比学习的视觉问答主动学习方法（CCRL）．该方法从尽可能覆盖更多的问题类型和尽可能获取更平衡的问题分布两方面出发,设计了视觉问题匹配评价（VQME）模块和视觉答案不确定度度量（VAUE）模块．视觉问题评价模块使用了互信息和对比预测编码作为自监督学习的约束,学习视觉模态和问题模式的匹配关系．视觉答案不确定性模块引入了标注状态学习模块,自适应地选择匹配的问题模式并学习跨模态问答语义关联,通过答案项的概率分布评估样本不确定度,寻找最有价值的未标注样本进行标注．在实验部分,本文在视觉问答数据集VQA-v2上将CCRL和其他最新的主动学习...     

基于知识图谱的项目文档智能管理与应用系统

针对企业现有招投标文档价值信息挖掘不足、文档知识难以应用等问题，设计一种基于知识图谱的招标项目文档智能管理系统。系统核心功能模块包括项目管理、模板管理、知识图谱和统计查询。项目管理和模板管理模块分别对项目文档进行分类管理和提供知识抽取模板。知识图谱模块实现文档知识抽取，并将抽取的知识与元数据构建知识图谱，实现文档的语义互联。对于文档知识抽取分别提出预训练模型结合规则配置的文字知识抽取模型和图片分类与光学字符识别融合的图片知识提取模型。统计查询模块基于构建的文档知识图谱实现多维统计分析、语义检索与智能问答等应用。该文档管理系统以智能化技术支持文档知识深度挖掘和反馈，能够实现文档价值充分利用。     

利用外部知识辅助和多步推理的选择题型机器阅读理解模型

选择题型机器阅读理解的答案候选项往往不是直接从文章中抽取的文本片段,而是对文章内容中相关片段的归纳总结、文本改写或知识推理,因此选择题型机器阅读理解的问题通常需要从给定的文本中甚至需要利用外部知识辅助进行答案推理.目前选择题型机器阅读理解模型大多数方法是采用深度学习方法,利用注意力机制对文章、问题和候选项这三者的信息进行细致交互,从而得到融合三者信息的表示进而用于答案的预测.这种方式只能利用给定的文本进行回答,缺乏融入外部知识辅助,因而无法处理需外部知识辅助推理的问题.为了解决需外部知识辅助推理的问题,本文提出了一个采用外部知识辅助多步推理的选择题型机器阅读理解模型,该模型首先利用注意力机制对文章、问题和候选项及与这三者相关的外部知识进行信息交互建模,然后采用多步推理机制对信息交互建模结果进行多步推理并预测答案.本文在2018年国际语义测评竞赛（SemEval）中任务11的数据集MCScript上进行对比实验,实验结果表明本文提出的方法有助于提高需要外部知识辅助的选择题型问题的准确率.     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

基于网页平台的移动文本编辑器的设计

超文本标识语言（HTML）是设计网页软件的基础工具,配合使用内嵌JavaScript语言实现多应用模块功能的设计。文本编辑器的框架结构主要应用CSS语言格式进行外观模块组合设计,四个功能模块构成软件整体框架外形,它们具有网页应用特点和标准的国际语言文本字符编辑操作应用功能。第三个模块部分是软件的最大容器空间,使用它盛装和处理文本字符,科学符号,数字等数据,包含网页文本工具集的第二模块部分和文本编辑操作命令的第四模块部分是网页应用服务的核心设计,这些模块的功能设计是HTML5和JS的组合程序设计。软件测试是以浏览器为平台,发布对应应用功能设计屏幕截图,以助描述网页应用和文本编辑的命令操作效果。     

复杂场景文本段识别

针对背景复杂或者存在字符黏连时文本段图片无法准确切分的情况进行了研究,提出了一种复杂场景文本段识别方法。该方法利用图像和文字序列的相关性设计双向递归神经网络对图像特征序列进行编码,然后设计集成的连接时间分类（CTC）和注意力（attention）模块对编码特征进行解码输出。该算法在多个数据集（公开数据集ICDAR2013和ICDAR2003以及验证码数据集）上进行测试,得到识别准确率分别为90.2%、87.4%和92.5%,从而证明了该算法的有效性。实验结果对文本段识别和应用有重要意义。     

基于搭载Linux平台Raspberry Pi 的导盲机器人 控制系统设计

中国盲人数量占全球盲人比例较大,而国内导盲犬昂贵且稀少,无法普及,提出一种适合于普通盲人的导盲机 器人,在于取代导盲犬,成为广大盲人群体都可以接受的廉价、实用并且便携的导盲工具。本导盲机器人使用搭载Linux （Debian 发行版）平台的Raspberry Pi 作为系统的中央处理单元,通过五个超声波距离传感器从盲人前进的不同角度收集周围 环境距离信息,在超声波传感器初步定位障碍物的基础上,通过摄像头采集图像数据进一步处理判断障碍物位置,融合两种判 断结果通过振动信号将障碍物位置和距离反馈给盲人。在实验环境下实现辅助盲人进行躲避障碍物的功能。     

融合图片主题信息的图片描述翻译

图片描述翻译是给定图片及图片在某一语言的描述,利用翻译技术为图片生成目标语言描述的任务。观察发现,不同图片表达的场景往往不同,对应的图片描述具有明显的主题差异性。因此,利用主题信息能够提升翻译效果。然而,图片描述的内容通常较短,无法有效反映其主题。针对该问题,该文提出了一种融合图片主题信息的图片描述翻译方法。对于任意的图片描述对,该方法首先借助相似图片检索技术从维基百科图片库中检索与源图片相似的目标图片,进而利用包含目标图片的文档学习源图片的主题表示。最终,利用训练集中所有图片描述对的主题表示重新学习并获取适应主题的翻译模型。实验结果表明,借助相似图片获取信息量更为丰富的描述文本,并利用文本的主题信息强化翻译模型的方法,能够提高现有统计机器翻译系统的性能,在WMT16测试集上进行的评测显示,翻译质量的BLEU值提升了0.74个百分点。     

基于CTPN和CRNN的中英文字识别

社会上流行的翻译软件已经具备了识别电子化文字的能力,但是这种软件在文字图片识别系统上还尚未完善。一些品牌的手机相册虽然有识别拷贝功能但存在识别率不高和文本要求严格等一些限制。通过深度学习的连接文本区域网络（CTPN）算法和卷积循环神经网络结构（CRNN）模型建立一个可以识别中英两种语言的系统,并嫁接到翻译软件中,使文字识别精确度中文达到97.34%,英文达到95.44%,逻辑语义顺序更加完善。     

基于混合式注意力机制的语音识别研究

为了解决语音识别中基于卷积位置信息的混合式注意力机制无法提取长期有效位置信息的问题,提出了一种捕捉长期有效位置信息的新型混合式注意力机制。首先,对当前时刻生成的注意力得分作卷积来提取多通道特征图,并通过全局平均池化来得到恒定维度的特征向量;接着,引入长短期记忆网络（long short-term memory,LSTM）单元作为外部记忆模块,并以生成的特征向量作为输入,生成下一时刻的位置信息向量;最后,结合经典的LAS（listen,attend and spell）模型来验证提出方案的有效性。实验结果表明,该方案能充分考虑过去多个时刻的注意力得分。相对于基于卷积位置信息的LAS模型,该方案在纯净和含噪语音数据集上取得的标签错误率分别减少了1.8%和2.21%。