BiLSTM_DPCNN模型在电力客服工单数据分类中的应用

电力客服工单数据以文本形式记录电力用户的需求信息,合理的工单分类方法有利于准确定位用户需求,提升电力系统的运行效率.针对工单数据特征稀疏、依赖性强等问题,本文对基于字符级嵌入的长短时记忆网络(Bidirectional Long Short-Term Memory network,BiLSTM)和卷积神经网络(Convolution Neural Network,CNN)组合的结构模型进行优化.该模型首先对Word2Vec模型训练的词向量进行降噪处理,得到文本的特征表示;其次,利用BiLSTM网络递归地学习文本的时序信息,提取句子特征信息;再输入到双通道池化的CNN网络中,进行局部的特征提取.通过在真实客服工单数据集上的测试实验,验证了该模型在客服工单分类任务上的具有较好的精确性和鲁棒性.     

基于分层编码的深度增强学习对话生成

面向对话生成问题,提出一种构建对话生成模型的方法--基于分层编码的深度增强学习对话模型（EHRED）,用以解决当前标准序列到序列（seq2seq）结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络（RNN）模型5.7~11.1个百分点。     

一种用于CBR推理机的案例学习算法研究*

案例学习是CBR(Case-Based Reasoning)推理机的重要环节,但由于案例的多样性以及对领域的依赖性,导致CBR系统中案例自动生成困难的问题。针对这一问题,本文提出将seq2seq(Sequence-to-Sequence)模型用于案例学习,通过seq2seq模型自动生成案例,引入attention机制,提高seq2seq模型生成案例的效果,并利用潜在语义分析LSA(Latent Semantic Analysis)对网络爬取语料库进行筛选,利用过滤后的语料库对模型进行训练,提出一种基于三元组的评估方法,对生成案例进行评估和存储,从而实现CBR推理机的自主学习。最后将改进的案例学习系统应用到实际的智能机器人上进行验证,测试结果表明该方法具有可行性,且能够有效提高机器人的智能性及易用性。     

基于分级信息融合模型的电力投诉工单分类研究

电力投诉工单中往往存在长文本数据，这对工单分类模型的构建是一种挑战。以提升工单分类准确度为目的，提出了一种基于分级信息融合的电力投诉工单分类模型来提高模型分析长文本的能力。使用Word2vec方法对句中的单词进行处理，进而得到单词向量和句子矩阵。利用双向长短时记忆网络(BiLSTM)来学习单词间的依赖关系，同时运用TextCNN学习句子间的相互关联。将各级学习到的深度语义特征利用多层感知机(MLP)实现特征层融合。所提出模型在包含3万真实电力投诉工单样本的数据集上进行实验，5类投诉的平均分类正确率为0.921,平均宏-F₁分数为0.901,正确率相较于TextCNN、BiLSTM以及深度置信网络(DBN)分别提升了1.9%、5.3%和13.5%,能够完成投诉工单分类任务。     

基于Transformer的AMR-to-Text生成

抽象语义表示到文本(AMR-to-Text)的生成任务是给定AMR图,生成相同意义表示的文本。可以把此任务当成一个从源端AMR图到目标端句子的翻译任务。然而,传统的序列到序列(seq2seq, S2S)方法使用循环递归网络进行编码,并不能很好地解决长距离依赖的问题。当前最好的性能是图到序列(graph2seq, G2S)的模型,使用了图模型直接对AMR图结构进行编码,但是,该方法对于非直接相连的节点依然会损失大量的结构信息。针对上述问题,基于seq2seq框架,该文提出了一种直接而有效的AMR-to-Text生成方法。在这项工作中,引入了当前最优的seq2seq模型Transformer作为基准模型,并且使用字节对编码(BPE)和共享词表的方法来联合处理未登录词(OOV)的问题。在现有的两份英文标准数据集上,实验结果都得到了显著的提升,达到了新的最高性能。     

基于时空聚集的网贷反欺诈建模与研究

识别突发的团伙欺诈已经成为网贷业务中亟待解决的问题。在特征维度较少的情况下,提出了一种基于时空聚集的网贷反欺诈模型。首先基于用户定位信息和申请贷款的时间,设计了一个适用于网贷场景下的聚集指标:K-N最近邻指数;然后,将不同时间观察窗口的K-N最近邻指数利用基于LSTM(长短期记忆网络)的seq2seq(序列到序列)模型提取embedding(嵌入)特征;最后,利用Light GBM模型预测欺诈发生的概率。实验结果表明,所提出的指标能更有效地捕捉坏账,且相比于仅使用基础特征,预测结果的KS值和AUC都有了较好的提升。     

基于改进PPO算法的机器人局部路径规划

利用强化学习训练机器人局部路径规划模型存在算法收敛速度慢、易陷入死锁区域导致目标不可达等问题。对传统近端策略优化(PPO)算法进行改进,引入长短期记忆(LSTM)神经网络并设计虚拟目标点法,提出LSTM-PPO算法。将PPO神经网络结构中的全连接层替换为LSTM记忆单元,控制样本信息的记忆和遗忘程度,优先学习奖励值高的样本,从而更快地累积奖励优化模型。在此基础上,加入虚拟目标点,通过雷达传感器收集的环境信息判断机器人陷入死锁区域时弃用目标点给予机器人的引导,使机器人走出陷阱区域并趋向目标点,减少在死锁区域不必要的训练。分别在特殊障碍物场景和混合障碍物场景中对LSTM-PPO算法进行仿真验证,结果表明,与传统PPO算法和改进算法SDAS-PPO相比,该算法在两种场景训练中均能最快到达奖励峰值,可加快模型收敛速度,减少冗余路段,优化路径平滑度并缩短路径长度。     

基于模糊神经网络在智能轮椅避障中的应用

针对机器人在未知环境中的避障问题,提出了一种多传感器信息融合的避障方法.利用多传感器(声纳、摄像头)来采集外部环境信息,使得智能轮椅在移动过程中可以得到更充分的外部环境信息;使用基于Takagi-Sugeno (T-S)模型的模糊神经网络来对环境信息进行融合;通过融合的结果来控制轮椅的避障行为.通过模拟实验验证和分析,表明了该方法在解决轮椅避障问题方面有很好的效果,同时优化了轮椅避障的路径,提高了智能轮椅使用的安全性和方便性.     

一种桌面机器人及其自主地图绘制算法

利用嵌入式技术设计了一种桌面机器人系统,机器人体积不到200 cm3,系统利用全局摄像机采集图像,通过无线通信组件对机器人定位导航,从而进行面向地图绘制的智能行为研究;从桌面机器人系统采集到地图信息,并生成神经网络训练样本,利用可增长自组织特征映射图GSOM(Growing Self-organizing Map)的地图绘制算法,通过不断增加新的神经元实现网络规模的增长,从而生成以少数SOM图神经元分布描述环境特征信息的拓扑地图;在机器人系统上进行了基于GSOM模型的自主地图的绘制实验,并利用所得拓扑地图进行了准确的机器人导航实验.实验结果表明基于GSOM的自主地图绘制方法可行,机器人系统表现出类似生物的自主智能行为.该方法可以应用于大环境下机器人的自主地图测绘与导航.     

基于文本化简的实体属性抽取方法

研究了非结构化中文文本的实体属性抽取方法。引入文本化简作为抽取的预处理过程,解决传统信息抽取方法因为长难句的存在和自然语言表述多样性导致抽取效果不佳的问题。其中,文本化简被建模为一个序列到序列（seq2seq）的翻译过程,并用机器翻译领域的seq2seq-RNN模型进行实现。为了提升模型的化简效果,进行了不同层面的优化,包括使用预训练词向量、收集常用词汇表、引入词性标注和设计化简评分函数,这些优化使模型专注于化简过程中句法转换的学习。针对化简后的文本,设计基于简洁规则的方法进行信息元组和实体属性抽取。实验表明,对seq2seq-RNN的改进能提升文本化简的效果,而且在化简文本上抽取的信息数量比在原始文本上的多,信息也比较精确。     

融合关键词的中文新闻文本摘要生成

The existing seq2seq model often suffers from semantic irrelevance when generating summaries, and does not consider the role of keywords in summary generation. Aiming at this problem, this paper proposes a Chinese news text abstractive summarization method with keywords fusion. Firstly, the source text words are input into the Bi-LSTM model in order. The obtained hidden state is input to the sliding convolutional neural network, so local features between each word and adjacent words are extracted. Secondly, keyword information and gating unit are used to filter news text information, so as to remove redundant information. Thirdly, the global feature information of each word is obtained through the self-attention mechanism, and the hierarchical combination of local and global word features representation is obtained after encoding. Finally, the encoded word feature representation is input into the LSTM model with the attention mechanism to decode the summary information. The method models the n-gram features of news words through a sliding convolutional network. Based on this, the self-attention mechanism is used to obtain hierarchical local and global word feature representations. At the same time, the important role of keywords in abstractive summary is considered, and the gating unit is used to remove redundant information to obtain more accurate news text information. Experiments on Sogou's news corpus show that this method can effectively improve the quality of summary generation, and effectively enhance the values of ROUGE-1、ROUGE-2、ROUGE-L.     

校园服务智能应答机器人的研究与实现

随着智能终端和移动互联的流行与发展,移动应用深入人心。本文基于百度UNIT交互平台,创建了具有本校特点的专用知识库,并通过资源API获取如成绩、课表、消费、打卡和站群内容等动态信息,同时借助微信消息平台实现了信息的搜索与推送,最终构建了校园服务智能应答机器人。智能应答机器人为学校的师生员工提供各类校内咨询的智能应答,成为校园服务的入口和代言,开创了校园在线参考咨询的服务新模式。     

融合属性信息的异质网络嵌入方法

现有的异质网络嵌入方法不仅忽略了网络中的异质边及其对节点嵌入的不同影响,还未考虑到网络结构与节点属性的融合。为此提出了一种融合属性信息的异质网络嵌入方法（SHANE）。将序列到序列（seq2seq）模型应用到依据边类型划分的子图中,无缝融合节点的结构信息和属性信息,同时捕捉节点的高阶语义信息。实验表明,SHANE在两个不同类型的数据集中进行链接预测任务,可以取得相对显著的效果。     

Applying the maximum utility measure in high utility sequential pattern mining

Recently, high utility sequential pattern mining has been an emerging popular issue due to the consideration of quantities, profits and time orders of items. The utilities of subsequences in sequences in the existing approach are difficult to be calculated due to the three kinds of utility calculations. To simplify the utility calculation, this work then presents a maximum utility measure, which is derived from the principle of traditional sequential pattern mining that the count of a subsequence in the sequence is only regarded as one. Hence, the maximum measure is properly used to simplify the utility calculation for subsequences in mining. Meanwhile, an effective upper-bound model is designed to avoid information losing in mining, and also an effective projection-based pruning strategy is designed as well to cause more accurate sequence-utility upper-bounds of subsequences. The indexing strategy is also developed to quickly find the relevant sequences for prefixes in mining, and thus unnecessary search time can be reduced. Finally, the experimental results on several datasets show the proposed approach has good performance in both pruning effectiveness and execution efficiency.     

水文情报信息网络系统的安全策略和措施

水文情报信息是防汛防旱减灾、水资源管理、水土保持、水环境保护等工作的重要依据,水文情报信息网络管理系统是水文信息采集、通信、存储、服务的技术支撑平台,本文通过对水文情报信息流程的详细调查和水文情报信息网络系统管理工作的需求分析,探讨在水文情报信息网络系统建设管理、运行维护中安全问题的应对策略和防范措施。     

面向聊天机器人的多注意力记忆网络

如何对多轮的对话历史进行建模和推理是构建一个智能聊天机器人的主要挑战之一.基于循环或门控的记忆网络已经被证明是进行对话建模的有效方式.然而,这种方式有两个缺点,一是使用复杂的循环结构,导致计算效率较低;二是使用代价较大的强监督信息或先验信息,不利于扩展和迁移应用到新的领域.针对上述问题,本文提出了一种端到端的多注意力记忆网络.首先,该网络采取结合词向量和位置编码的方式对文本输入进行表示;其次,使用并行的多层注意力在不同子空间捕获对话交互中的关键信息来更好地建模对话历史;最后,通过捷径连接的方式叠加多注意力层管理信息流,实现对建模结果的多次推理.在bAbI-dialog数据集上的实验表明,该网络可以有效地对多轮对话进行建模和推理,而且具有较好的时间性能.     

数据库驱动的对话机器人技术实现

世界上很多高价值的数据信息储存在关系数据库中,访问这些数据需要掌握专门的结构化查询语言(SQL),普通人很难直接使用。基于对现有对话机器人存在的问题和相关关键技术的梳理,本文融合了数据仓库、数据同步、数据库查询、消息推送、自然语言理解及语音识别等相关技术及产品,设计了数据库驱动的对话机器人。方案可以实现用户理解、消息推送、事实数据查询和分析数据查询四个功能,使得用户能够快速地获取信息。本文提出的数据库驱动的对话机器人具有较强的泛化性和可扩展性。     

Communicability of traditional interfaces VS chatbots in healthcare and smart home domains

ABSTRACT

This paper presents a study about communicability of conversational interfaces (namely chatbots) under a semiotic perspective. A chatbot is a software system that allows you to simulate real conversations between devices and users by means of a conversational interface (CI). After introducing the chatbot concept, focusing on its advantages and issues, we will present two domains of use in which chatbot interfaces can be effective: healthcare and smart home. For carrying out simple tasks such as finding information or triggering operations, users need an easy-to-use and to an easy-to-learn system to communicate with. To face this, conversational interfaces represent the latest trend in the field of digital design. For studying the communicability aspects of a CI, we carried out a user test to compare traditional and chatbot interfaces. This paper aims at evaluating the benefits at the communicability level of a chatbot in comparison to traditional GUI for incrementing the effectiveness and efficacy of communication between users and the system specifically for users with poor attitude in using technologies. In details, we evaluated the communicability of two prototypes that can be used to solve simple tasks in order to favour user inclusion, including everyone with very little exposure to technologies.     

Ext-ICAS: A Novel Self-Normalized Extractive Intra Cosine Attention Similarity Summarization

With the continuous growth of online news articles, there arises the necessity for an efficient abstractive summarization technique for the problem of information overloading. Abstractive summarization is highly complex and requires a deeper understanding and proper reasoning to come up with its own summary outline. Abstractive summarization task is framed as seq2seq modeling. Existing seq2seq methods perform better on short sequences; however, for long sequences, the performance degrades due to high computation and hence a two-phase self-normalized deep neural document summarization model consisting of improvised extractive cosine normalization and seq2seq abstractive phases has been proposed in this paper. The novelty is to parallelize the sequence computation training by incorporating feed-forward, the self-normalized neural network in the Extractive phase using Intra Cosine Attention Similarity (Ext-ICAS) with sentence dependency position. Also, it does not require any normalization technique explicitly. Our proposed abstractive Bidirectional Long Short Term Memory (Bi-LSTM) encoder sequence model performs better than the Bidirectional Gated Recurrent Unit (Bi-GRU) encoder with minimum training loss and with fast convergence. The proposed model was evaluated on the Cable News Network (CNN)/Daily Mail dataset and an average rouge score of 0.435 was achieved also computational training in the extractive phase was reduced by 59% with an average number of similarity computations.     

高校网络舆情监测系统构建及应对机制研究

针对高校网络舆情监测工作的不足,结合高校舆情信息的传播特点,提出构建舆情监测系统的整体方案.在校园网内基于Nutch搜索引擎技术进行信息检索,互联网范围内采用元搜索引擎技术获取相关信息,采用关键词特征库匹配方式自动进行网络舆情监测,实现对舆情信息及时准确的发现,并探讨高校面对网络舆情在监测、分析、引导和反馈等环节的处理...