基于弱监督预训练深度模型的微博情感分析

微博情感分析对于商业事务和政治选举等应用非常重要。传统的做法主要基于浅层机器学习模型,对人工提取的特征有较大的依赖,而微博情感特征往往难以提取。深度学习可以自动学习层次化的特征,并被用于解决情感分析问题。随着新的深度学习技术的提出,人们发现只要提供足够多的监督数据,就能训练出好的深度模型。然而,在微博情感分析中,通常监督数据都非常少。微博中广泛存在着弱监督数据。该文提出基于弱监督数据的“预训练—微调整”训练框架(distant pretrain-finetune),使用弱监督数据对深度模型进行预训练,然后使用监督数据进行微调整。这种做法的好处是可以利用弱监督数据学习到一个初始的模型,然后利用监督数据来进一步改善模型并克服弱监督数据存在的一些问题。我们在新浪微博数据上进行的实验表明,这种做法可以在监督数据较少的情况下使用深度学习,并取得比浅层模型更好的效果。     

基于图神经网络结合预训练模型的藏文短文本情感分析研究

针对藏文情感分析研究中,由于藏文构字规则以及数据集不统一导致深度学习模型效果欠佳的问题,该文提出了一种结合图神经网络以及预训练模型的藏文情感分析模型,应用于藏文短文本。首先,采用Albert预训练模型对藏文文本进行词向量构建;其次,为对应句中标注出的藏文情感词构建表征,并且通过构建后的词向量与情感词表征进行融合;最后,将融合后的表征进行图数据构建并输入到图神经网络模型中,得到最终的分类效果。实验结果表明,该文提出的藏文情感分类模型准确率达到98.60%,优于其他基线模型。数据集公开网址为：https://github.com/TU-NLP/TU＿SA/。     

基于预训练的无监督神经机器翻译模型研究

依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功。无监督神经机器翻译UNMT又在一定程度上解决了高质量平行语料库难以获取的问题。最近的研究表明,跨语言模型预训练能够显著提高UNMT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果。进一步探究基于跨语言预训练的UNMT,提出了几种改进模型训练的方法,针对在预训练之后UNMT模型参数初始化质量不平衡的问题,提出二次预训练语言模型和利用预训练模型的自注意力机制层优化UNMT模型的上下文注意力机制层2种方法。同时,针对UNMT中反向翻译方法缺乏指导的问题,尝试将Teacher-Student框架融入到UNMT的任务中。实验结果表明,在不同语言对上与基准系统相比,本文的方法最高取得了0.8～2.08个百分点的双语互译评估(BLEU)值的提升。     

基于FinBERT-CNN的股吧评论情感分析方法

我国股市波动受投资者情绪变化影响较大,通过对股吧等金融交流平台上投资者的评论进行情感分析,能够帮助投资者更好地了解股票市场的变化.现有的情感分析方法是利用模型对股票评论集进行分析,但缺少优质的股票评论标注数据集用于模型训练,且单一模型提取股票评论特征较为片面,模型的准确性有待提高.该文针对股吧平台上的评论数据,提出一种...     

预训练模型下融合注意力机制的多语言文本情感分析方法

多语言文本的情感分析是情感分析领域的重要问题之一,而现有的情感分析方法着重于对单语言文本的研究.本文针对中英混合文本提出了一种细粒度情感分析模型,通过基于大规模语料的预训练语言模型得到上下文语义相关的词向量,将词向量输入双向LSTM网络学习文本的情感表征,使用多语言注意力机制分别针对单语和双语文本提取关键情感表征,最终通过并行融合的方式提升情感分类效果.本文使用NLPCC2018多语言文本情绪分析任务数据集进行细粒度情感分析,对比评测任务中的最好结果,本文模型得到的宏平均F1值提高至0. 581,表明了本文方法的有效性.     

基于拓扑稀疏编码预训练CNN的视频语义分析

视频特征的深度学习已成为视频对象检测、动作识别、视频事件检测等视频语义分析方面的研究热点.视频图像的拓扑信息对描述图像内容的关联关系有着重要的作用,同时综合视频序列特性考虑以有标签的视频进行优化学习,将有利于提高视频特征表达的可鉴别性.基于上述考虑,提出一种基于拓扑稀疏编码预训练CNN的视频特征学习方法并用于视频语义分析,该方法将视频特征学习分为2个阶段：半监督视频图像特征学习和有监督的视频序列特征的优化学习.1)在半监督视频图像特征学习中,构建了一个新的拓扑稀疏编码器用之于预训练各层神经网络参数,使视频图像的特征表达能反映图像的拓扑信息,并在图像特征学习的全连接层以有标签的视频概念类别进行逻辑回归微调网络参数.2)在有监督的视频序列特征的优化学习中,构建了视频特征学习的全连接层,综合有标签的视频序列关键帧特征,建立逻辑回归约束,微调网络参数,以实现类别更具可鉴别的视频特征的优化.在典型的视频数据集上进行了相关方法的视频语义概念检测实验,实验结果表明:所提出的方法对视频特征的表达更具可鉴别性,能有效提高视频语义概念检测率.     

基于预训练模型和基础词典扩展的酒店评论情感分析

本文主要针对酒店领域的评论信息进行情感分析,研究用户对于酒店配置、服务等方面的态度,以便为酒店提高个性化服务质量提供一定的帮助.本文基于BiLSTM神经网络构建预训练模型进行实验,同时与传统的机器学习算法进行比较,实验结果显示,相较于朴素贝叶斯,支持向量机的分析准确率更为稳定,而利用预训练模型进行预测的精确率相比前两者有小幅度的提高;同时以基础词典为主体,构建适用于酒店评论的扩展情感词典,对否定词的权重进行了弱化处理,减小对带有相反含义语句的分类效果的影响,将基础词典与扩展词典对获取的同一语料进行情感分类,比较二者的结果表明采用扩展词典进行正向分类的准确率为86%,负向分类的准确率为84%,结果显示扩展词典分类比基础词典的分类效果更好.     

基于卷积神经网络的中文医疗弱监督关系抽取

随着医疗领域受到越来越多的关注,自然语言处理的理论和应用逐渐拓展到该领域,其中信息抽取技术在该领域的应用成为研究热点。针对信息抽取技术在医疗领域实体关系抽取中的应用,提出一种基于卷积神经网络的弱监督关系抽取方法。该方法通过添加人工规则使训练语料带有实体关系标签,然后将该弱关系训练语料转换为向量特征矩阵,并输入到卷积神经网络进行分类模型训练,最终实现实体关系抽取。实验结果表明,该方法比常规机器学习方法更加准确高效。     

结合广义自回归预训练语言模型与循环卷积神经网络的文本情感分析方法

传统的机器学习方法在对网络评论文本进行情感极性分类时,未能充分挖掘语义信息和关联信息,而已有的深度学习方法虽能提取语义信息和上下文信息,但该过程往往是单向的,在获取评论文本的深层语义信息过程中存在不足。针对以上问题,提出了一种结合广义自回归预训练语言模型（XLNet）与循环卷积神经网络（RCNN）的文本情感分析方法。首先,利用XLNet对文本进行特征表示,并通过引入片段级递归机制和相对位置信息编码,充分利用了评论文本的语境信息,从而有效提升了文本特征的表达能力;然后,利用RCNN对文本特征进行双向训练,并在更深层次上提取文本的上下文语义信息,从而提升了在情感分析任务中的综合性能。所提方法分别在三个公开数据集weibo-100k、waimai-10k和ChnSentiCorp上进行了实验,准确率分别达到了96.4%、91.8%和92.9%。实验结果证明了所提方法在情感分析任务中的有效性。     

基于word embedding和CNN的情感分类模型

尝试将word embedding和卷积神经网络（CNN）相结合来解决情感分类问题。首先,利用Skip-Gram模型训练出数据集中每个词的word embedding,然后将每条样本中出现的word embedding组合为二维特征矩阵作为卷积神经网络的输入;此外,每次迭代训练过程中,输入特征也作为参数进行更新。其次,设计了一种具有3种不同大小卷积核的神经网络结构,从而完成多种局部抽象特征的自动提取过程。与传统机器学习方法相比,所提出的基于word embedding和CNN的情感分类模型成功将分类正确率提升了5.04%。     

基于卷积神经网络的短文本情感分类

近年来,卷积神经网络模型常常被用于文本情感分类的研究中,但多数研究都会忽略文本特征词本身所携带的情感信息和中文文本分词时被错分的情况.针对此问题,提出一种融合情感特征的双通道卷积神经网络情感分类模型(Dual-channel Convolutional Neural Network sentiment classifi...     

基于细粒度多通道卷积神经网络的文本情感分析

以词向量为输入的单通道卷积神经网络无法充分利用文本的特征信息,并且不能准确识别中文文本的多义词。针对上述问题,建立一种细粒度的多通道卷积神经网络模型。采用word2vec进行词向量的预训练,利用3个不同的通道做卷积运算,分别为原始词向量、词向量与词性表示相结合的词性对向量以及细粒度的字向量。通过词性标注进行词义消歧,利用细粒度的字向量发现深层次的语义信息。在此基础上,设置不同尺寸的卷积核以学习句子内部更高层次抽象的特征。仿真结果表明,该模型较传统卷积神经网络模型在情感分类的准确率和F1值上性能均有明显提升。     

轻量化卷积神经网络技术研究

为了使卷积神经网络模型更好地应用于移动端和嵌入式设备，必须从减少模型参数量和降低计算复杂度两方面入手。首先简要介绍了目前几种流行的解决方法，并详细阐述了六个轻量化卷积神经网络模型，展示了其中应用的不同网络计算方式的计算量和参数量，论述了模型的核心构建模块、整体网络结构和创新之处。分析了各网络以及常规卷积网络在ImageNet数据集上的分类准确度，进而对比各网络实现轻量化的技巧，得出在进行模型设计时采用直接指标替代间接指标的结论。同时发现了残差结构对保证轻量化模型准确率的重要性。最后对轻量化卷积神经网络的发展前景进行了展望。     

基于卷积神经网络的脑肿瘤分割方法综述

脑肿瘤自动分割对脑肿瘤诊断、手术规划和治疗评估中起着重要的作用.然而,由于脑病变结构的高可变性,组织边界模糊,以及数据有限和类不平衡等问题,导致其仍面临巨大的挑战.目前,大部分分割依赖手工,耗时耗力,易受主观影响,寻求一种高效的自动分割方法非常具有研究意义.介绍了脑肿瘤分割的研究背景、意义和难点,并概述了其发展历程;从...     

基于对抗训练和卷积神经网络的面部图像修复

为了有效地修复大面积破损的面部图像,使用了解码器-编码器结构的卷积神经网络作为生成模型,并在其部分层之间增加skip-connection,以增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再利用其判别待修复图像输入生成模型后所得到的输出是否为真实,以此为生成模型提供优化梯度。结合了卷积神经网络的结构信息预测能力和GANs对抗策略的优化能力,提高了图像补全的效果。在CelebA人脸数据集上进行的实验结果表明,该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

嵌入式设备高效卷积神经网络的电力设备检测

随着大型图像集的出现以及计算机硬件尤其是GPU的快速发展，卷积神经网络（CNN）已经成为人工智能领域的一种成功算法，在各种机器学习任务中表现出色.但CNN的计算复杂度远高于传统算法，嵌入式设备上有限资源的限制成为制造高效嵌入式计算的挑战性问题.在本文中，我们提出了一种基于嵌入式设备的高效卷积神经网络用于电力设备检测，根据处理速度评估这种高效的神经网络.结果表明，该算法能够满足嵌入式设备实时视频处理的要求.     

基于多通道卷积神经网络的中文微博情感分析

近年来,深度学习在情感分析任务中的应用得到了越来越多的关注.针对以文本词向量作为输入的卷积神经网络无法充分利用情感分析任务中特有的情感特征信息,以及难以有效表示每个词语在句子中的重要程度等问题,提出一种基于多通道卷积神经网络(multi-channels convolutional neural networks, MCCNN)的中文微博情感分析模型.该模型针对情感分析任务中特有的情感信息来构建文本输入矩阵,使模型在训练过程中有效获取输入句子的情感特征信息.同时,该模型通过将不同特征信息结合形成不同的网络输入通道,使网络模型在训练过程中从多方面的特征表示来学习输入句子的情感信息,有效表示出每个词语在句子中的重要程度,获取更多的隐藏信息.最后在COAE2014数据集和微博语料数据上进行实验,取得了比普通卷积神经网络、结合情感信息的卷积神经网络和传统分类器更好的性能.     

卷积神经网络SIP微系统实现

近年来,微电子技术进入到纳电子/集成微系统时代,SIP(System in Package)和SOC(System on Chip)是微系统实现的两种重要技术途径;基于神经网络的深度学习技术在图形图像、计算机视觉和目标识别等方面得以广泛应用.卷积神经网络的深度学习技术在嵌入式平台的小型化、微型化是一项重要研究领域.如何...     

TileNET: Hardware accelerator for ternary Convolutional Neural Networks

Convolutional Neural Networks (CNNs) are popular in Advanced Driver Assistance Systems (ADAS) for camera perception. The versatility of the algorithm makes it applicable in multiple applications like object detection, lane detection and semantic segmentation. For image processing to be viable in driver assistance systems, the throughput requirement ranges in the order of a few tens of TeraMACs per second (TMACs). In addition, high accuracy levels of image detection and recognition cannot be compromised for the need for high throughput.In this paper, we present TileNET, a novel tiled architecture for ternary-weighted CNNs. TileNET is modular and scalable across variations in network organization and device configurations. Two modes of the implementation are presented, viz., systolic and streaming. A high-level estimation technique has been developed that facilitates fast performance evaluation through design space exploration among a range of target devices and varying CNN models.Performance has been verified for area and throughput estimation for Xilinx Virtex, Artix, Kintex and Zynq devices. TileNET implemented on Virtex-7 (XC7VX1140T) results in a throughput of about 16 Tera-operations per second (TOPs) for LeNet, AlexNet, ResNet-50 and VGG-16. In addition, the 45nm standard cell implementation of TileNet shows a throughput of about 30 TOPs respectively.     

无池化层卷积神经网络的中文分词方法

在中文信息处理中,分词是一个十分常见且关键的任务。很多中文自然语言处理的任务都需要先进行分词,再根据分割后的单词完成后续任务。近来,越来越多的中文分词采用机器学习和深度学习方法。然而,大多数模型都不同程度的有模型过于复杂、过于依赖人工处理特征、对未登录词表现欠佳等缺陷。提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)的中文分词模型——PCNN(Pure CNN)模型,该模型使用基于字向量上下文窗口的方式对字进行标签分类,具有结构简单、不依赖人工处理、稳定性好、准确率高等优点。考虑到分布式字向量本身的特性,在PCNN模型中不需要卷积的池化(Pooling)操作,卷积层提取的数据特征得到保留,模型训练速度获得较大提升。实验结果表明,在公开的数据集上,模型的准确率达到当前主流神经网络模型的表现水准,同时在对比实验中也验证了无池化层(Pooling Layer)的网络模型要优于有池化层的网络模型。