基于注意力机制与文本信息的用户关系抽取

随着社交媒体的发展,用户之间的关系网络对于社交媒体的分析有很大的帮助。因此,该文主要研究用户好友关系检测。以往的关于用户好友关系抽取的研究主要基于社交媒体上的结构化信息,比如其他好友关系,用户的不同属性等。但是,很多时候用户本身并没有大量的好友信息存在,同时也不一定有很多确定的属性。因此,我们希望基于用户发表的文本信息来对用户关系进行预测。不同于以往的潜在好友推荐算法,该文提出了一种基于注意力机制以及长短时记忆网络(long short-term memory,LSTM)的好友关系预测模型,将好友之间的评论分开处理,通过分析用户之间的评论来判断是否具备一定的好友关系。该模型将好友双方信息拼接后的结果作为输入,并将注意力机制应用于LSTM的输出。实验表明,用户之间的评论对于好友关系预测确实有较大的实际意义,该文提出的模型较之于多个基准系统的效果,取得了明显的提升。在不加入任何其它非文本特征的情况下,实验结果的准确率达到了77%。     

一种基于文本卷积神经网络的推荐算法

传统的矩阵因子分解模型不能有效提取用户和物品特征,而基于深度学习模型可以很好地提取特征信息。当前,主流的基于深度学习推荐算法只是单一地将神经网络的输出或物品特征与用户特征乘积的形式来做推荐预测,不能充分挖掘用户和物品之间的关系。基于此,本文提出一种基于文本卷积神经网络与带偏置项的奇异值分解(BiasSVD)结合的推荐算法,利用文本卷积神经网络(TextCNN)来充分提取用户和物品的特征信息,然后用奇异值分解方法来做推荐,深层次理解文档上下文信息,进一步提高推荐的准确性。将该算法在MovieLens的2个真实数据集上做广泛的评估分析,推荐的准确度要明显优于ConvMF算法及主流深度学习推荐算法。     

基于特征融合网络的自然场景文本检测

目前,基于深度学习的自然场景文本检测在复杂的背景下取得很好的效果,但难以准确检测到小尺度文本.本文针对此问题提出了一种基于特征融合的深度神经网络,该网络将传统深度神经网络中的高层特征与低层特征相融合,构建一种高级语义的神经网络.特征融合网络利用网络高层的强语义信息来提高网络的整体性能,并通过多个输出层直接预测不同尺度的文本.在ICDAR2011和ICDAR2013数据集上的实验表明,本文的方法对于小尺度的文本,定位效果显著.同时,本文所提的方法在自然场景文本检测中具有较高的定位准确性和鲁棒性,F值在两个数据集上均达到0.83.     

ABAFN：面向多模态的方面级情感分析模型

随着互联网的不断发展,面向电商产品的用户评论日益增加。研究这些用户评论的情感导向,对于指导产品的更新迭代具有重要意义。以往的方面级情感分析任务通常只涉及文本模态,然而用户的评论数据一般不仅包括纯文本,还包括大量的图文数据。针对这种包括文本和图片的多模态数据,提出了一种新的方面级多模态情感分析模型ABAFN（aspect-based attention and fusion network）。模型结合预训练语言模型BERT和双向长短时记忆网络来获得文本和方面词的上下文表示,同时利用预训练残差网络ResNet提取图片特征生成视觉表示;利用注意力机制基于方面词对上下文表示和视觉表示进行加权;将两个模态加权后的表示级联融合执行情感标签分类任务。在Multi-ZOL数据集上的实验表明,ABAFN模型的性能超过了目前已知文献的结果。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于耦合关系模型的文本分类研究

对文本的特征提取方法以及深度神经网络的分类器的搭建进行研究。首先,在全局和局部的特征提取方法的基础上,通过对文本特征内耦合关系和文本特征间耦合关系进行分析,确定用于分类的文本特征,建立文本特征的耦合关系模型;其次, 将文本特征 作为深度神经网络输入层进行分类;最后,通过逐层无监督的方式对网络进行训练,在顶层增加区分性结点来实现文本分类功能。     

融合社交因素和评论文本卷积网络模型的汽车推荐研究

汽车作为较高价值和个性化的消费品,使得用户购车决策过程较一般商品更为复杂.本文主要研究社交环境和评论文本两方面对用户购车决策过程的影响,提出了融合社交因素和评论文本卷积网络的汽车推荐模型（Social and comment text CNN model based automobile recommendation,SCTCMAR）.SCTCMAR首先定义了基于购买用途需求的社交圈,在此基础上提出了个人偏好计算方法,并引入了偏好相似度;其次,设计了卷积网络模型学习汽车评论文本的隐特征;然后将社交影响量化因素和评论文本特征有机融合注入推荐模型,并采用低阶矩阵分解技术进行模型计算.另外,本文使用GloVe预训练词嵌入模型,产生了SCTCMAR的另一个版本SCTCMAR+.最后,将SCTCMAR、SCTCMAR、FMM（Flexible mixture model）、TR（Trust rank）、Random sampling在课题组爬取后经清理、去重和整合的266995个用户、702辆汽车信息的真实数据集上进行精确率、召回率和平均倒序排名三个指标的多粒度实验比较,结果表明本文提出的SCTCMAR+和SCTCMAR具有良好的推荐性能.     

融合多角度特征的文本匹配模型

文本匹配是自然语言处理的一个核心研究领域, 深度文本匹配模型大致可以分为表示型和交互型两种类型, 表示型模型容易失去语义焦点难以衡量词上下文重要性, 交互型模型缺少句型、句间等全局性信息. 针对以上问题提出一种融合多角度特征的文本匹配模型, 该模型以孪生网络为基本架构, 利用BERT模型生成词向量进行词相似度融合加强语义特征, 利用Bi-LSTM对文本的句型结构特征进行编码, 即融合文本词性序列的句型结构信息, 使用Transformer编码器对文本句型结构特征和文本特征进行多层次交互, 最后拼接向量推理计算出两个文本之间的相似度. 在Quora部分数据集上的实验表明, 本模型相比于经典深度匹配模型有更好的表现.     

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经（BiLSTM）模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环（BiGRU）神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制（attention）层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。     

基于细粒度特征交互选择网络的农产品推荐算法

在数字化的时代里, 越来越多人偏爱在电商平台购物, 随着农产品电商平台的发展, 消费者面对众多选择时难以找到适合自己的产品. 为了提高用户满意度和购买意愿, 农产品电商平台需要根据用户的兴趣偏好向其推荐合适的农产品. 考虑到季节、地域、用户兴趣和农产品属性等多种农业特征, 通过特征交互可以更好地捕捉用户需求. 传统的点击通过率CTR (click through rate)预测模型只关注用户评分, 以简单的方式计算特征交互, 而忽略了特征交互的重要性. 本文提出了一种名为细粒度特征交互选择网络FgFisNet (fine-grained feature interaction selection networks)的新模型. 该模型通过引入细粒度交互层和特征交互选择层, 组合内积和哈达玛积有效地学习特征交互, 然后在训练过程中自动识别重要的特征交互, 并删除冗余的特征交互, 最后将重要的特征交互和一阶特征输入到深度神经网络, 得到最终的CTR预测值. 在农产品电商真实数据集上进行广泛的实验, FgFisNet方法取得了显著的经济效益.     

基于迭代回归树模型的跨平台长尾商品购买行为预测

长尾商品是指单种商品销量较低,但是由于种类繁多,形成的累计销售总量较大,能够增加企业盈利空间的商品。在电子商务网站中,用户信息量较少且购买长尾商品数量较少、数据稀疏,因此对用户购买长尾商品的行为预测具有一定的挑战性。该文提出预测用户购买长尾商品的比例,研究单一用户购买长尾商品的整体偏好程度。利用社交媒体网站上海量的文本信息和丰富的用户个人信息,提取用户的个人属性、文本语义、关注关系、活跃时间等多个种类的特征;采用改进的迭代回归树模型MART(Multiple Additive Regression Tree),对用户购买长尾商品的行为进行预测分析;分别选取京东商城和新浪微博作为电子商务网站和社交媒体网站,使用真实数据构建回归预测实验,得到了一些有意义的发现。该文从社交媒体网站抽取用户特征,对于预测用户购买长尾商品的行为给出一个新颖的思路,可以更好地理解用户个性化需求,挖掘长尾市场潜在的经济价值,改进电子商务网站的服务。     

基于图深度学习的金融文本多标签分类算法

金融文本多标签分类算法可以根据用户需求在海量金融资讯中实现信息检索。为进一步提升金融文本标签识别能力,建模金融文本多标签分类中标签之间的相关性,提出基于图深度学习的金融文本多标签分类算法。图深度学习通过深度网络学习局部和全局的图结构特征,可以刻画节点之间的复杂关系。通过建模标签关联实现标签之间的知识迁移,是构造具有强泛化能力算法的关键。所提算法结合标签之间的关联信息,采用基于双向门控循环网络和标签注意力机制得到的新闻文本对应不同标签的特征表示,通过图神经网络学习标签之间的复杂依赖关系。在真实数据集上的实验结果表明,显式建模标签之间的相关性能够极大地增强模型的泛化能力,在尾部标签上的性能提升尤其显著,相比CAML、BIGRU-LWAN和ZACNN算法,该算法在所有标签和尾部标签的宏观F1值上最高提升3.1%和6.9%。     

基于双通道卷积神经网络的文本情感分类算法

针对现有深度学习方法在文本情感分类任务中特征提取能力方面的不足,提出基于扩展特征和动态池化的双通道卷积神经网络的文本情感分类算法.首先,结合情感词、词性、程度副词、否定词和标点符号等多种影响文本情感倾向的词语特征,形成一个扩展文本特征.然后,把词向量特征与扩展文本特征分别作为卷积神经网络的两个输入通道,采用动态k-max池化策略,提升模型提取特征的能力.在多个标准英文数据集上的文本情感分类实验表明,文中算法的分类性能不仅高于单通道卷积神经网络算法,而且相比一些代表性算法也具有一定的优势.     

A mixed unsupervised method for aspect extraction using BERT

Multimedia Tools and Applications - With the increase of unstructured text on social media platforms from user opinions, deep neural network techniques have significantly contributed to the aspect...     

融合评分矩阵和评论文本深度神经网络推荐模型

针对个性化推荐中用户评分矩阵数据集稀疏,用户和项目描述信息未充分利用的问题,提出融合评分矩阵和评论文本的深度神经网络推荐模型(deep neural network recommendation model,DeepRec)。首先将通过数据预处理得到的用户偏好特征和项目属性特征的文本集合分别输入到卷积神经网络进行训练,得到用户和项目的深层次非线性特征,同时将评分矩阵输入多层感知机得到用户偏好隐表示,并对两种模型提取的用户偏好隐表示进行融合;其次利用多层感知机建模用户和项目隐表示对用户进行个性化推荐;最后基于三组数据集以均方根误差为评估指标进行对比实验。结果表明DeepRec的预测误差更低,有效提高了推荐的精准度。     

基于BERT的社交电商文本分类算法

随着网络购物的高速发展,网络商家和购物者在网络交易活动中产生了大量的交易数据,其中蕴含着巨大的分析价值。针对社交电商商品文本的文本分类问题,为了更加高效准确地判断文本所描述商品的类别,提出了一种基于BERT模型的社交电商文本分类算法。首先,该算法采用BERT(Bidirectional Encoder Representations from Transformers)预训练语言模型来完成社交电商文本的句子层面的特征向量表示,随后有针对性地将获得的特征向量输入分类器进行分类,最后采用社交电商文本的数据集进行算法验证。实验结果表明,经过训练的模型在测试集上的分类结果F1值最高可达94.61%,高出BERT模型针对MRPC的分类任务6%。因此,所提社交电商文本分类算法能够较为高效准确地判断文本所描述商品的类别,有助于进一步分析网络交易数据,从海量数据中提取有价值的信息。     

基于内容过滤的农资电子商务推荐系统

随着农业信息化的发展,农业类网站已经成为农业用户、合作社和农资公司等获取信息的重要渠道．结合中国现代化农资经营电子商务平台,提出了基于内容过滤的推荐技术,采用四元组构建用户偏好模型,引入遗忘因子挖掘和更新偏好模型,并根据产品模型和用户偏好模型的相似度向用户推荐产品．实验结果表明,基于内容过滤的推荐算法可使农资电子商务平台的产品浏览率和购买率得到提高．     

融合上下文信息的深度推荐模型

目前,在基于文档信息的推荐任务中,传统基于文档的混合推荐算法仍依赖于浅层的线性模型,当评分数据变得庞大且复杂时,其推荐性能往往不太理想。针对此问题,提出一种深度融合模型(DeepFM),该模型能够在完全捕获文本信息的同时也能很好地处理复杂且稀疏的评分数据。DeepFM由两个并行的神经网络组成,其中一路神经网络使用多层感知器提取评分矩阵的行向量信息从而获得用户的潜在特征向量,另一路则使用MLP和卷积神经网络(CNN)共同建模从而提取额外有关项目的文本信息得到项目潜在特征向量。最后,通过构建融合层将用户特征向量和项目特征向量进行融合得出预测评分。实验结果表明,DeepFM在MovieLens数据集和亚马逊数据集上的性能优于主流的推荐模型。     

A graph-based semi-supervised approach to classification learning in digital geographies

As the distinction between online and physical spaces rapidly degrades, social media have now become an integral component of how many people's everyday experiences are mediated. As such, increasing interest has emerged in exploring how the content shared through those online platforms comes to contribute to the collaborative creation of places in physical space at the urban scale. Exploring digital geographies of social media data using methods such as qualitative coding (i.e., content labelling) is a flexible but complex task, commonly limited to small samples due to its impracticality over large datasets. In this paper, we propose a new tool for studies in digital geographies, bridging qualitative and quantitative approaches, able to learn a set of arbitrary labels (qualitative codes) on a small, manually-created sample and apply the same labels on a larger set. We introduce a semi-supervised, deep neural network approach to classify geo-located social media posts based on their textual and image content, as well as geographical and temporal aspects. Our innovative approach is rooted in our understanding of social media posts as augmentations of the time-space configurations that places are, and it comprises a stacked multi-modal autoencoder neural network to create joint representations of text and images, and a spatio-temporal graph convolution neural network for semi-supervised classification. The results presented in this paper show that our approach performs the classification of social media content with higher accuracy than traditional machine learning models as well as two state-of-art deep learning frameworks.     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.