结合LDA与Word2vec的文本语义增强方法

文本的语义表示是自然语言处理和机器学习领域的研究难点,针对目前文本表示中的语义缺失问题,基于LDA主题模型和Word2vec模型,提出一种新的文本语义增强方法Sem2vec（semantic to vector）模型。该模型利用LDA主题模型获得单词的主题分布,计算单词与其上下文词的主题相似度,作为主题语义信息融入到词向量中,代替one-hot向量输入至Sem2vec模型,在最大化对数似然目标函数约束下,训练Sem2vec模型的最优参数,最终输出增强的语义词向量表示,并进一步得到文本的语义增强表示。在不同数据集上的实验结果表明,相比其他经典模型,Sem2vec模型的语义词向量之间的语义相似度计算更为准确。另外,根据Sem2vec模型得到的文本语义向量,在多种文本分类算法上的分类结果,较其他经典模型可以提升0.58%~3.5%,同时也提升了时间性能。     

利用位置增强注意力机制的属性级情感分类

属性级情感分类旨在准确识别评论中属性的情感极性。现有的基于长短时记忆网络(LSTM)的方法大多只利用了属性和上下文的语义信息,而忽视了属性与上下文相对位置信息。针对此问题,提出一种利用相对位置信息来增强注意力的LSTM网络模型,解决属性级情感分类问题。首先,对上下文的输入层加入位置向量,利用两个LSTM网络对上下文和属性分别进行独立语义编码;然后,对上下文的隐藏层再次拼接位置向量,并利用属性隐藏层向量参与上下文不同词注意力权重的计算;最后,利用上下文生成的有效表示进行情感分类。该模型在SemEval 2014 Task4 Restaurant和Laptop两个不同领域数据集上进行了实验,在三分类实验中,准确率分别达到79.7%和72.1%。在二分类实验中,准确率分别达到92.1%和88.3%。相比多个基线模型,在准确率上都有一定的提升。     

融合结构与属性注意力机制的实体对齐

在实现不同来源的图谱数据融合过程中, 实体对齐是关键的步骤, 其目的在于确定不同图谱间等价的实体对. 现有实体对齐方法大多基于图嵌入方式, 通过考虑图谱的结构和属性信息进行对齐, 但并未很好处理二者之间的交互关系, 同时忽略对关系及多阶邻居信息的利用. 为解决上述问题, 提出一种融合结构与属性注意力机制模型(fused structural and attribute attention mechanism model, FSAAM)的实体对齐方法. 该模型首先根据图谱数据特征划分为属性和结构通道数据, 其次使用属性注意力机制实现对属性信息的学习, 在实现对结构信息的学习中增加对关系信息的学习, 利用图注意力机制寻找对于实体对齐有益的邻居特征, 引入Transformer编码器更好的关联实体之间的信息, 并通过Highway网络减少可能学习到噪声信息的影响, 最后对学习到的结构通道和属性通道信息的相似度矩阵利用LS-SVM网络, 得到集成相似度矩阵从而实现实体对齐. 所提模型在公开数据集DBP15K的3个子数据集上进行验证. 实验结果表明, 相较于基线模型中效果最好的结果, 其Hits@1分别提高了2.7%, 4.3%和1.7%, 且Hits@10和MRR也均有提升, 表明本模型能够有效提高实体对齐的准确性.     

煤矿安全隐患信息自动分类方法

人工分类方式难以满足海量煤矿安全隐患信息的分类要求,而基于概率统计的文本自动分类方法分类准确率较低。针对上述问题,提出了一种基于Word2vec和卷积神经网络的煤矿安全隐患信息自动分类方法。首先对隐患信息进行分词、去停用词等预处理,然后应用Word2vec来表征词之间的语义相似性关系,最后利用卷积神经网络提取隐患信息的局部上下文高层特征,并使用Softmax分类器实现隐患信息的自动分类。实验结果表明,该方法实现了端到端的自动分类,可有效提升分类的准确性和全面性。     

融合RoBERTa的多尺度语义协同专利文本分类模型

针对静态词向量工具(如word2vec)舍弃词的上下文语境信息，以及现有专利文本分类模型特征抽取能力不足等问题，提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型。RoBERTa能够学习到当前词符合上下文的动态语义表示，解决静态词向量无法表示多义词的问题。多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征，再由双向内置注意力简单循环单元进行不同层次的上下文语义建模，将多尺度输出特征进行拼接，由注意力机制对分类结果贡献大的关键特征分配更高权重。在国家信息中心发布的专利文本数据集上进行验证，与ALBERT-BiGRU和BiLSTM-ATT-CNN相比，RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7%和5.1%,大类级专利的分类准确率分别提升了6.7%和8.4%。结果表明，RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

基于面上下文码匹配的CAD模型检索方法

为弥补现有的基于图的形状描述应用图匹配或子图匹配实现CAD模型检索时,存在着检索效率低下或检索结果不够准确的缺陷,提出一种基于面上下文码匹配的CAD模型检索方法。提取CAD模型的B-rep信息生成面属性邻接图;依据面的上下文邻接关系,将模型面属性邻接图转化为上下文层状面属性邻接图,生成面上下文码;由检索模型与数据库模型的面上下文码匹配排除筛选不匹配的面,得到与检索模型相匹配的面。实验结果表明,该方法能够实现CAD模型的整体和局部检索,并且检索效率和精准程度能够满足实际需要。     

基于LDA和BiGRU的文本分类

文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门控循环神经网络层(BiGRU)充分提取文本深度信息特征的分类方法。该方法主要使用的数据集是天池比赛新闻文本分类数据集,首先用Word2vec和LDA模型分别在语料库中训练词向量,Word2vec经过TF-IDF进行加权所得的词向量再与LDA训练的经过最大主题概率扩展的词向量进行简单拼接,拼接后得到文本矩阵,将文本矩阵输入到BiGRU神经网络中,分别从前后两个反方向提取文本深层次信息的特征向量,最后使用softmax函数进行多分类,根据输出的概率判断所属的类别。与现有的常用文本分类模型相比,准确率、F1值等评价指标都有了较高的提升。     

基于道路环境上下文的行人跟踪方法

针对目前城市交通中人车混行场景中行人跟踪效果不佳的问题,提出了一种基于道路环境上下文的行人跟踪方法。首先通过对道路环境上下文进行分析,建立道路模型;其次在道路模型的约束下建立行人与环境的交互运动模型;最后利用该模型进行行人的跟踪。在真实场景中的实验表明使用了道路上下文信息的跟踪方法与连续离散连续能量最小化的多行人跟踪方法相比,多目标跟踪准确度从47.6%提升至63.2%,多目标跟踪精度从68.8%提升至74.3%。数值结果表明道路上下文信息对于提高人车混行场景中行人跟踪效果的有效性。     

基于上下文语义信息的铁路扣件状态检测

针对传统"视觉词包(BOW)模型"识别铁路扣件状态时仅利用扣件图像的特征域,忽略其空间域中上下文语义信息的缺点,提出了一种基于上下文语义信息的扣件检测模型.在传统"视觉词包模型"的基础上,引入吉布斯随机场模型对图像中像素的空间相关性进行建模,将图像块在特征域的相似性与空间域的上下文语义约束关系结合,更准确地定义视觉单词;利用潜在狄利克雷分布(LDA)学习扣件图像的主题分布;采用支持向量机(SVM)对扣件进行分类识别.对4类扣件图像的分类实验证明:模型能够有效提高扣件分类精度.     

领域自适应的Web服务评价模型

Web服务质量的评价是指导Web服务的选取与组合的主要手段,而目前的Web服务评价模型采用与服务领域无关的评价因子来评价服务,不能全面衡量服务使用者对Web服务质量的要求．该文用基于语义的方法描述Web服务评价模型,支持动态定制不同领域的服务评价因子,同时利用Web服务在使用过程中产生的知识以及领域专家的领域知识交互计算评价因子的权重分布．实验证明,该模型的评价结果优于其它评价模型的评价结果,并且采用交互算法的准确率比仅采用机器学习算法或仅使用先验知识的准确率提高10％以上．该模型可应用于Web服务管理系统、Web服务选取和Web服务合成引擎等Web服务应用系统中．     

基于概念图卷积的方面级情感检测方法

针对方面级情感分析方法准确率难以达到实用效果的问题,设计一种融合注意力机制并同时考虑句子句法结构和语料库共现信息的A-LSGCN模型,以便提高预测句子中特定属性情感极性的准确率;首先,联合多头注意力机制和词汇-句法图卷积,对属性的记忆向量和历史上下文内存向量进行叠加与更新,从而获得目标属性词及其上下文之间的关系;其次,为减少冗余对分类干扰,并充分学习通用语法知识,采用句法依存图神经网络提取句法结构信息,直接匹配属性及其情感表达,经网络分类计算最终得到特定属性对应的情感极性;最后在多个SemEval数据集上进行对比试验,其中Laptop14 数据集的MF1分数和准确率分别提升了1.1%、5.5%。     

基于服务上下文的Web服务发现机制

服务发现成为Web服务组合研究的重点,为解决服务组合过程中服务发现方法存在动态适应能力不足,提出了一种基于服务上下文的Web服务发现机制.该机制将一种服务本体描述语言OWL-S和一种基于服务上下文的服务发现算法相结合,利用语义描述服务的信息,同时定义了服务上下文信息并进行服务上下文匹配来发现所需服务.实验结果表明,基于服务上下文的Web服务发现机制能够提高服务发现的准确性,具有较好地动态适应性.     

模型驱动架构的语义组合Web服务的验证

针对语义Web服务的组合与验证问题,提出了基于模型驱动架构（MDA）的组合方法与基于语义匹配度的匹配方法。组合方法使用UML类图和用例图对OWL-S进行静态组合建模,使用活动图对OWL-S进行动态组合建模。在建模过程中使用基于语义匹配度的匹配方法,选择可用的子Web服务确定最合适的组合Web服务,并将该组合UML模型转化为可验证的Promela语言,使用SPIN工具进行验证,通过验证的UML模型作为模板保存于本体的知识库中以便使用。该模型提高了开发语义Web服务的效率,保证了组合过程的正确性,还能利用模板与语义匹配度实时发现与选择可用的Web服务。     

一种基于情境的语义Web服务发现方法

在普适计算环境下,如何结合情境信息以发现满足用户需求的服务,是目前Web服务研究的一个关键问题.提出一种基于情境的Web服务发现框架,采用本体进行情境建模,利用用户反馈信息进行权重计算,并给出了一个基于相似度的语义Web服务的匹配算法.最后通过实验验证了该方法的有效性.     

A JESS-enabled context elicitation system for providing context-aware Web services

Providing context-aware Web services is an adaptive process of delivering contextually matched Web services to meet service requesters’ needs. We define the term “context” from two perspectives: one from service requesters; and the other from Web services. From the former perspective, context is defined as the surrounding environment affecting requesters’ services discovery and access, such as requesters’ preferences, locations, activities, and accessible network and devices. From the latter perspective, context is defined as the surrounding environment affecting Web services delivery and execution, such as networks and protocols for service binding, devices and platforms for service execution, and so on. This paper presents a Java Expert System Shell (JESS)-enabled context elicitation system featuring an ontology-based context model that formally describes and acquires contextual information pertaining to service requesters and Web services. Based on the context elicitation system, we present a context-aware services-oriented architecture for providing context-aware Web service request, publication, and discovery. Implementation details of the context elicitation system and the evaluation results of context-aware service provision are also reported.     

支持Web服务组合与验证的形式化模型

针对Web服务的组合与验证问题,在范畴理论描述框架的基础上,引入进程代数描述服务组件的外部行为,为Web服务系统的架构描述建立了一种形式化的语义模型。Web服务作为范畴理论中的对象节点,服务间的交互和组合关系作为态射,从而以范畴图表的形式来描述服务网络。在形式化定义服务接口、Web服务、服务组合等概念的基础上,进一步分析讨论了服务组合和交互过程中的语义特性,给出了Web服务可替代性和服务请求可满足性的形式化定义。实例研究表明,该框架增强了Web服务架构的语义描述能力。