粗-细两阶段卷积神经网络算法

在医学上,人上皮2型(HEp-2)细胞的间接免疫荧光检测在自身免疫性疾病的诊断中起着决定性的作用,而自身免疫性疾病的诊断,往往受到人力物力的限制.鉴于神经网络在图像分类任务中的优异性能,提出了一种基于聚类算法的粗-细两阶段卷积神经网络算法(CTFTCNN),并应用到HEp-2细胞分类中.在所提出的方法中,有两种类型的分类任务:粗粒度分类和细粒度分类.粗粒度分类是指,采用聚类算法从原始数据集中生成一个粗粒度数据集,用多尺度卷积神经网络(MSCNN)去处理该粗粒度数据集.然后在一定条件下进行细粒度分类.在细粒度分类时,仅对在粗粒度分类中至少包含了两个细类的粗类进行处理,且采用VGG16网络对每个这样的粗类进行细分.最后集成粗粒度网络和细粒度网络的结果.具体地,对于至少包含了两个细类的粗类,将粗粒度和细粒度网络中提取的特征融合起来决定最终的预测结果.在真实数据集上进行实验以评估所提出的模型.实验结果表明:与目前最先进的方法相比,该模型具有良好的应用前景.     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

用双层减样法优化大规模SVM垃圾标签检测模型*

针对支持向量机在训练大规模数据集时出现的速度瓶颈问题,提出一种新的减样方法,称双层减样法。数据减样时,双层减样法从粗、细粒度两个层次削减样本。粗粒度约减时,利用核空间距离聚类法,以簇为单位削减冗余子集。细粒度约减时,以点为单位挑选剩余点集中的支持向量。实验表明,双层减样法能有效的压缩样本数据,同时还能放大数据集的分类特征,提高分类器的分类精度。将此法应用于大规模SVM垃圾标签检测模型的训练集优化上,能明显提高检测模型的训练速度。双层减样法是将“粒度”和“层次”的概念引入减样法中,在约减时适时改变约减幅度。这比传统减样法更具有优势。     

基于深度学习的鱼类分类算法研究

回顾近年来国内外对鱼类分类的研究进展,指出传统方法存在的缺陷。深度学习是目前图像分类的主流方法。研究基于卷积神经网络CNN(Convolutional Neural Network)的鱼类分类模型,并以该模型为基础,进一步提出利用迁移学习,以预训练网络的特征结合SVM算法(Pre CNN+SVM)的混合分类模型。实验以Fish4-Knowledge(F4 K)作为数据集,使用Tensor Flow训练网络模型。实验结果表明,利用Pre CNN+SVM算法,取得了98.6%的准确率,较传统方法有显著提高。对于小规模数据集,有效解决了需要人工提取特征的不可迁移性。     

基于词典分类器的细粒度机构名识别

为提高机构名识别精度,满足关系抽取等下游任务的需求,提出分阶段细粒度命名实体识别思想.利用Bert-BiLSTM-CRF模型对机构名进行粗粒度识别,将机构名视为短文本,采用Bert-CNN对构建的机构名词典训练细粒度分类模型,获取机构名的细粒度标签.实验结果表明,提出的分阶段方法在细粒度机构名识别上F1值最佳达到了0....     

基于文本筛选和改进BERT的长文本方面级情感分析

方面级情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中,由于长文本存在的冗余和噪声问题,导致现有的方面级情感分析算法对于长文本中方面相关信息的特征提取不够充分,分类不精准;而在方面分层为粗粒度和细粒度方面的数据集上,现有的解决方案没有利用粗粒度方面中的信息。针对以上问题,提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句;然后将部分语句按次序进行组合,并与细粒度方面相结合输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取;最后使用Softmax进行情感分类。通过与基于卷积神经网络（CNN）的GCAE（Gated Convolutional Network with Aspect Embedding）、基于LSTM的交互式注意力模型（IAN）等经典模型相比,该算法在验证集上的相关评价指标分别提高了3.66%和4.59%,与原始BERT模型相比提高了0.58%。实验结果表明,基于文本筛选和改进BERT的算法在长文本方面级情感分析任务中具有较大的价值。     

基于深度记忆网络的在线评论细粒度情感分类

细粒度情感分类是指针对目标观点来确定句子的情感倾向。由于一句评论可以包含多个情感目标对,考虑到情感目标在不同的语境下可能有不同的表示方法,因此通过引入Attention机制,提出一种基于深度记忆网络的在线评论细粒度情感分类方法。Attention机制通过对每个上下文单词的语义关联进行建模来捕获每个上下文单词对情感目标的重要性,并在此基础上,提出一种用于目标表示的方法,可以更好地捕获情感目标的语义信息。最后使用AI challenge 2018的数据集对该模型进行了实验,实验结果显示,与传统方法相比,基于深度记忆网络的在线评论细粒度情感分类方法显著提高了分类效果。     

多任务学习的不平衡SVM+算法

处理不平衡数据分类时,传统支持向量机技术（SVM）对少数类样本识别率较低。鉴于SVM+技术能利用样本间隐藏信息的启发,提出了多任务学习的不平衡SVM+算法（MTL-IC-SVM+）。MTL-IC-SVM+基于SVM+将不平衡数据的分类表示为一个多任务的学习问题,并从纠正分类面的偏移出发,分别赋予多数类和少数类样本不同的错分惩罚因子,且设置少数类样本到分类面的距离大于多数类样本到分类面的距离。UCI数据集上的实验结果表明,MTL-IC-SVM+在不平衡数据分类问题上具有较高的分类精度。     

基于文本筛选和改进BERT的长文本方面级情感分析

方面级情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中，由于长文本存在的冗余和噪声问题，导致现有的方面级情感分析算法对于长文本中方面相关信息的特征提取不够充分，分类不精准；而在方面分层为粗粒度和细粒度方面的数据集上，现有的解决方案没有利用粗粒度方面中的信息。针对以上问题，提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句；然后将部分语句按次序进行组合，并与细粒度方面相结合输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取；最后使用Softmax进行情感分类。通过与基于卷积神经网络（CNN）的GCAE（Gated Convolutional Network with Aspect Embedding）、基于LSTM的交互式注意力模型（IAN）等经典模型相比，该算法在验证集上的相关评价指标分别提高了3.66%和4.59%，与原始BERT模型相比提高了0.58%。实验结果表明，基于文本筛选和改进BERT的算法在长文本方面级情感分析任务中具有较大的价值。     

一种基于自注意力机制的用户评论情感分类方法

近年来,用户评论情感分类方法成为自然语言处理领域的重要研究内容。本文利用自注意力机制在文本中捕捉重要局部特征的优势,在没有外部语法信息的条件下自动学习上下文关系,并结合卷积神经网络模型TextCNN,提出一种基于自注意力机制的文本分类模型(TextCNN Attention,TextCNN-Att),TextCNN-Att模型结合了卷积神经网络中的卷积操作,但不对卷积结果进行Maxpoolling,而是对卷积结果进行Attention处理,然后对每一个Attention结果进行Softmax,从而实现对用户评论的情感分类。实验结果表明,TextCNN-Att在2018 AI全球挑战赛的数据集上的精确率为0.921,召回率为0.945,F1值为0.933。     

结合单词-字符引导注意力网络的中文旅游文本命名实体识别

传统基于词向量表示的命名实体识别方法通常忽略了字符语义信息、字符间的位置信息,以及字符和单词间的关联关系。提出一种基于单词-字符引导注意力网络（WCGAN）的中文旅游命名实体识别方法,利用单词引导注意力网络获取单词间的序列信息和关键单词信息,采用字符引导注意力网络捕获字符语义信息和字符间的位置信息,增强单词和字符间的关联性与互补性,从而实现中文旅游文本中命名实体的识别。实验结果表明,WCGAN方法在ResumeNER和TourismNER基准数据集上的F值分别为93.491%和92.860%,相比Bi-LSTM+CRF、Char-Dense等方法识别效果更好。     

面向视觉问答的跨模态交叉融合注意网络

为了提高视觉问答（VQA）模型回答复杂图像问题的准确率,提出了面向视觉问答的跨模态交叉融合注意网络（CCAN）。首先,提出了一种改进的残差通道自注意方法对图像进行注意,根据图像整体信息来寻找重要区域,从而引入一种新的联合注意机制,将单词注意和图像区域注意结合在一起;其次,提出一种“跨模态交叉融合”网络生成多个特征,将两个动态信息流整合到一起,每个模态内产生有效的注意流,其中对联合特征使用逐元素相乘的方法。此外,为了避免计算成本增加,网络之间共享参数。在VQA v1.0数据集上的实验结果表明,该模型的准确率达到67.57%,较MLAN模型提高了2.97个百分点,较CAQT模型提高了1.20个百分点。所提方法有效提高了视觉问答模型的准确率,具有有效性和鲁棒性。     

联合分层注意力网络和独立循环神经网络的地域欺凌识别

为提高对文本语境深层次信息的利用效率，提出了联合分层注意力网络（HAN）和独立循环神经网络（IndRNN）的地域欺凌文本识别模型——HACBI。首先，将手工标注的地域欺凌文本通过词嵌入技术映射到低维向量空间中；其次，借助卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）提取地域欺凌文本的局部及全局语义特征，并进一步利用HAN捕获文本的内部结构信息；最后，为避免文本层次结构信息丢失和解决梯度消失等问题，引入IndRNN以增强模型的描述能力，并实现信息流的整合。实验结果表明，该模型的准确率（Acc）、精确率（P）、召回率（R）、F1和AUC值分别为99.57%、98.54%、99.02%、98.78%和99.35%，相比支持向量机（SVM）、CNN等文本分类模型有显著提升。     

汉语V+V序列关系识别研究

“V+V”是现代汉语中的常见结构,能够形成兼语、连动等多种完全不同的句法结构,给句法和语义解析造成困难。针对“V+V”形成的句法结构类型和序列关系识别问题,设计并制定了一套语料库标注规范,以解决语料库中存在的“V+V”结构的嵌套标注问题,并据此构建起一个包含5 381个兼语句子、7 987个连动句子,以及1 212个兼语连动嵌套句子的“V+V”语料库。提出一个基于BiLSTM-CRF和多头注意力机制的模型,能够同时识别结构中的多个动词和名词的句法、语义角色。相比于以往只研究单项识别兼语或者连动结构,该模型不仅可以同时识别兼语结构、连动结构,还可以解决兼语连动嵌套结构的识别问题。实验结果表明：该方法能够很好地解决“V+V”序列关系的识别问题,在测试集语料上达到92.12%的F1值。     

融合时空感知GRU和注意力的下一个地点推荐

针对循环神经网络（RNN）的门控循环单元（GRU）在进行地点推荐时没有考虑地点的时间和空间信息的影响,提出了融合时空感知的GRU模型。另外,对于签到序列中不相关的签到数据会产生噪声的问题,提出了融合时空感知的GRU和注意力的下一个地点推荐模型（ST-GRU+Attention）。首先,通过计算两个地点之间时间间隙和距离间隙,在GRU模型的基础上增加时间门和空间门,设置权重矩阵,控制时间信息和空间信息对推荐下一个地点的影响;然后,引入注意力机制,通过计算用户偏好的注意力权重得分,得到用户的注意力权重系数,获取用户的个性化偏好;最后,通过贝叶斯个性化排序（BPR）算法构造目标函数并学习模型参数。实验结果表明,与个性化马尔可夫链和用户位置受限的推荐方法（FPMC-LR）、基于个性化排名度量嵌入的推荐方法（PRME）和融合时间和空间的循环神经网络（ST-RNN）的推荐方法相比,ST-GRU+Attention的准确度有了较大的提高,其准确率（Precision）和召回率（Recall）两项指标比较优的ST-RNN算法分别提高了15.4%和17.1%。ST-GRU+Attention推荐方法可以有效地改善地点推荐的结果。     

基于时空注意力网络的动态高速路网交通速度预测

交通速度是影响高速路网通行效率和安全的重要指标,精准预测高速路网交通速度可以减少交通事故和通行时间,预先为交通控制提供有价值的参考信息,对高速公路管理具有重要意义。基于时空注意力网络,提出一种由数据和长期预测任务驱动面向动态高速路网的交通速度预测模型(ST-ANet)。通过图注意力网络提取高速路网的动态空间关联特征,使用长短期记忆网络提取输入数据的时间关联特征。在此基础上,采用基于多头自注意力机制的时间注意力网络计算历史输入数据和预测值之间的相关性,并利用密集连接和层归一化方法进一步提升模型性能。基于中国宁夏回族自治区银川市高速路网监测数据进行实验,结果表明,与GCN-LSTM模型相比,STANet模型预测未来1 h、2 h和3 h内高速路网交通速度的平均绝对误差分别降低4.0%、3.6%和3.9%。     

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络（HRNet）的轻量型沙漏坐标注意力网络（SCANet）用于人体姿态估计。首先引入沙漏（Sandglass）模块和坐标注意力（CoordAttention）模块;然后在此基础上构建了沙漏坐标注意力瓶颈（SCAneck）模块和沙漏坐标注意力基础 （SCAblock）模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO（Common Objects in COntext）校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII（Max Planck Institute for Informatics）校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络（Hourglass）、级联金字塔网络（CPN）和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。     

Analytical Network Process for logistics management: A case study in a small electronic appliances manufacturer

The purpose of this study is to present an application of Analytical Network Process (ANP) for determination of best logistics partnership strategy of a small electronic appliances manufacturer operating in Turkey. The model includes both qualitative and quantitative factors which have been determined by literature review and the expertise of the company managers. Three different logistics management alternatives, “In-house Logistics”, “Third Party Arrangements”, and “Strategic Alliance”, are evaluated by an ANP model. Pairwise comparisons have been obtained through a survey conducted with the company personnel and sector managers. The results provide a decision support for the company courting strategies for logistics management under the aspects of “Law and Regulations”, “Corporate Structure”, and “Economical Factors”; given in “Customer”, “Finance” and “Technology” Dimensions.     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块：注意力机制融合模块与金字塔融合模块。其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络聚焦于信息含量更高的多模态特征域;金字塔融合模块利用四种不同金字塔尺度特征,融合局部与全局信息,提取场景语境,提升物体边缘和小尺度物体的分割精度。将这两个融合模块整合到一个包含三个分支的“编码器-解码器”网络中,实现“端到端”输出。该模型在SUN RGB-D和NYU Depth v2数据集上与多层残差特征融合网络（RDF-152）、注意力互补网络（ACNet）、空间信息引导卷积网络（SGNet）等先进方法进行实验对比。实验结果表明,与最好的表现方法RDF-152对比,APFNet的编码器网络层数从152层降低到50层的情况下,像素精度（PA）、平均像素精度（MPA）、平均交并比（MIoU）分别提升了0.4、1.1、3.2个百分点,并对枕头、照片等小尺度物体和木板、天花板等大尺度物体的语义分割质量分别有0.9~4.5和12.4~18个百分点的提升;故该模型在处理室内场景语义分割问题上具有一定的优势。     

联合注意力和Transformer的视网膜血管分割网络

视网膜血管分割在许多眼科疾病诊断和治疗方面至关重要。对复杂的视网膜结构及低对比度眼底图像来说,准确地分割视网膜图像的血管特征仍具有挑战性。联合注意力和Transformer的视网膜血管分割网络JAT-Net,通过对编码阶段特征的通道信息和位置信息联合关注增强编码局部细节特征,利用Transformer增强对长距离上下文信息和空间依赖关系建模的能力。在DRIVE和CHASE数据集上进行视网膜血管分割实验,其准确率分别为0.970 6和0.977 4,F1分数分别为0.843 3和0.815 4,在视网膜血管分割方面表现不错。