基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。     

基于多特征融合的航空发动机剩余寿命预测

针对航空发动机剩余可用寿命(RUL)预测任务中代表性特征提取不充分导致RUL预测精度较低等问题, 提出了一种基于多特征融合的航空发动机RUL预测方法. 利用指数平滑法(ES)降低原始数据中的噪声干扰, 得到相对平稳的特征数据. 使用双向长短期记忆网络(Bi-LSTM)提取特征数据的时序特征, 利用多头注意力机制(Multi-attention)为时序特征赋予权重; 设计卷积长短期记忆网络(Conv-LSTM)提取特征数据的时空特征; 提取特征数据的手工特征并使用Softmax函数计算权重. 设计一个特征融合框架将上述特征进行融合, 然后通过全连接网络回归实现最终RUL预测. 使用C-MAPSS数据集对模型进行仿真验证, 与Bi-LSTM等模型进行对比, 模型RUL预测精度更高, 适应性更好.     

多层CNN特征融合及多分类器混合预测的多模态虚假信息检测

针对现有的多模态虚假信息检测方法很少对多模态特征在特征层面进行融合，同时忽略了多模态特征后期融合作用的问题，提出了一种基于CNN多模态特征融合及多分类器混合预测的虚假信息检测模型。首次将多层CNN应用于多模态特征融合，模型首先用BERT和Swin-transformer提取文本和图像特征；随后通过多层CNN对多模态特征在特征层面进行融合，通过简单拼接对多模态特征在句子层面进行融合；最后将2种融合特征输入到不同的分类器中得到2个概率分布，并将2个概率分布按比例进行相加得到最终预测结果。该模型与基于注意力的多模态分解双线性模型(AMFB)相比，在Weibo数据集和Twitter数据集上的准确率分别提升了6.1%和4.3%。实验结果表明，所提模型能够有效提高虚假信息检测的准确率。     

基于多模双线性池化方法的虚假新闻检测模型

社交媒体的兴起促进了新闻行业的发展,使虚假新闻的传播也变得更为便利,然而多样化的新闻表现形式带来了很多负面影响,比如新闻内容夸大事实、恶意篡改新闻文本或图像内容、构造虚假新闻事实引起社会舆论,这促使了虚假新闻检测工作成为新闻领域新的挑战。为了应对虚假新闻检测工作的研究,将新闻文本与图像信息结合起来,通过多模双线性池化方法,改变传统特征融合方法,构建出基于新特征融合方法的虚假新闻检测模型,并且采用虚假新闻检测领域标准数据集验证模型的性能,实验结果表明,文本与图像的融合特征表现在虚假新闻检测领域不可替代,且所提方法能够有效提升虚假新闻检测性能。     

面向领域新闻的词汇输入预测

为解决领域新闻中词汇使用频率对输入预测准确度的影响,提出一种面向领域新闻的词汇输入预测方法,结合样本修剪提升LSTM应用于领域新闻词汇预测中的准确性。利用文本的词序关系形成词汇网络,构建词汇相关度度量模型计算词汇间的相关度,依据词汇间的强弱关系进行词汇修剪。基于词序关系,采用LSTM进行训练,生成词汇输入预测序列。实验结果表明,相比传统LSTM模型,所提方法能够提升平均4.73%的准确率,验证了所提方法的可行性与有效性。     

多模态混合注意力机制的虚假新闻检测研究

探索高效的模态表示和多模态信息交互方法一直是多模态虚假新闻检测领域的热门话题,提出了一项新的虚假新闻检测技术（MAM）。MAM方法使用结合位置编码的自注意力机制和预训练的卷积神经网络分别提取文本和图像特征;引入混合注意力机制模块进行文本与图像特征交互,该模块使用了层级特征处理方法来减少多模态交互时产生的冗余信息,又使用了双向的特征融合手段保证训练信息的完整性;加权融合多模态特征并将其输入全连接网络中进行真假新闻分类。对比实验结果表明：相比现有的多模态基准模型,该方法几乎在各个分类指标上都提高3个百分点左右,此外,可视化实验发现混合注意力机制获得的多模态特征具有更强的泛化能力。     

显式融合词法和句法特征的抽取式机器阅读理解模型

预训练语言模型虽然能够为每个词提供优良的上下文表示特征, 但却无法显式地给出词法和句法特征, 而这些特征往往是理解整体语义的基础. 鉴于此, 本文通过显式地引入词法和句法特征, 探究其对于预训练模型阅读理解能力的影响. 首先, 本文选用了词性标注和命名实体识别来提供词法特征, 使用依存分析来提供句法特征, 将二者与预训练模型输出的上下文表示相融合. 随后, 我们设计了基于注意力机制的自适应特征融合方法来融合不同类型特征. 在抽取式机器阅读理解数据集CMRC2018上的实验表明, 本文方法以极低的算力成本, 利用显式引入的词法和句法等语言特征帮助模型在F1和EM指标上分别取得0.37%和1.56%的提升.     

基于一对多关系的多模态虚假新闻检测

面向多模态的虚假新闻检测工作大部分是利用文本和图片之间的一对一关系,将文本特征和图片特征进行简单融合,忽略了帖子内多张图片内容的有效特征,对帖子间的语义关联建模不足。为了克服现有方法的局限性,该文提出了一种基于文图一对多关系的多模态虚假新闻检测模型。利用跨模态注意力网络筛选多张图片的有效特征,通过多模态对比学习网络动态调整帖子间高层次的语义特征关联,增强融合图文特征的联合表示。在新浪微博数据集上的实验结果表明,该模型能充分利用文图一对多关系的有效信息和帖子之间的语义特征关系,比基线模型准确率提升了3.15%。     

融合序列分解与Prophet模型的时序预测

传统时序预测方法其预测过程无法在相同数据集上推出共享模式, 而机器学习方法无法较好地处理非线性和大规模数据集, 并且需要手动设计特征工程. 深度学习方法弥补了传统预测方法需要高计算高人力的弊端, 用自动学习特征工程代替了手动设计特征工程. 但仅使用深度学习的预测方法所作结构假设较少, 通常需要较高的计算资源以及大量的数据来学习得到准确的模型. 针对上述问题, 本文提出通过采用融合t检验的EMD经验模态将序列分为高频分量和低频分量, 对高频分量使用传统STL序列分解方法进一步对数据做处理, 对高频、低频分量分别进行Prophet预测. 实验结果表明, 相较于传统的LSTM以及Prophet预测模型, 经过STL序列分解后的周期数据能够提升模型的整体预测精确度而融合EMD经验模态的Prophet模型则大大提升了训练效率.     

基于图卷积神经网络的虚假新闻检测

当前检测虚假新闻的方法往往依赖于人工设计的特征，并且需要提供大量如用户信息、传播路径等不宜获取的隐私信息，使得模型泛化性较差。针对上述问题，提出一种基于图卷积网络（GCN）和预训练ALBERT(A-LiteBidirectional Encoder Representations from Transformers)构建的新闻检测模型GCN-ALBERT。首先，利用GCN捕获文本全局信息，提取新闻文本的全局语义信息；其次，利用自注意力机制融合ALBERT生成的局部信息与全局信息；最后，建立包含局部信息和全局信息的分类表示，从而实现虚假新闻检测。实验结果表明，所提模型在两个真实的英文数据集上与预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)相比，宏F1值分别提高了3.0%和4.2%。所提模型能够有效融合新闻文本的全局信息和局部信息，准确率更高。     

注入注意力机制的深度特征融合新闻推荐模型

现有新闻推荐模型在挖掘新闻特征和用户特征时,往往没有考虑所浏览新闻之间的关系、时序变化以及不同新闻对用户的重要性,从而缺乏全面性;同时,现有模型在新闻更细粒度的内容特征挖掘方面有欠缺.因此构建了一个能够全面而不冗余地进行用户表征并能提取新闻更细粒度片段特征的新闻推荐模型——注入注意力机制的深度特征融合新闻推荐模型.该模...     

基于Stacking模型融合的光伏发电功率预测

为了提高光伏发电输出功率的预测精度和可靠性,本文提出一种基于Stacking模型融合的光伏发电功率预测方法.选取某光伏电站温度、湿度、辐照度等历史实测数据为研究对象,在将光伏发电功率数据进行特征交叉以及基于模型的递归特征消除法进行预处理和特征选择的基础上,以XGBoost、LightGBM、RandomForest 3种机器学习算法作为Stacking集成学习的第一层基学习器,以LinearRegression作为第二层元学习器,构建了多个机器学习算法嵌入的Stacking模型融合的光伏发电功率预测模型.预测结果表明,该方法的R²、MSE分别达到了0.9874和0.1056,相较于单一的机器学习模型,预测精度显著提升.     

融合语义与事件特征的重大事件趋势预测

针对当前基于海量公开新闻数据的重大事件趋势预测研究在特征选择上的局限性问题,结合人工智能相关技术对现有方法进行优化改进,提出一种融合语义与事件特征的重大事件趋势预测方法。利用网络爬虫技术辅助数据采集;利用主题模型与事件抽取技术辅助海量新闻数据的特征集构建与向量表示,并针对LDA主题模型在特征词提取上存在偏向性的问题,提出一种改进模型IDFLDA;利用机器学习分类模型进行预测结果输出。以朝鲜核行为预测为例对提出方法进行验证,预测结果表明,该方法的预测性能优于依赖专家知识进行特征集构建的传统方法,能有效进行重大事件的趋势预测,为战略决策提供辅助支持。     

采用卷积核金字塔和空洞卷积的单阶段目标检测

目的 在基于深度学习的目标检测模型中,浅层特征图包含更多细节但缺乏语义信息,深层特征图则相反,为了利用不同深度特征图的优势,并在此基础上解决检测目标的多尺度问题,本文提出基于卷积核金字塔和空洞卷积的单阶段目标检测模型。方法 所提模型采用多种方式融合特征信息,先使用逐像素相加方式融合多层不同大小的特征图信息,然后在通道维度拼接不同阶段的特征图,形成具有丰富语义信息和细节信息的信息融合特征层作为模型的预测层。模型在锚框机制中引入卷积核金字塔结构,以解决检测目标的多尺度问题,采用空洞卷积减少大尺寸卷积核增加的参数量,合理地降低锚框数量。结果 实验结果表明,在PASCAL VOC2007测试数据集上,所提检测框架在300×300像素的输入上检测精度达到79.3% mAP（mean average precision）,比SSD（single shot multibox detector）高1.8%,比DSSD（deconvolutional single shot detector）高0.9%。在UCAS-AOD遥感数据测试集上,所提模型的检测精度分别比SSD和DSSD高2.8%和1.9%。在检测速度上,所提模型在Titan X GPU上达到21帧/s,速度超过DSSD。结论 本文模型提出在两个阶段融合特征信息并改进锚框机制,不仅具有较快的检测速度和较高的精度,而且较好地解决了小目标以及重叠目标难以被检出的问题。     

基于特征融合的恶意加密流量识别

随着加密技术的全面应用, 越来越多的恶意软件同样采用加密的方式隐藏自身的网络活动, 导致基于规则和特征的传统方法无法满足准确性和普适性的要求. 针对上述问题, 提出一种层次特征融合和注意力的恶意加密流量识别方法. 算法具备层次结构, 依次提取数据包的特征和会话流的特征, 前一阶段设计全局混合池化方法进行特征融合; 后一阶段使用注意力机制提高BiLSTM网络分析序列关系的能力. 最终, 实验采用CIC-AndMal 2017数据集进行验证, 结果表明: 模型设计合理, 相比TextCNN模型和HST-MHSA模型, 漏报率分别降低5.8%和2.6%, 加权F1值分别提高4.7%和3.5%, 在恶意加密流量识别和分类方面体现良好的优化效果.     

LRSS-Net:轻量级遥感地物分割网络

针对目前基于深度学习的高分辨率遥感图像分割模型由于参数量大、计算复杂而导致高延迟、低响应的问题,提出了一种轻量级遥感地物分割方法,较好的平衡了速度和精度.该方法使用MobileNetV2进行特征粗提取,通过构建空间信息嵌入分支实现不同尺度的特征细提取,不同层次之间引入密集连接以获取密集的上下文信息.解码端设计特征融合优化策略逐层融合不同尺度的特征增加对细粒度特征的感知,同时以反卷积与双线性插值交替的上采样方式减少图像边缘信息丢失.最后采用交叉熵损失与Dice损失结合的方式加快网络收敛速度.为了验证所提方法的有效性,与几种常用的语义分割方法进行了对比实验.实验结果表明,所提算法的分割准确率为93.7%,MIoU为88.01%,可以实现地物的有效分割.     

Cross-view action recognition by cross-domain learning

This paper proposes a novel cross-view human action recognition method by discovering and sharing common knowledge among different video sets captured in multiple viewpoints. We treat a specific view as target domain and the others as source domains and consequently formulate the cross-view action recognition into the cross-domain learning framework. First, the classic bag-of-visual word framework is implemented for visual feature extraction in individual viewpoints. Then, we add two transformation matrices in order to transform original action feature from different views into one common feature space, and also combine the original feature and the transformation feature to proposed the new feature mapping function for target and auxiliary domains respectively. Finally, we proposed a new method to learn the two transformation matrices in model training step based on the standard SVM solver and generate the final classifier for each human action. Extensive experiments are implemented on IXMAS, and TJU. The experimental results demonstrate that the proposed method can consistently outperform the state-of-the-arts.     

基于特征融合网络的自然场景文本检测

目前,基于深度学习的自然场景文本检测在复杂的背景下取得很好的效果,但难以准确检测到小尺度文本.本文针对此问题提出了一种基于特征融合的深度神经网络,该网络将传统深度神经网络中的高层特征与低层特征相融合,构建一种高级语义的神经网络.特征融合网络利用网络高层的强语义信息来提高网络的整体性能,并通过多个输出层直接预测不同尺度的文本.在ICDAR2011和ICDAR2013数据集上的实验表明,本文的方法对于小尺度的文本,定位效果显著.同时,本文所提的方法在自然场景文本检测中具有较高的定位准确性和鲁棒性,F值在两个数据集上均达到0.83.     

动态迁移实体块信息的跨领域中文实体识别模型

由于中文文本之间没有分隔符,难以识别中文命名实体的边界.此外,在垂直领域中难以获取充足的标记完整的语料,例如医疗领域和金融领域等垂直领域.为解决上述不足,提出一种动态迁移实体块信息的跨领域中文实体识别模型(TES-NER),将跨领域共享的实体块信息(entity span)通过基于门机制(gate mechanism)的动态融合层,从语料充足的通用领域(源领域)动态迁移到垂直领域(目标领域)上的中文命名实体模型,其中,实体块信息用于表示中文命名实体的范围.TES-NER模型首先通过双向长短期记忆神经网络(BiLSTM)和全连接网络(FCN)构建跨领域共享实体块识别模块,用于识别跨领域共享的实体块信息以确定中文命名实体的边界;然后,通过独立的基于字的双向长短期记忆神经网络和条件随机场(BiLSTM-CRF)构建中文命名实体识别模块,用于识别领域指定的中文命名实体;最后构建动态融合层,将实体块识别模块抽取得到的跨领域共享实体块信息通过门机制动态决定迁移到领域指定的命名实体识别模型上的量.设置通用领域(源领域)数据集为标记语料充足的新闻领域数据集(MSRA),垂直领域(目标领域)数据集为混合领域(OntoNotes 5.0)、金融领域(Resume)和医学领域(CCKS 2017)这3个数据集,其中,混合领域数据集(OntoNotes 5.0)是融合了6个不同垂直领域的数据集.实验结果表明,提出的模型在OntoNotes 5.0、Resume和CCKS 2017这3个垂直领域数据集上的F1值相比于双向长短期记忆和条件随机场模型(BiLSTM-CRF)分别高出2.18%、1.68%和0.99%.