基于RetinaNet-CPN网络的视频人体关键点检测

为解决基于视频流的人体关键点检测效果不佳及视频流切片后可能会发生运动模糊的问题,提出了一种改进的RetinaNet-CPN网络对人体关键点进行检测,有效解决切片后运动模糊图像的干扰并提高了人体关键点的检测准确率.视频流切片后,先用改进的RetinaNet网络检测出图片中的所有人并对每个目标框做模糊检测,对大于阈值的目标框做去模糊处理,最后用引入注意力机制的CPN网络提取关键点.将RetinaNet衡量预测框与真实框差异的IOU函数改成DIOU后,在仿真实验中目标检测AP提高了近3％;对于模糊的图片,利用匀速直线运动频谱特征估算出的模糊核与实际模糊核相差不大,对其做去模糊处理后基本能恢复出原清晰图片;同时引入注意力机制为各通道和特征层分配合理的权重,使得CPN检测AP提高近1％,AR提升0.5％.     

基于ViLBERT与BiLSTM的图像描述算法

传统图像描述算法存在提取图像特征利用不足、缺少上下文信息学习和训练参数过多的问题,提出基于ViLBERT和双层长短期记忆网络(BiLSTM)结合的图像描述算法.使用ViLBERT作为编码器,ViLBERT模型能将图片特征和描述文本信息通过联合注意力的方式进行结合,输出图像和文本的联合特征向量.解码器使用结合注意力机制的BiLSTM来生成图像描述.该算法在MSCOCO2014数据集进行训练和测试,实验评价标准BLEU-4和BLEU得分分别达到36.9和125.2,优于基于传统图像特征提取结合注意力机制图像描述算法.通过生成文本描述对比可看出,该算法生成的图像描述能够更细致地表述图片信息.     

双流网络信息交互机制下的微表情识别

针对深度学习的方法用于微表情识别时微表情识别的实验数据库非常稀缺,导致神经网络在学习的过程中知识获取有限而难以提高精度及泛化能力的问题,提出基于双流网络信息交互的微表情识别方法.通过改进的深度互学习策略引导图像序列不同模态之间的交互训练,提高网络的识别率.方法基于RGB图像序列建立主体网络,基于光流建立辅助网络;在训练阶段,通过设计互学习损失中的有监督学习损失和拟态损失,优化训练过程,使得每一种模态都能学习正确地预测训练样本的真实标识,同时能与其他模态的预测相匹配;在测试阶段,由于互学习机制增强了RGB分支的判别能力,因此可对光流分支进行剪裁,在保证精度的前提下提高识别速度.在CASME,CASMEⅡ和SMIC数据库上的实验结果表明,该方法有效地提高了识别精度,整体性能优于已有方法.     

基于深度网络的出租车Pick-up需求预测

在智慧城市建设中,区域的出租车需求预测是一个十分重要的模块。为了预测指定区域未来时刻的出租车需求,本文通过拓展已有序列模型,提出一个多时间分辨率的基于层次注意力机制的循环高速网络（Multi-Time Resolution Hierarchical Attention-Based Recurrent Highway Networks, MTR-HRHN）。MTR-HRHN将对外生数据时空特征的提取和目标数据的时空建模整合到单个框架中,并且通过多分辨率（例如每个小时或者每天）对序列数据不同的时间属性建模,从而捕获更全面的时间模式。最后,在纽约市出租车数据集上评估MTR-HRHN的预测性能。实验结果表明,与其他经典时间序列预测方法相比,MTR-HRHN在多个高需求区域的短期需求预测上表现出更好的预测性能。     

A novel deep learning prediction model for concrete dam displacements using interpretable mixed attention mechanism

Dam displacements can effectively reflect its operational status, and thus establishing a reliable displacement prediction model is important for dam health monitoring. The majority of the existing data-driven models, however, focus on static regression relationships, which cannot capture the long-term temporal dependencies and adaptively select the most relevant influencing factors to perform predictions. Moreover, the emerging modeling tools such as machine learning (ML) and deep learning (DL) are mostly black-box models, which makes their physical interpretation challenging and greatly limits their practical engineering applications. To address these issues, this paper proposes an interpretable mixed attention mechanism long short-term memory (MAM-LSTM) model based on an encoder-decoder architecture, which is formulated in two stages. In the encoder stage, a factor attention mechanism is developed to adaptively select the highly influential factors at each time step by referring to the previous hidden state. In the decoder stage, a temporal attention mechanism is introduced to properly extract the key time segments by identifying the relevant hidden states across all the time steps. For interpretation purpose, our emphasis is placed on the quantification and visualization of factor and temporal attention weights. Finally, the effectiveness of the proposed model is verified using monitoring data collected from a real-world dam, where its accuracy is compared to a classical statistical model, conventional ML models, and homogeneous DL models. The comparison demonstrates that the MAM-LSTM model outperforms the other models in most cases. Furthermore, the interpretation of global attention weights confirms the physical rationality of our attention-based model. This work addresses the research gap in interpretable artificial intelligence for dam displacement prediction and delivers a model with both high-accuracy and interpretability.     

A maximum self-esteem degree based feedback mechanism for group consensus reaching with the distributed linguistic trust propagation in social network

This paper focuses on consensus reaching process (CRP) under social network in which the trust relationship expressed by linguistic information. A new feedback mechanism in social network group decision making (SN-GDM) is proposed, which mainly consists of the following two aspects: (1) The propagation of distributed linguistic trust is investigated to study trust relation among experts; (2) A maximum self-esteem degree based feedback mechanism is developed to produce personalized advice for reaching higher group consensus. To do so, a novel linguistic trust propagation method is proposed to obtain the complete trust relationship among group. The self-esteem degree is used to define the extent that an individual makes concessions. Then, a maximum self-esteem degree based optimal feedback mechanism is built to produce personalized advice to help inconsistent experts make change of their opinion. Its novelty lies in the establishment of an optimization model with the nonlinear group self-esteem degree function as the objective function while group consensus threshold as the restrictions. Therefore, the inconsistent experts will reach a group consensus with the minimum loss of self-esteem degree, and then, it achieves the optimal balance between individual self-esteem and group consensus. Finally, a ranking process is applied to derive the appropriate consensus solution.     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

基于自动编码器的深度伪造图像检测方法

基于深度学习的图像伪造方法生成的图像肉眼难辨,一旦该技术被滥用于制作虚假图像和视频,可能会对国家政治、经济、文化造成严重的负面影响,也可能会对社会生活和个人隐私构成威胁。针对上述问题,提出了一种基于自动编码器的深度伪造Deepfake图像检测方法。首先,借助高斯滤波对图像进行预处理,提取高频信息作为模型输入;然后,利用自动编码器对图像进行特征提取,并在编码器中添加注意力机制模块以获取更好的分类效果;最后,通过消融实验证明,采用所提的预处理方法和添加注意力机制模块有助于伪造图像检测。实验结果表明,与ResNet50、Xception以及InceptionV3相比,所提方法在数据集样本量较小且包含的场景丰富时,可以有效检测多种生成方法所伪造的图像,其平均准确率可达97.10%,明显优于对比方法,且其泛化性能也明显优于对比方法。     

基于动态注意力和多角度匹配的答案选择模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题,提出了基于动态注意力和多角度匹配（DAMPM）的答案选择模型。首先,调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量;接着,在注意力层采用过滤机制有效地去除句子中的噪声,从而更好地得到问句和答案句的句子表征;其次,在匹配层同时引入多种匹配策略来完成句子向量之间的信息交互;然后,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接;最后,通过分类器来计算拼接向量的相似度大小,从而得到问句和答案句之间的语义关联。在文本检索会议问答（TRECQA）数据集上的实验结果表明,与基于比较聚合框架的基线模型中的动态滑动注意力网络（DCAN）方法相比,DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6个百分点。在维基百科问答（WikiQA）数据集上的实验结果表明,DAMPM相较DCAN在两个性能指标上分别提高了0.7个百分点和0.8个百分点。所提DAMPM相较于基线模型中的方法整体上有更好的性能表现。     

无人机群目标搜索的主动感知方法

为提升蚁群搜索算法在规模大的栅格环境中对未知目标的搜索效率,提出基于蚁群算法的主动感知搜索框架。该框架通过应用历史环境信息来选择无人机的运动方式,并由无人机运动方式和感知域信息得到新的环境信息,从而实现无人机群的智能自动化搜索功能。新方法计算出一种具有探索偏好的未搜索概率,可使无人机搜索时偏向未搜索程度高的栅格,以此来提高算法的搜索能力。同时,以未搜索概率和信息素作为运动方式决策的依据来建立一种新的运动方式选择机制。该机制不仅考虑了目标可能出现的区域,又可兼顾未知区域,从而可实现无目标先验信息条件下的搜索过程。仿真结果表明,此算法在规模大的栅格环境中,与现有算法相比具有更高的搜索效率,并且得到的目标分布信息将更加全面。