基于自注意力机制的桥梁螺栓检测算法

基于构建的真实桥梁螺栓场景数据集,提出基于自注意力机制与中心点回归（SACPR）的螺栓检测算法. 构建基于真实场景的高质量桥梁螺栓场景数据集,并针对数据不均衡、多样性不够的问题,使用数据增强方法进行数据扩充,从而获得更高的分类精度. 采用基于深度学习框架的SACPR算法检测不同场景下的螺栓,并进行标示. 对螺栓检测准确率进行验证实验,验证SACP算法的有效性. 将试验结果与YOLOv3、Faster-RCNN、RetinaNet这3种算法结果进行对比,发现3种检测方法的识别精度分别为80.56 %、87.71%、93.89%,而所提出的SACPR 算法的识别精度为93.91%,明显优于YOLOv3算法和Faster-RCNN算法;虽然SACPR算法与RetinaNet算法的识别精度较接近,但前者的检测速度是后者的5.6倍.     

人体数字图像中各组织影像的边缘提取算法研究

针对人体数字医学图像中各组织影像界限不明显、图像总体模糊、单个组织影像不均匀等特点,提出一种能够有效提取影像边缘以区分和观察各组织影像的方法。利用计算机图像处理技术,对组织影像进行灰度处理,进而根据不同组织影像的特征,选定相应的阈值,用算法程序对组织影像边缘进行有效提取,得到一系列效果图,通过观察分析得出实验结果。结果表明,该方法能够有效地提取出人体不同组织影像的边缘,有助于医生的临床诊断与分析。     

多媒体社会事件分析综述

由于网络技术的飞速发展,自媒体、微博、论坛等基于互联网的多种交流渠道日渐完善,人们能够方便地在线生成和共享丰富的社会多媒体内容。社会事件数据具有跨平台、多模态、大规模、噪声大等特点,基于多媒体社会事件的分析研究非常具有挑战性。因此,如何对社会媒体数据进行处理,研究社会事件分析方法、设计有效的社会事件分析模型成为社会事件分析研究的关键问题。文中对近年来多媒体社会事件分析的相关研究展开了综述,重点回顾了多媒体社会事件表示方法及其在虚假新闻检测、多媒体热点事件检测跟踪及演化分析、社交媒体危机事件响应等领域的应用,并对不同应用涉及的数据集进行了详细介绍。最后对多媒体社会事件分析方面未来可能的研究课题进行了展望。     

基于社会多媒体内容的用户建模应用研究

随着互联网和社会媒体平台的发展,社会媒体吸引着数以亿计的用户参与其中进行创造和分享信息,产生了海量的文本、图像、音频和视频数据.面对这些数量巨大、异构多源、模态复杂的社会多媒体内容数据,如何对其进行有效的内容理解和知识表示,从而为用户提供更高效、优质的服务,成为实现社会媒体大数据价值的关键.本文对近年来在社会多媒体内容分析、知识提取和表示以及用户建模应用的相关研究展开综述,并针对社会多媒体特征融合、跨模态知识提取与表示,以及基于社会媒体的用户建模相关应用研究三个方面进行详细总结.随后对社会多媒体内容的知识表示和用户建模的研究与应用的发展趋势进行介绍,最后对多媒体知识表示与用户建模研究进行了总结和展望.     

多模态多层次事件网络的谣言检测

目的 自动检测谣言至关重要,目前已有多种谣言检测方法,但存在以下两点局限：1）只考虑文本内容,忽略了可用于判断谣言的辅助多模态信息;2）只关注时间序列模型捕捉谣言事件的时间特征,没有很好地研究事件的局部信息和全局信息。为了克服这些局限性,有效利用多模态帖子信息并联合多种编码策略构建每个新闻事件的表示,本文提出一种新颖的基于多模态多层次事件网络的社交媒体谣言检测方法。方法 通过一个多模态的帖子嵌入层,同时利用文本内容和视觉内容;将多模态的帖子嵌入向量送入多层次事件编码网络,联合使用多种编码策略,以由粗到细的方式描述事件特征。结果 在Twitter和Pheme数据集上的大量实验表明,本文提出的多模态多层次事件网络模型比现有的SVM-TS（support vector machine—time structure）、CNN（convolutional neural network）、GRU（gated recurrent unit）、CallAtRumors和MKEMN（multimodal knowledge-aware event memory network）等方法在准确率上提升了4 %以上。结论 本文提出的谣言检测模型,对每个事件的全局、时间和局部信息进行建模,提升了谣言检测的性能。     

面向社交媒体的高质量内容识别

如何从海量多媒体文章中自动识别高质量内容是信息推荐、搜索引擎等系统的核心功能之一.现有的方法在训练中依赖大量的人工标注数据.针对其未考虑社交媒体中的社交信息和视觉内容的问题,提出一种基于正无标记(positive and unlabeled, PU)学习的图卷积高质量文章内容识别模型——基于PU学习的图卷积网络(graph convolutional network based on positive and unlabeled learning, GCN-PU),在统一的框架中使用一个异构网络同时建模社交媒体文章的文本和社交信息,并在该网络上使用图卷积网络来融合这些信息得到高阶特征.另外,使用多媒体文章的全局视觉布局信息来捕捉文章的综合视觉质量特征,用于补充图卷积网络输出的高阶特征.最后,在训练机制和损失函数中引入了PU学习来充分利用社交媒体中大量未标注的文章信息.在真实社交媒体数据集上的实验结果表明,相比于现有的方法, GCN-PU方法的F值提升了3%以上.     

基于变分贝叶斯对比网络的非参数图像聚类方法

非参数图像聚类中聚类簇数是未知的，需要模型自动发现.虽然一些现有的贝叶斯方法可以自动推断聚类簇数，但由于计算成本过高或过于依赖已学习到的特征，在大规模图像数据集上并不可行.因此，文中提出基于变分贝叶斯对比网络的非参数图像聚类方法.首先，利用ResNet提取图像特征.然后，提出深度变分迪利克雷过程混合优化方法，自动推断聚类数量，可直接嵌入端到端的深度模型，并可与特征提取器进行联合优化.最后，提出极化对比聚类学习，利用极化标签去噪策略对标签进行去噪和极化处理，并利用极化标签与数据增强预测标签进行对比学习，联合优化图像特征提取器和分类器.在三个基准数据集上的实验表明，文中方法性能较优.     

基于异质图神经网络预训练的多标签文档分类研究

多标签文档分类是一种将文档实例与相关标签相关联的技术，近年来受到越来越多研究者的关注。现有的多标签文档分类方法尝试探索文本之外的信息的融合，如文档元数据或标签结构。然而，这些方法要么简单地利用元数据的语义信息，要么没有考虑标签的长尾分布，因此忽略了文档及其元数据之间的高阶关系和标签的分布规律等信息，从而影响到多标签文档分类的准确性。因此，文中提出一种新的基于异质图神经网络预训练的多标签文档分类方法。该方法通过构造文档与其元数据的异质图，采用两种对比学习预训练方法捕获文档与其元数据之间的关系，并通过平衡标签长尾分布的损失函数来提高多标签文档分类的准确性。在基准数据集上的实验结果表明，所提方法的准确率比Transformer提高了8%,比BertXML提高了4.75%,比MATCH提高了1.3%。