以图像视频为中心的跨媒体分析与推理

如何跨越从跨媒体数据到跨媒体知识所面临的“异构鸿沟”和“语义鸿沟”,对体量巨大的跨媒体数据进行有效管理与利用,是发展新一代人工智能亟待突破的瓶颈问题。针对以图像视频为代表的海量网络跨媒体内容,借鉴人类感知与认知机理,本文对跨媒体内容统一表征与符号化表征、跨媒体深度关联理解、类人跨媒体智能推理等关键技术开展研究。基于上述关键技术,着力于解决发展新一代人工智能的知识匮乏共性难题,开展大规模跨媒体知识图谱的构建及人机协同标注技术研究,为跨媒体感知进阶到认知提供关键支撑,进一步为跨媒体理解、检索、内容转换生成等跨媒体内容管理与服务热点应用领域提供了可行思路。     

跨媒体智能关联分析与语义理解理论与技术研究进展

深入分析了跨媒体智能关联分析与语义理解理论技术的最新研究进展,包括多模态数据的统一表达、知识引导的数据融合、跨媒体关联分析、基于知识图谱的跨媒体表征技术以及面向多模态的智能应用.其中,多模态数据的统一表达是对跨媒体信息进行分析推理的先决条件,利用多模态信息间的语义一致性剔除冗余信息,通过跨模态相互转化来实现跨媒体信息统一表达,学习更全面的特征表示;跨媒体关联分析立足于图像语言、视频语言以及音视频语言的跨模态关联分析与理解技术,旨在弥合视觉、听觉以及语言之间的语义鸿沟,充分建立不同模态间的语义关联;基于知识图谱的跨媒体表征技术通过引入跨媒体的知识图谱,从跨媒体知识图谱构建、跨媒体知识图谱嵌入以及跨媒体知识推理3个方面展开研究,增强跨媒体数据表征的可靠性,并提升后续推理任务的分析效率和准确性;随着跨模态分析技术的快速发展,面向多模态的智能应用得到了更多的技术支撑,依据智能应用所需要的领域知识,选取了多模态视觉问答,多模式视频摘要、多模式视觉模式挖掘、多模式推荐、跨模态智能推理和跨模态医学图像预测等跨模态应用实例,梳理了其在多模态数据融合以及跨媒体分析推理方面的研究进展.     

达摩院：智能革命蓄势已久

科技浪潮新十年开启,蓄势已久的智能革命将迎来颠覆性的技术变局。近日,达摩院发布了2020十大科技趋势,希望与大家共同见证那些期待已久或从未料想的变化,并且循着技术演进的曲线,找到我们的来处和去向。趋势一:人工智能从感知智能向认知智能演进,人工智能在“听、说、看”等感知智能领域已经达到或超越了人类水准,但在需要外部知识、逻辑推理或者领域迁移的认知智能领域还处于初级阶段。认知智能将从认知心理学、脑科学及人类社会历史中汲取灵感,并结合跨领域知识图谱、因果推理、持续学习等技术,建立稳定获取和表达知识的有效机制,让知识能够被机器理解和运用,实现从感知智能到认知智能的关键突破。     

最优算法组合在目标检测图像信号处理中的应用

针对网域内简单背景下目标感知识别处理速度慢、准确率低的问题,提出了基于最优算法组合的目标检测方法;该方法将多种图像处理方法融入目标识别算法中,在采用不同算法对采集到的图像进行预处理、分割和特征提取效果比较的基础上,确定出最优算法组合并设计实验验证其可靠性和鲁棒性;试验结果表明该方法能够快速有效的判别行人目标,识别率达到96.67%,解决了网域内目标检测问题;与其他单一算法相比具有处理速度更快、判别更加有效,实时性高等特点,明显优于一般算法。     

计算机视觉技术在遥感卫星影像目标检测中的应用

计算机视觉技术是一门涉及多领域的交叉学科。遥感卫星影像智能检测运用人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等技术,通过计算机模拟人类的视觉过程,对遥感图像进行信息提取、处理以及分析理解,可以实现对某类客观对象的检测、测量和控制。其最大的特点是能够快速处理海量信息,具有感受环境的能力和视觉感知能力。计算机视觉领域有5大关键技术,包括图像分类、目标检测、图像分割、场景文字识别和图像生成。通过对目标检测技术的研究对比分析,设计了遥感卫星影像特殊地物检测系统。     

知识图谱赋能的知识工程:理论、技术与系统专题序言

<正>知识图谱是人工智能在知识工程理论和技术发展中的前沿。知识图谱方法、技术与应用在新一代人工智能由“感知智能”迈向“认知智能”的过程中扮演重要角色。近年来，随着大规模知识图谱的发布和知识图谱赋能系统的应用，国内外学术界和产业界均在多个维度对知识图谱赋能的知识工程进行了研究与开发。虽然国内外学者在知识图谱及相关方向上已取得若干研究成果，但知识图谱赋能的知识工程尚未形成成熟的理论体系、技术方法、应用与系统实践，仍有众多有待解决的具有挑战性的难题。本专题旨在促进知识图谱赋能的知识工程研究、开发与应用，及时、集中、全面地报道知识图谱赋能的知识工程在理论、方法、技术、系统与应用实践等方面的最新成果和进展。     

利用Dempster—Shafer信息融合进行自动目标识别

本文主要对红外图像中铁路的特点,将图像处理技术与人工智能相接合,提出一种基于知识的智能识别方法。采用先建立完善的知识特征集,再以知识特征集为基础,采用Dempster-Sgafer来对特征集进行融合来识别铁路枢纽。其基本思路可用作一般目标识别。     

基于递归神经网络的视频多目标检测技术

针对现有基于大数据和深度学习的目标检测框架难以实现在低功耗移动和嵌入式设备上实时进行视频目标检测的问题,改进了基于深度学习的目标检测框架SSD,提出一种改进的多目标检测框架LSTM-SSD,将其专用于交通场景视频多目标检测。将单图像检测框架与递归神经网络-LSTM网络相结合,形成交织循环卷积结构,通过采用一种Bottleneck-LSTM层提炼传播帧间的特征映射实现了网络帧级信息的时序关联,极大降低了网络计算成本;将时间感知信息与改进的动态卡尔曼滤波算法结合起来,实现了对视频中受光照变化、大面积遮挡等强干扰影响目标的追踪识别。实验表明,改进后的LSTM-SSD在应对多目标、杂乱背景、光照变化、模糊、大面积遮挡等检测难度较大的情况时,均能获得较好的效果,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了5%~16%,平均准确率均值提高了约4%~10%,多目标检测率提高了4%~19%,检测帧率达到43 fps,基本满足实时性的要求。其实现了算法精度与运行速率的平衡,取得了较好的检测识别效果。     

“面向开放环境的自适应感知研究进展”专辑序言

<正>模式识别和人工智能领域60多年来的研究取得了巨大进展。尤其是近年来快速发展的深度学习(深度神经网络)方法,在视觉模式识别、语音识别、自然语言处理、博弈等智能感知和认知问题上都取得了超过传统的基于人工特征和知识规则的方法的性能,甚至超过人类水平。深度学习相比传统模式识别方法的最大特点是从数据自动学习具有很强判别性和表示能力的特征,从而得到很高的分类性能。然而,这些成功大多依赖于传统机器学习的三个基本假设：封闭世界假设(类别集固定)、     

情报信息驱动下的军事目标知识深度认知研究

建立军事目标知识图谱是快速处理军事领域海量目标知识信息、实现数据智能化的基础工作,能够为指挥决策提供重要支撑。以实际应用需求为牵引,基于情报信息驱动研究设计构建军事目标情报知识图谱的实现流程,完成目标知识建模、目标信息抽取、目标知识融合等技术研究。基于所构建目标情报知识图谱,从关联深度分析、关键目标挖掘等典型场景出发,开展目标情报数据挖掘与关联分析相关研究,为实现智能分析辅助指挥决策提供支撑。     

面向司法案件的案情知识图谱自动构建

以法学知识为中心的认知智能是当前司法人工智能发展的重要方向。该文提出了以自然语言处理(NLP)为核心技术的司法案件案情知识图谱自动构建技术。以预训练模型为基础,对涉及的实体识别和关系抽取这两个NLP基本任务进行了模型研究与设计。针对实体识别任务,对比研究了两种基于预训练的实体识别模型;针对关系抽取任务,该文提出融合平移嵌入的多任务联合的语义关系抽取模型,同时获得了结合上下文的案情知识表示学习。在“机动车交通事故责任纠纷”案由下,和基准模型相比,实体识别的F₁值可提升0.36,关系抽取的F₁值提升高达2.37。以此为基础,该文设计了司法案件的案情知识图谱自动构建流程,实现了对数十万份判决书案情知识图谱的自动构建,为类案精准推送等司法人工智能应用提供语义支撑。     

复杂大交通场景弱小目标检测技术

针对现有基于大数据和深度学习的目标检测框架对于高分辨率复杂大场景中低分辨率小目标识别效果较差、多目标检测的精度和实时性难以平衡的问题,改进了基于深度学习的目标检测框架 SSD（single shot multibox detector）,提出一种改进的多目标检测框架DRZ-SSD,将其专用于复杂大交通场景多目标检测。检测以从粗到细的策略进行,分别训练一个低分辨率粗略检测器和一个高分辨率精细检测器,对高分辨率图像进行下采样获得低分辨率版本,设计了一种基于增强学习的动态区域放大网络框架（DRZN）,动态放大低分辨率弱小目标区域至高分辨率再使用精细检测器进行检测识别,剩余图像区域使用粗略检测器进行检测,对弱小目标的检测与识别精度以及运算效率的提高效果明显;采用模糊阈值法调整自适应阈值策略在避免适应数据集的同时提高模型的决策能力,显著降低了检测漏警率和虚警率。实验表明,改进后的DRZ-SSD在应对弱小目标、多目标、杂乱背景、遮挡等检测难度较大的情况时,均能获得较好的效果。通过在指定数据集上的测试,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了4%~15%,平均准确率均值提高了约9%~16%,多目标检测率提高了13%~34%,检测识别速率达到38 fps,实现了算法精度与运行速率的平衡。     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

基于图像识别的跨模态实体链接模型

提出了一个基于图像识别的跨模态实体链接模型。首先,利用人机交互的图像目标截取模块实现图像目标指代,支持多目标图像的输入,将复杂的目标检测任务简化为图像识别分类任务。然后,设计了一个基于轻量快速的MobileNet V2网络训练的图像识别模块,在自建目标图像数据集环境下进行测试。实验结果验证了该模型能够减小模型规模,降低对硬件的要求,通过有监督的数据增强,在少样本训练条件下达到了94.06%的识别准确度,缓解了数据缺乏的问题。最后,进一步借助模型输出的目标实体命名标签,完成跨模态实体链接任务,能够有效支撑图像输入条件下的知识图谱问答任务。     

基于残差空洞卷积神经网络的网络安全实体识别方法

近年来,网络安全威胁日益增多,数据驱动的安全智能分析成为网络安全领域研究的热点。特别是以知识图谱为代表的人工智能技术可为多源异构威胁情报数据中的复杂网络攻击检测和未知网络攻击检测提供支撑。网络安全实体识别是威胁情报知识图谱构建的基础。开放网络文本数据中的安全实体构成非常复杂,导致传统的深度学习方法难以准确识别。在BERT（pre-training of deep bidirectional transformers）预训练语言模型的基础上,提出一种基于残差空洞卷积神经网络和条件随机场的网络安全实体识别模型 BERT-RDCNN-CRF。通过BERT模型训练字符级特征向量表示,结合残差卷积与空洞神经网络模型有效提取安全实体的重要特征,最后通过CRF获得每一个字符的BIO标注。在所构建的大规模网络安全实体标注数据集上的实验表明,所提方法取得了比LSTM-CRF模型、BiLSTM-CRF模型和传统的实体识别模型更好的效果。     

Hybrid-augmented intelligence: collaboration and cognition

The long-term goal of artificial intelligence (AI) is to make machines learn and think like human beings. Due to the high levels of uncertainty and vulnerability in human life and the open-ended nature of problems that humans are facing, no matter how intelligent machines are, they are unable to completely replace humans. Therefore, it is necessary to introduce human cognitive capabilities or human-like cognitive models into AI systems to develop a new form of AI, that is, hybrid-augmented intelligence. This form of AI or machine intelligence is a feasible and important developing model. Hybrid-augmented intelligence can be divided into two basic models: one is human-in-the-loop augmented intelligence with human-computer collaboration, and the other is cognitive computing based augmented intelligence, in which a cognitive model is embedded in the machine learning system. This survey describes a basic framework for human-computer collaborative hybrid-augmented intelligence, and the basic elements of hybrid-augmented intelligence based on cognitive computing. These elements include intuitive reasoning, causal models, evolution of memory and knowledge, especially the role and basic principles of intuitive reasoning for complex problem solving, and the cognitive learning framework for visual scene understanding based on memory and reasoning. Several typical applications of hybrid-augmented intelligence in related fields are given.     

基于目标跟踪与深度学习的视频火焰识别方法

近年来火灾事故频发,对生态环境,社会经济都造成了严重影响,视频监控系统在火灾预防和环境监控中都有非常重要的作用。针对传统的视频火焰检测方法需要手工提取火焰特征且识别率低、误检率高的缺点,提出了一种基于特征检测,多目标跟踪和深度学习的火焰检测算法。通过高斯混合模型运动检测方法对视频中的动态目标进行提取,再经过HSI与RGB结合的颜色模型进行筛选,得到疑似火焰目标,对提取的目标进行多目标跟踪算法跟踪,最终对稳定存在的目标通过CaffeNet模型进行判别,得到火焰判别结果。实验证明,本算法实现了对视频火焰的准确检测,能对火焰进行有效识别,对火焰视频数据集上的平均识别精度达到98.79%,并能适应实时检测火灾的需求。     

Learning to learn: From smart machines to intelligent machines

Since its birth, more than five decades ago, one of the biggest challenges of artificial intelligence remained the building of intelligent machines. Despite amazing advancements, we are still far from having machines that reach human intelligence level. The current paper tries to offer a possible explanation of this situation. For this purpose, we make a review of different learning strategies and context types that are involved in the learning process. We also present the results of a study on cognitive development applied to the problem of face recognition for social robotics.     

基于知识图谱的智能问答研究综述

基于知识图谱的问答是近年来研究热点,从基于模板、语义解析、深度学习、知识图谱嵌入四方面介绍基于知识图谱智能问答实现,归纳了各类方法的优缺点,及尚未解决的关键问题。结合当前人工智能技术发展,重点介绍了基于深度学习的智能问答,有助于更多研究者投身于智能问答研究,根据不同行业需求研发适用于不同领域的问答系统,提高社会智能化信息服务水平。     

光学遥感图像多目标检测及识别算法设计与实现

针对目前光学遥感图像处理与分析多集中在单目标检测及识别领域的局限性,多目标检测及识别成为了一个非常值得关注的研究课题,提出了一种光学遥感图像多目标检测及识别算法.首先,采用自适应阈值算法对目标快速检测分割;然后,结合图像金字塔思想和基于尺度不变特征变换的特征包(BoF-SIFT)特征提出了一种分层的BoF-SIFT特征表示目标的全局特征和局部特征,详细地描述了目标的分布特性;最后,采用基于径向基核函数的支持向量机为弱分类器的AdaBoost算法,经过不断更新权重之后得到一个强分类器对待测试目标图像完成分类识别,识别率达到了93.52%.实验结果表明,所提算法对多类遥感图像目标的分割效果显著,特征选取恰当,识别方法快速有效.