基于短文本的独立语义特征抽取算法

提出了一种基于短文本的独立语义特征抽取算法，旨在降低文本向量的稀疏性并提其高语义表示能力。该算法首先采用潜在语义分析降低文本的维数并去除噪声，然后运用独立成份分析方法在潜在语义特征中提取出最能表达语义且相互统计独立的特征。实验表明此算法优于潜在语义索引算法。     

生物特征识别学科发展报告

从手机解锁、小区门禁到餐厅吃饭、超市收银,再到高铁进站、机场安检以及医院看病,人脸、虹膜和指纹等生物特征已成为人们进入万物互联世界的数字身份证。生物特征识别赋予机器自动探测、捕获、处理、分析和识别数字化生理或行为信号的高级智能,是一个典型而又复杂的模式识别问题,一直处于人工智能技术发展前沿,在新一代人工智能规划、“互联网+”行动计划等国家战略中具有重要地位。由于生物特征识别涉及公众利益攸关的隐私、道德和法律等问题,近期也引起了广泛的社会关注。本文系统综述了生物特征识别学科发展现状、新兴方向、存在问题和可行思路,深入梳理了人脸、虹膜、指纹、掌纹、静脉、声纹、步态、行人重识别以及多模态融合识别的研究进展,以人脸为例重点介绍了生物特征识别领域近些年受到关注的新方向——对抗攻击和防御、深度伪造和反伪造,最后剖析总结了生物特征识别领域存在的3大挑战问题——“感知盲区”、“决策误区”和“安全红区”。本文认为必须变革和创新生物特征的传感、认知和安全机制,才有可能取得复杂场景生物识别学术研究和技术应用的根本性突破,破除现有生物识别技术的弊端,朝着“可感”、“可知”和“可信”的新一代生物特征识别总体目标发展。     

《中国图象图形学报》多媒体智能专刊简介

近年来,人工智能和高性能计算快速发展,大规模多媒体数据的智能应用需求日趋广泛,多媒体数据的融合、转换、理解、搜索、推理与推荐等方向的新问题也不断涌现,推动了多媒体智能处理与分析技术的迅速发展,在学术界和产业界均引起极大关注。 为更好地推动多媒体智能处理与分析理论、技术、应用的发展,及时记录我国多媒体智能领域的最新技术、前沿进展、学者观点、算法研究、数据集构建及应用落地等方面的优秀成果,《中国图象图形学报》邀请国内多位一线专家共同策划推出“多媒体智能”专刊,以期为图像视频处理与分析、多媒体信息检索和推荐、多媒体内容分发、数据挖掘与机器学习等相关领域的研究人员提供参考。 经过严格评审,“多媒体智能”专刊共收录学术论文15篇,包括“学者观点”3篇、“综述”4篇、“多媒体智能安全”3篇、“目标智能检测”2篇、以及“多媒体分析与理解”3篇。 “学者观点”栏目中,《多媒体智能：当多媒体遇到人工智能》围绕“大数据”时代多媒体与人工智能融合的背景,提出了多媒体智能的新概念,探讨了多媒体和人工智能之间的相互影响,具体包括以下两个方向：1)多媒体推动人工智能向着更具可解释性的方向发展;2)人工智能促进多媒体推理能力的发展。这两个方向形成了一个多媒体智能循环,其中多媒体和AI以交互和迭代的方式相互促进增强。该文讨论了每一循环中的研究进展,特别是研究多媒体如何推动机器学习发展以及机器学习如何反过来推动多媒体发展。总结了循环中已经完成的工作,并指出了完成循环所需要做的未来工作,然后对值得进一步深入探索的多媒体智能相关研究方向进行了思考。 《视觉知识：跨媒体智能进化的新支点》介绍了一种新的智能表达方式——视觉知识的3个基本要素,即视觉概念、视觉关系、视觉推理,并对每个要素展开详细讨论与分析。视觉知识有助于实现数据与知识驱动的统一框架,学习可归因可溯源的结构化表达,推动跨媒体知识关联与智能推理。视觉知识具有强大的知识抽象表达能力和多重知识互补能力,为跨媒体智能进化提供了新的有力支点。 《面向海洋的多模态智能计算：挑战、进展和展望》首次从多模态数据技术的视角,系统地介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测、高性能计算4个关键科学问题中的挑战,并提出未来展望。 “综述”栏目中,《基于深度学习的人—物交互关系检测综述》一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。 《人类面部重演方法综述》对现阶段面部重演领域的发展进行梳理和总结。从面部重演模型入手,对面部重演存在的问题、模型的分类以及驱动人脸特征表达进行阐述,列举并介绍了训练面部重演模型常用的数据集及评估模型的评价指标,对面部重演近年研究工作进行归纳、分析与比较,最后对面部重演的演化趋势、当前挑战、未来发展方向、危害及应对策略进行了总结和展望。 《视觉语言多模态预训练综述》总结了视觉语言多模态预训练领域的进展,对常见的预训练数据集和预训练方法进行了汇总,然后对目前最新方法和经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行了汇总。最后总结了视觉语言预训练面临的挑战和未来发展趋势。 《Bayer阵列图像去马赛克算法综述》对Bayer采样阵列原理和图像去马赛克技术进行概述;将现有方法按照传统方法和基于深度学习方法两类进行总结,根据去马赛克任务是否具有独立性,将深度学习方法进一步细分为独立去马赛克任务和联合去马赛克任务两类,进一步分析了不同方法的原理和优缺点,并重点阐述了基于深度学习的去马赛克方法网络结构和重建机理,介绍去马赛克领域中常用的公共数据集和性能评价指标,并对相关实验进行分析对比。最后,围绕网络深度、运算效率、实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来的发展方向。 我们期待广大读者和科技人员通过“多媒体智能”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

持续学习改进的人脸表情识别

目的 大量标注数据和深度学习方法极大地提升了图像识别性能。然而,表情识别的标注数据缺乏,训练出的深度模型极易过拟合,研究表明使用人脸识别的预训练网络可以缓解这一问题。但是预训练的人脸网络可能会保留大量身份信息,不利于表情识别。本文探究如何有效利用人脸识别的预训练网络来提升表情识别的性能。方法 本文引入持续学习的思想,利用人脸识别和表情识别之间的联系来指导表情识别。方法指出网络中对人脸识别整体损失函数的下降贡献最大的参数与捕获人脸公共特征相关,对表情识别来说为重要参数,能够帮助感知面部特征。该方法由两个阶段组成：首先训练一个人脸识别网络,同时计算并记录网络中每个参数的重要性;然后利用预训练的模型进行表情识别的训练,同时通过限制重要参数的变化来保留模型对于面部特征的强大感知能力,另外非重要参数能够以较大的幅度变化,从而学习更多表情特有的信息。这种方法称之为参数重要性正则。结果 该方法在RAF-DB（real-world affective faces database）,CK+（the extended Cohn-Kanade database）和Oulu-CASIA这3个数据集上进行了实验评估。在主流数据集RAF-DB上,该方法达到了88.04%的精度,相比于直接用预训练网络微调的方法提升了1.83%。其他数据集的实验结果也表明了该方法的有效性。结论 提出的参数重要性正则,通过利用人脸识别和表情识别之间的联系,充分发挥人脸识别预训练模型的作用,使得表情识别模型更加鲁棒。     

情感计算与理解研究发展概述

情感在感知、决策、逻辑推理和社交等一系列智能活动中起到核心作用,是实现人机交互和机器智能的重要元素。近年来,随着多媒体数据爆发式增长及人工智能的快速发展,情感计算与理解引发了广泛关注。情感计算与理解旨在赋予计算机系统识别、理解、表达和适应人的情感的能力来建立和谐人机环境,并使计算机具有更高、更全面的智能。根据输入信号的不同,情感计算与理解包含不同的研究方向。本文全面回顾了多模态情感识别、孤独症情感识别、情感图像内容分析以及面部表情识别等不同情感计算与理解方向在过去几十年的研究进展并对未来的发展趋势进行展望。对于每个研究方向,首先介绍了研究背景、问题定义和研究意义;其次从不同角度分别介绍了国际和国内研究现状,包括情感数据标注、特征提取、学习算法、部分代表性方法的性能比较和分析以及代表性研究团队等;然后对国内外研究进行了系统比较,分析了国内研究的优势和不足;最后讨论了目前研究存在的问题及未来的发展趋势与展望,例如考虑个体情感表达差异问题和用户隐私问题等。     

中文文本分类中的特征选择算法研究

比较了文档频率、信息增益、互信息、X^2统计量、期望交叉熵、文本证据权以及几率比等7种常用于文本分类的特征选择算法。实验采用国家“八六三计划”中文文文本语料库和Rocchio分类器对以上的特征选择算法分别进行评估，测评结果表明，几率比法的性能优于其它特征选择算法。