人工智能的新浪潮——深度学习

深度学习（Deep Learing）作为一种基于人工神经网络的无监督学习方法,是近年来兴起的一种新的混合机器学习模型,现成为人工智能领域中炙手可热的研究技术。深度学习带来了机器学习的一个新浪潮,受到学术界和工业界的广泛重视,并带来大数据的深度学习时代。本文结合大数据时代的具体需求,详细阐述了深度学习的发展和应用,突出了其在人工智能领域的重要地位。     

FPGA加速深度学习综述

近年来,由于互联网的高速发展和大数据时代的来临,人工智能随之大热,而推动人工智能迅猛发展的正是深度学习的崛起.大数据时代需要迫切解决的问题是如何将极为复杂繁多的数据进行有效的分析使用,进而充分挖掘利用数据的价值并造福人类.深度学习作为一种实现机器学习的技术,正是解决这一问题的重要法宝,它在处理数据过程中发挥着重要作用并且改变了传统的机器学习方法,已被广泛应用于语音识别、图像识别和自然语言处理等研究领域.如何有效加速深度学习的计算能力一直是科研研究的重点.FPGA凭借其强大的并行计算能力和低功耗等优势成为GPU在加速深度学习领域的有力竞争者.从深度学习的几种典型模型出发,在FPGA加速技术现有特点的基础上从针对神经网络模型的加速器、针对具体问题的加速器、针对优化策略的加速器和针对硬件模板的加速器四方面概括总结了FPGA加速深度学习的研究现状,然后对比了不同加速技术和模型的性能,最后对未来可能发展的方向进行了展望.     

关于深度学习的综述与讨论

机器学习是通过计算模型和算法从数据中学习规律的一门学问,在各种需要从复杂数据中挖掘规律的领域中有很多应用,已成为当今广义的人工智能领域最核心的技术之一。近年来,多种深度神经网络在大量机器学习问题上取得了令人瞩目的成果,形成了机器学习领域最亮眼的一个新分支——深度学习,也掀起了机器学习理论、方法和应用研究的一个新高潮。对深度学习代表性方法的核心原理和典型优化算法进行了综述,回顾与讨论了深度学习与以往机器学习方法之间的联系与区别,并对深度学习中一些需要进一步研究的问题进行了初步讨论。     

深度学习研究进展

深度学习(Deep Learning)是一个近几年备受关注的研究领域,在机器学习中起着重要的作用.如果说浅层学习是机器学习的一次浪潮,那么深度学习作为机器学习的一个新领域,将掀起机器学习的又一次浪潮.深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据.首先介绍了深度学习的由来,分析了浅层学习存在的弊端;其次列举了深度学习的经典方法,主要以监督学习和无监督学习来展开介绍;然后对深度学习的最新研究进展及其应用进行了综述;最后总结了深度学习发展所面临的问题.     

人工智能的逆向工程——反向智能研究综述

在大数据时代,人工智能得到了蓬勃发展,尤其以机器学习、深度学习为代表的技术更是取得了突破性进展.随着人工智能在实际场景中的广泛应用,人工智能的安全和隐私问题也逐渐暴露出来,并吸引了学术界和工业界的广泛关注.以机器学习为代表,许多学者从攻击和防御的角度对模型的安全问题进行了深入的研究,并且提出了一系列的方法.然而,当前对机器学习安全的研究缺少完整的理论架构和系统架构.从训练数据逆向还原、模型结构反向推演、模型缺陷分析等角度进行了总结和分析,建立了反向智能的抽象定义及其分类体系.同时,在反向智能的基础上,将机器学习安全作为应用对其进行简要归纳.最后探讨了反向智能研究当前面临的挑战以及未来的研究方向.建立反向智能的理论体系,对于促进人工智能健康发展极具理论意义.     

深度学习认知计算综述

随着大数据和智能时代的到来,机器学习的研究重心已开始从感知领域转移到认知计算（Cognitive computing,CC）领域,如何提升对大规模数据的认知能力已成为智能科学与技术的一大研究热点,最近的深度学习有望开启大数据认知计算领域的研究新热潮.本文总结了近年来大数据环境下基于深度学习的认知计算研究进展,分别从深度学习数据表示、认知模型、深度学习并行计算及其应用等方面进行了前沿概况、比较和分析,对面向大数据的深度学习认知计算的挑战和发展趋势进行了总结、思考与展望.     

前言

正深度学习是机器学习研究中的一个新的领域,其核心思想在于模拟人脑的层级抽象结构,通过无监督的方式分析大规模数据,发掘大数据中蕴藏的有价值信息.深度学习应大数据而生,给大数据提供了一个深度思考的大脑.尽管YahnLecun在1993年提出的卷积神经网络是第一个真正成功训练多层网络结构的学习算法,但应用效果一直欠佳.直到2006年,Geoffrey Hinton and RuslanSalakhutdinov     

大数据智能:从数据拟合最优解到博弈对抗均衡解

数据驱动的机器学习（特别是深度学习）在自然语言处理、计算机视觉分析和语音识别等领域取得了巨大进展,是人工智能研究的热点。但是传统机器学习是通过各种优化算法拟合训练数据集上的最优模型,即在模型上的平均损失最小,而在现实生活的很多问题（如商业竞拍、资源分配等）中,人工智能算法学习的目标应该是是均衡解,即在动态情况下也有较好效果。这就需要将博弈的思想应用于大数据智能。通过蒙特卡洛树搜索和强化学习等方法,可以将博弈与人工智能相结合,寻求博弈对抗模型的均衡解。从数据拟合的最优解到博弈对抗的均衡解能让大数据智能有更广阔的应用空间。     

基于深度学习的聚类方法

深度学习是机器学习领域的一个重要分支,近年来在诸多领域取得突破性进展.对利用深度学习改进传统聚类算法,解决高维数据聚类问题开展了大量工作.对近几年深度聚类的研究进展进行了综述,从网络结构、损失函数、评价指标等方面进行了分析,并对其主要研究方向、应用进展等进行概括,对深度聚类的未来发展趋势进行了展望.     

深度学习技术在信息系统数据分析中的应用

深度学习是近年来机器学习领域的一个热点研究方向,其主要方法是通过增加学习器的层数,增大其通道数 和参数的规模,借助大数据学习时代的超强计算能力,发现原始数据集中的高层抽象概念,为应用领域的决策支持服务。探讨 了在信息系统的数据分析任务中深度学习技术的应用方法,着重阐述了卷积神经网络和堆叠自动编码器的主要原理和实现方 法,及其在信息系统的数据分析中的应用案例,并对其应用价值进行了分析。     

Learning to Perceive Objects for Autonomous Navigation

Current machine perception techniques that typically use segmentation followed by object recognition lack the required robustness to cope with the large variety of situations encountered in real-world navigation. Many existing techniques are brittle in the sense that even minor changes in the expected task environment (e.g., different lighting conditions, geometrical distortion, etc.) can severely degrade the performance of the system or even make it fail completely. In this paper we present a system that achieves robust performance by using local reinforcement learning to induce a highly adaptive mapping from input images to segmentation strategies for successful recognition. This is accomplished by using the confidence level of model matching as reinforcement to drive learning. Local reinforcement learning gives rises to better improvement in recognition performance. The system is verified through experiments on a large set of real images of traffic signs.     

Multi-label,multi-task CNN approach for context-based emotion recognition

This paper proposes a new deep learning architecture for context-based multi-label multi-task emotion recognition. The architecture is built from three main modules: (1) a body features extraction module, which is a pre-trained Xception network, (2) a scene features extraction module, based on a modified VGG16 network, and (3) a fusion-decision module. Moreover, three categorical and three continuous loss functions are compared in order to point out the importance of the synergy between loss functions when it comes to multi-task learning. Then, we propose a new loss function, the multi-label focal loss (MFL), based on the focal loss to deal with imbalanced data. Experimental results on EMOTIC dataset show that MFL with the Huber loss gave better results than any other combination and outperformed the current state of art on the less frequent labels.     

基于原型与正交投影学习的图像集分类算法

为了利用图像集中的集合信息来提高图像识别精度以及对图像变化的鲁棒性,从而大幅降低诸如姿态、光照、遮挡和未对齐等因素对识别精度的影响,提出了一种用于图像集分类的图像集原型与投影学习算法（LPSOP）。该算法针对每个图像集学习有代表性的点（原型）以及一个正交的全局投影矩阵,使得在目标子空间的每个图像集可以被最优地分类到同类的最近原型集中。用学习到的原型来代表该图像集,既能降低冗余图像干扰,又能减少存储和计算开销,学习到的投影矩阵则能够大幅提高分类精度与噪声鲁棒性。在UCSD/Honda、CMU MoBo和YouTube celebrities这三个数据集上的实验结果表明,LPSOP比目前流行的图像集分类算法具有更高的识别精度和更好的鲁棒性。     

深度学习支持下的情感识别探讨

随着人工神经网络技术的发展,深度学习逐渐成为人工智能领域的研究重点。在情感识别领域,深度学习也有着极为强大的理论与技术优势,其能够显著提升情感识别的准确性。同时,深度学习下的情感识别对于智慧化学习环境的营造有着积极意义,所以将之应用到教育教学工作中是切实可行的。本文对深度学习进行了简单介绍,并分析了当前情感识别的研究进展,进而对深度学习支持下的情感识别构建和应用展开探讨。     

主动学习算法综述

主动学习算法作为构造有效训练集的方法,其目标是通过迭代抽样,寻找有利于提升分类效果的样本,进而减少分类训练集的大小,在有限的时间和资源的前提下,提高分类算法的效率。主动学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了主动学习的基本思想,一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

基于Mixer Layer的人脸表情识别

目前人脸表情识别研究多数采用卷积神经网络(CNN)提取人脸特征并分类, CNN的缺点是网络结构复杂, 消耗计算资源. 针对以上缺点, 本文采用基于多层感知机(MLP)的Mixer Layer网络结构用于人脸表情识别. 采用数据增强和迁移学习方法解决数据集样本不足的问题, 搭建了不同层数的Mixer Layer网络. 经过实验比较, 4层Mixer Layer网络在CK+和JAFFE 数据集上的识别准确率分别达到了98.71%和95.93%, 8层Mixer Layer网络在Fer2013数据集上的识别准确率达到了63.06%. 实验结果表明, 无卷积结构的Mixer Layer网络在人脸表情识别任务上表现出良好的学习能力和泛化能力.     

Learning person-specific models for facial expression and action unit recognition

A key assumption of traditional machine learning approach is that the test data are draw from the same distribution as the training data. However, this assumption does not hold in many real-world scenarios. For example, in facial expression recognition, the appearance of an expression may vary significantly for different people. As a result, previous work has shown that learning from adequate person-specific data can improve the expression recognition performance over the one from generic data. However, person-specific data is typically very sparse in real-world applications due to the difficulties of data collection and labeling, and learning from sparse data may suffer from serious over-fitting. In this paper, we propose to learn a person-specific model through transfer learning. By transferring the informative knowledge from other people, it allows us to learn an accurate model for a new subject with only a small amount of person-specific data. We conduct extensive experiments to compare different person-specific models for facial expression and action unit (AU) recognition, and show that transfer learning significantly improves the recognition performance with a small amount of training data.     

Learning to classify by ongoing feature selection

Existing classification algorithms use a set of training examples to select classification features, which are then used for all future applications of the classifier. A major problem with this approach is the selection of a training set: a small set will result in reduced performance, and a large set will require extensive training. In addition, class appearance may change over time requiring an adaptive classification system. In this paper, we propose a solution to these basic problems by developing an on-line feature selection method, which continuously modifies and improves the features used for classification based on the examples provided so far. The method is used for learning a new class, and to continuously improve classification performance as new data becomes available. In ongoing learning, examples are continuously presented to the system, and new features arise from these examples. The method continuously measures the value of the selected features using mutual information, and uses these values to efficiently update the set of selected features when new training information becomes available. The problem is challenging because at each stage the training process uses a small subset of the training data. Surprisingly, with sufficient training data the on-line process reaches the same performance as a scheme that has a complete access to the entire training data.     

Fingerprint matching,spoof and liveness detection:classification and literature review

Fingerprint matching,spoof mitigation and liveness detection are the trendiest biometric techniques,mostly because of their stability through life,uniqueness and their least risk of invasion.In recent decade,several techniques are presented to address these challenges over well-known data-sets.This study provides a comprehensive review on the fingerprint algorithms and techniques which have been published in the last few decades.It divides the research on fingerprint into nine different approaches including feature based,fuzzy logic,holistic,image enhancement,latent,conventional machine learning,deep learning,template matching and miscellaneous tech-niques.Among these,deep learning approach has outperformed other approaches and gained significant attention for future research.By reviewing fingerprint literature,it is historically divided into four eras based on 106 referred papers and their cumulative citations.     

基于OpenCV与人脸检测的自动筷子配发机器人的设计

在集体用餐环境如食堂等环境中就餐时,时常会遇到不方便拿取餐具的情况,针对此种情况十分需要一个能方便人们拿取餐具缓解人流拥堵的机器人。正如人的眼睛一般,机器通过视觉模块来感知环境,利用深度学习和OpenCV-Python使机器像人一样处理图片,搭载Nvidia JETSON Nano和智能小车平台,为智能筷子(餐具)配发机器人提供技术实现。