Multi-view stereo in the Deep Learning Era: A comprehensive review

Multi-view stereo infers the 3D geometry from a set of images captured from several known positions and viewpoints. It is one of the most important components of 3D reconstruction. Recently, deep learning has been increasingly used to solve several 3D vision problems due to the predominating performance, including the multi-view stereo problem. This paper presents a comprehensive review, covering recent deep learning methods for multi-view stereo. These methods are mainly categorized into depth map based and volumetric based methods according to the 3D representation form, and representative methods are reviewed in detail. Specifically, the plane sweep based methods leveraging depth maps are presented following the stage of approaches, i.e. feature extraction, cost volume construction, cost volume regularization, depth map regression and post-processing. This review also summarizes several widely used datasets and their corresponding metrics for evaluation. Finally, several insightful observations and challenges are put forward enlightening future research directions.     

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发, 显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域. 近年来, 随着深度相机的发展和普及, 深度图像已经被成功应用于各类计算机视觉任务, 这也为显著性目标检测技术提供了新思路. 通过引入深度图像, 不仅能使计算机更加全面地模拟人类视觉系统, 而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案. 鉴于深度学习时代下RGB-D显著目标检测任务发展迅速, 旨在从该任务关键问题的解决方案出发, 对现有相关研究成果进行归纳、总结和梳理, 并在常用RGB-D SOD数据集上进行不同方法的定量分析和定性比较. 最后, 对该领域面临的挑战及未来的发展趋势进行总结与展望.     

基于深度学习的自适应水墨画计算美学评估

近几年艺术作品的计算美学评估已成为一个热门的研究方向.但现有工作主要研究照片和油画,关于水墨画的定量审美评估却鲜有尝试.水墨画通过水墨相调和笔法变化来表现画面,因而在视觉特征、语义特征和审美准则上与照片和油画有显著不同.针对此问题,采用深度学习技术,提出一种自适应的水墨画计算美学评估框架.该框架首先构建水墨画图像美学评价基准数据集;然后根据水墨画审美标准提取全局与局部图像块作为多路输入,并设计一种多视角并行深度卷积神经网络来提取深度审美特征;最后基于水墨画的题材查询机制,构建自适应深度审美评估模型.实验结果表明,文中包含6个并行题材卷积组的多视角网络架构相较基础VGG16架构有较高的审美评估性能,提取的深度审美特征明显优于传统手工设计特征,其自适应模型评估结果与人工审美评价之间达到0.823的皮尔森高度显著相关,且均方误差为0.161.此外,干扰实验表明,文中的网络对构图、墨色和纹理3个绘画要素较为敏感.该研究将不仅为国画计算美学评估提供了一个基于深度学习的参考框架,而且有助于进一步探索人类审美感知与水墨画中深度学习特征之间的关系.     

Deep Learning for Financial Engineering

Computational Economics -     

多示例学习下的深度森林架构

多示例学习已经广泛地应用到各个领域,如图像检索、文本分类、人脸识别等.而近年来深度神经网络也成功地运用到各个任务和问题上,MI-Nets是深度神经网络在多示例学习领域一个成功的应用.虽然MI-Nets很成功,但其主要在图像相关的任务上表现突出,而在非图像任务比如文本分类任务上的性能并不令人满意.而最近2年兴起的深度森林在非图像任务上取得了较好的成绩,并因为其相对于深度神经网络有较少的参数和较稳定的性能而受到青睐.所以用深度森林来提升多示例学习性能具有可行性.但由于深度森林结构的限制,并不能把组成深度森林的每一个森林都直接替换成包级别的森林,需要修改深度森林的结构来达到目的.提出了一种新的深度森林架构MIDF.在该架构下,为了使得中间层的输出分布可以和包中的示例拼接成功,拼接时把包里的每个示例都看作是一个包,从而使得级联结构依然有效.另外,还能自动确认深度森林的层数.实验结果表明：该方法在图像任务上的性能与擅长处理图像任务的MI-Nets相当;而在文本数据上,该方法取得了比MI-Nets和其他基线算法更好的效果.     

面向事件抽取的深度与主动联合学习方法

事件抽取旨在从非结构化的文本中抽取出事件的信息,并以结构化的形式予以呈现。监督学习作为基础的事件抽取方法往往受制于训练语料规模小、类别分布不平衡和质量参差不齐的问题。同时,传统基于特征工程的事件抽取方法往往会产生错误传递的问题,且特征工程较为复杂。为此,该文提出了一种联合深度学习和主动学习的事件抽取方法。该方法将RNN模型对触发词分类的置信度融入在主动学习的查询函数中,以此在主动学习过程中提高语料标注效率,进而提高实验的最终性能。实验结果显示,这一联合学习方法能够辅助事件抽取性能的提升,但也显示,联合模式仍有较高的提升空间,有待进一步思考和探索。     

Dendritic Deep Learning for Medical Segmentation

<正>Dear Editor,This letter presents a novel segmentation approach that leverages dendritic neurons to tackle the challenges of medical imaging segmentation. In this study, we enhance the segmentation accuracy based on a SegNet variant including an encoder-decoder structure, an upsampling index, and a deep supervision method. Furthermore, we introduce a dendritic neuron-based convolutional block to enable nonlinear feature mapping, thereby further improving the effectiveness of our approach...     

解决深度探索问题的贝叶斯深度强化学习算法

在强化学习领域,如何平衡探索与利用之间的关系是一个难题。近几年提出的强化学习方法主要关注如何结合深度学习技术来提高算法的泛化能力,却忽略探索利用困境这一问题。传统的强化学习方法可以有效解决探索问题,但存在着一定的限制条件:马尔可夫决策过程的状态空间必须是离散并有限的。提出通过贝叶斯方法来提高深度强化算法的探索效率,并将贝叶斯线性回归中计算参数后验分布的方法扩展到人工神经网络等非线性模型中,通过结合Bootstrapped DQN和提出的计算方法得到了贝叶斯自举深度Q网络算法(BBDQN)。最后用两个环境下的实验表明了BBDQN在面对深度探索问题时的探索效率要优于DQN以及Bootstrapped DQN。     

等保2.0时代基于深度学习的网络安全漏洞扫描系统设计

针对传统漏洞扫描技术扫描能力低、抗攻击能力差的问题,提出了一种等保2.0时代基于深度学习的网络安全漏洞扫描系统设计。此设计主要针对系统软件设计,通过引入插件技术扫描目标网络中的安全漏洞,并在此基础上,生成漏洞数据库,处理扫描的漏洞信息。实验对比结果表明,该系统比传统系统的扫描能力和抗攻击能力强,说明该系统具有一定的实际应用意义。     

大数据时代的计算政治学研究

政治学研究一直是社会科学领域的热点研究方向。政治理论、比较政治、公共政策和国际政治等,这些经典的政治学研究课题吸引了大批的政治学学者。从传统政治学研究中的道德哲学和法理主义,到行为主义政治学研究中的科学方法论和定量分析,再到一些自然科学工作者开始涉足政治学领域,政治学的研究方法一直在发展与演变。该文在对传统政治学研究的方法进行简要总结的基础上,针对互联网时代,“大数据”驱动下的政治学研究,阐述了计算政治学的起源、定义及其主要的研究内容和方法,论述了目前研究的热点政治倾向性及政治观点识别、冲突观点检测、选举预测和分析可视化的研究进展。     

一种组合型的深度学习模型学习率策略

一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度, 减少模型的训练时间. 本文针对AdaGrad和AdaDec学习策略只对模型所有参数提供单一学习率方式的问题, 根据模型参数的特点, 提出了一种组合型学习策略: AdaMix. 该策略为连接权重设计了一个仅与当前梯度有关的学习率, 为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder对图像数据库MNIST进行重构, 以模型反向微调过程中测试阶段的重构误差作为评价指标, 验证几种学习策略对模型收敛性的影响.实验结果表明, AdaMix比AdaGrad和AdaDec的重构误差小并且计算量也低, 具有更快的收敛速度.     

Deep Learning Framework for the Prediction of Childhood Medulloblastoma

This research work develops new and better prognostic markers for predicting Childhood MedulloBlastoma (CMB) using a well-defined deep learning architecture. A deep learning architecture could be designed using ideas from image processing and neural networks to predict CMB using histopathological images. First, a convolution process transforms the histopathological image into deep features that uniquely describe it using different two-dimensional filters of various sizes. A 10-layer deep learning architecture is designed to extract deep features. The introduction of pooling layers in the architecture reduces the feature dimension. The extracted and dimension-reduced deep features from the arrangement of convolution layers and pooling layers are used to classify histopathological images using a neural network classifier. The performance of the CMB classification system is evaluated using 1414 (10× magnification) and 1071 (100× magnification) augmented histopathological images with five classes of CMB such as desmoplastic, nodular, large cell, classic, and normal. Experimental results show that the average classification accuracy of 99.38% (10×) and 99.07% (100×) is attained by the proposed CNB classification system.     

用于糖尿病视网膜病变检测的深度学习模型

近年来,深度学习在计算机视觉方面取得了巨大的进步,并在利用计算机视觉完成医学影像的阅片工作方面展现出了良好的应用前景.针对糖尿病眼底病变筛查工作,通过构建两级深度卷积神经网络,完成了原始照片的特征提取、特征组合和结果分类,最终得出筛查结果.通过与医生的诊断结果进行比较,证明了模型的输出结果与医生诊断结果之间具有高度的一致性.同时,提出了利用弱监督学习进行细粒度图像分类的改进方法.最后,对未来研究的方向进行了展望.     

基于深度强化学习的计步方法

针对计步软件使用中用户行为不定，容易产生各种噪声以及传统算法中参数不能持续优化的问题，本文提出基于深度强化学习的计步方法。将噪声判别及步数统计作为智能体的动作，在步数统计中改进波峰检测法，提出均值穿越波峰波谷检测法。利用循环神经网络保存内部状态，将用户对计步器计步好坏的反馈作为奖励信号，指导参数持续优化。实验结果表明，该方法在采集设备放置于不同位置并且有噪声时，噪声识别率为0.9151，计步误差率为0.0623，有较高的精度以及较强的抗干扰能力。     

细粒度图像分类的深度学习方法

细粒度图像分类旨在从某一类别的图像中区分出其子类别,通常细粒度数据集具有类间相似和类内差异大的特点,这使得细粒度图像分类任务更加具有挑战性.随着深度学习的不断发展,基于深度学习的细粒度图像分类方法表现出更强大的特征表征能力和泛化能力,能够获得更准确、稳定的分类结果,因此受到了越来越多研究人员的关注和研究.首先,从细粒度...     

基于深度学习的微博情感分析

中文微博情感分析旨在发现用户对热点事件的观点态度。已有的研究大多使用SVM、CRF等传统算法根据手工标注情感特征对微博情感进行分析。该文主要探讨利用深度学习来做中文微博情感分析的可行性,采用递归神经网络来发现与任务相关的特征,避免依赖于具体任务的人工特征设计,并根据句子词语间前后的关联性引入情感极性转移模型加强对文本关联性的捕获。该文提出的方法在性能上与当前采用手工标注情感特征的方法相当,但节省了大量人工标注的工作量。     

基于多尺度深度学习的商品图像检索

商品图像检索的目标是检索与图像内容相符的商品,它是移动视觉搜索在电子商务中的重要应用.商品图像检索的发展,既为用户购物提供便利,又促进了电子商务向移动端发展.图像特征是影响商品图片检索性能的重要因素.复杂的图片背景、同类商品之间的相似性和被拍摄商品尺度的变化,都使得商品图像检索对图像特征提出了更高的要求.提出了一种多尺度深度神经网络,以便于抽取对复杂图片背景和目标物体尺度变化更加鲁棒的图像特征.同时根据商品类别标注信息学习图片之间的相似度.针对在线服务对响应速度的要求,通过压缩模型的深度和宽度控制了计算开销.在一个百万级的商品图片数据集上的对比实验证明：该方法在保持速度的同时提升了查询的准确率.     

面向晶体结构预测的深度学习方法

晶体结构研究是研究固体材料物理化学性质的基础,而筛选晶体结构通常基于能量最低原理,采用密度泛函理论计算结构能量需要大量计算资源及服务时间.为此本文提出了面向材料结构预测的深度学习方法,加快材料晶体结构的预测.本文从数据集优化、模型训练策略、算法优化等方面进行了深入研究,确定了应用于材料结构预测中深度学习的网络参数和优化...     

一种深度学习批规范化改进算法

现实中采集的数据由于需要适应实际工程需求以及数据细粒度信息的分类形式多样,样本数据间很难保持完全的独立同分布.而非独立同分布数据会严重降低深度神经网络模型训练的鲁棒性以及特定任务上的泛化性能.为了降低非独立同分布数据在模型训练和推断过程中的不良影响,提出一种批规范化的改进算法.该算法在神经网络模型训练开始前从数据集中取出一小批量数据做批规范化,求解出的均值与方差作为参考值用来更新训练时的其他批量数据.实验结果表明,该改进算法一定程度上能够加快神经网络模型训练收敛,相对于BN算法,分类错误率降低了0.3%,提高了神经网络模型训练的鲁棒性.在目标检测和实例分割任务上,应用该改进算法的预训练模型能够有效提高某些检测算法的泛化性能.     

Meaningful Learning for Deep Facial Emotional Features

Neural Processing Letters - Facial expression is an important aspect to recognize emotions between humans. However, this task remains difficult for machines. Several approaches have been developed...