Scene Parsing Using Region-Based Generative Models

Semantic scene classification is a challenging problem in computer vision. In contrast to the common approach of using low-level features computed from the whole scene, we propose "scene parsing" utilizing semantic object detectors (e.g., sky, foliage, and pavement) and region-based scene-configuration models. Because semantic detectors are faulty in practice, it is critical to develop a region-based generative model of outdoor scenes based on characteristic objects in the scene and spatial relationships between them. Since a fully connected scene configuration model is intractable, we chose to model pairwise relationships between regions and estimate scene probabilities using loopy belief propagation on a factor graph. We demonstrate the promise of this approach on a set of over 2000 outdoor photographs, comparing it with existing discriminative approaches and those using low-level features     

Broad-Coverage Parsing with Neural Networks

Subsymbolic systems have been successfully used to model several aspects of human language processing. Such parsers are appealing because they allow revising the interpretation as words are incrementally processed. Yet, it has been very hard to scale them up to realistic language due to training time, limited memory, and the difficulty of representing linguistic structure. In this study, we show that it is possible to keep track of long-distance dependencies and to parse into deeper structures than before based on two techniques: a localist encoding of the input sequence and a dynamic unrolling of the network according to the parse tree. With these techniques, the system can nonmonotonically parse a corpus of realistic sentences into parse trees labelled with grammatical tags from a broad-coverage Head-driven Phrase Structure Grammar of English.     

Complete 3D Scene Parsing from an RGBD Image

International Journal of Computer Vision - One major goal of vision is to infer physical models of objects, surfaces, and their layout from sensors. In this paper, we aim to interpret indoor scenes...     

一种双层条件随机场的场景解析方法

现有的场景解析方法主要依赖于先验模型,由于先验模型难于全面表示物体的各种细节部分,使得场景解析后的物体不够精细.针对这个问题,该文引入了局部颜色模型,提出了一种结合先验和局部颜色模型的双层条件随机场的场景解析方法.首先以超像素为结点构建一个条件随机场,根据颜色、梯度、纹理和几何等外观特征训练出的先验模型粗略解析场景,进而提取场景中每个物体的局部颜色模型;然后构建一个以像素点为结点的条件随机场,通过EM(Expectation-Maximization)迭代法更新物体的局部颜色模型来指导优化场景解析.实验结果表明,相比于以往单纯利用先验模型的场景解析方法,该方法能有效地保持场景细节、提高解析精度.     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题,导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法,将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中,使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题,在分析“词汇”顺序对自注意力机制计算结果影响的基础上,利用希尔伯特曲线遍历设计新的图像降维算法,并将该算法加入到空间自注意力模块中,以提高其计算能力。仿真实验结果表明,该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高,小目标与物体边缘分割更加精细,其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%,较基准算法分别提升了0.68、1.35个百分点。     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点.但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈.据此,提出了一种基于金字塔场景分析网络(PSPNet)的网络改进结构,在特征学习模块中将输入图在原残差网络(ResNet)的基础上通过在网络内部...     

一种面向交通场景的快速图像增强算法

为提高夜间图像的增强效果,针对具体的交通场景提出一种改进的图像增强算法。通过改进自适应对比度增强算法（ACE）中放大系数的自适应函数,算法能够有针对性地增强图像亮度较低和对比度较低的区域,防止图像过度增强,并且能够增强图像的细节,克服传统对比度增强算法的不足。实验结果表明,该算法增强效果显著,针对具体夜间交通场景图像处理速度快,自适应效果好,具有消除“振铃效应”、颜色保真和较好的保留并增强图像边缘和细节的能力。     

Superpixels Features Extractor Network (SP-FEN) for Clothing Parsing Enhancement

Neural Processing Letters - In this paper, the research looks at improving clothing parsing using superpixels features extractor network (SP-FEN). Clothing parsing using a fully convolutional...     

基于分层区域合并的自然场景理解

针对自然场景理解问题,利用图像中的层次结构,提出了一种基于分层合并的图像场景理解方法。该方法通过不断合并相邻区域,直到合并出图像中的各个对象为止;最终得到一个合并森林,森林里的每棵树对应图像中的一个对象。我们设计了一个机器学习模型来描述合并过程、一种贪心推理方法来求解最优的合并森林以及一种基于最大间隔的学习方法来训练模型中的参数,同时采用分层聚类来进行参数的初始化。本文方法可以看成为图像语义理解而设计的一种深度学习方法。实验效果令人满意。     

基于深度学习的场景分割算法研究综述

场景分割的目标是判断场景图像中每个像素的类别.场景分割是计算机视觉领域重要的基本问题之一,对场景图像的分析和理解具有重要意义,同时在自动驾驶、视频监控、增强现实等诸多领域具有广泛的应用价值.近年来,基于深度学习的场景分割技术取得了突破性进展,与传统场景分割算法相比获得分割精度的大幅度提升.首先分析和描述场景分割问题面临的3个主要难点：分割粒度细、尺度变化多样、空间相关性强;其次着重介绍了目前大部分基于深度学习的场景分割算法采用的“卷积-反卷积”结构;在此基础上,对近年来出现的基于深度学习的场景分割算法进行梳理,介绍针对场景分割问题的3个主要难点,分别提出基于高分辨率语义特征图、基于多尺度信息和基于空间上下文等场景分割算法;简要介绍常用的场景分割公开数据集;最后对基于深度学习的场景分割算法的研究前景进行总结和展望.     

改进轻量级卷积神经网络的复杂场景口罩佩戴检测方法

针对复杂光照和人脸倾斜条件下口罩佩戴检测准确率低的问题,提出一种利用轻量级卷积神经网络在复杂环境下的口罩佩戴检测方法.该方法利用难样本挖掘预训练学习更多的人脸特征,结合多任务级联卷积神经网络先判别是否有人脸信息,对其进行精准的人脸定位;在特征金字塔网络中添加注意力机制,增强了人脸关键点信息的权重,利用轻量级神经网络将口...     

基于目标检索的RGB-D协同显著性研究

为了解决在RGB-D协同显著检测算法中和前景区域相似的背景部分易被分类为显著区域的问题。提出了基于目标检索挑选出前景概率更高的显著种子,减少误分类率的RGB-D协同显著检测算法。输入原始图片、深度图,及现有算法得到的最初显著图,进行超像素分割,利用DSP（深度形状先验）算法优化初始显著图得到更佳初始显著图。使用目标检索挑选出显著值更高且更有可能是显著物体的超像素,使用协同显著判断准则求得显著值。协同传播算法加以元胞优化被利用来得到更加准确的显著图。在RGBD Cosal150数据集上的实验表明了该算法的有效性和杰出性,取得了较高的准确度。     

Towards Incremental Parsing of Natural Language Using Recursive Neural Networks

In this paper we develop novel algorithmic ideas for building a natural language parser grounded upon the hypothesis of incrementality. Although widely accepted and experimentally supported under a cognitive perspective as a model of the human parser, the incrementality assumption has never been exploited for building automatic parsers of unconstrained real texts. The essentials of the hypothesis are that words are processed in a left-to-right fashion, and the syntactic structure is kept totally connected at each step.Our proposal relies on a machine learning technique for predicting the correctness of partial syntactic structures that are built during the parsing process. A recursive neural network architecture is employed for computing predictions after a training phase on examples drawn from a corpus of parsed sentences, the Penn Treebank. Our results indicate the viability of the approach and lay out the premises for a novel generation of algorithms for natural language processing which more closely model human parsing. These algorithms may prove very useful in the development of efficient parsers.     

基于无线自组织网络的TCP Freeze-Probing改进协议

传统的TCP协议在有线网络中能够良好地工作,但用于无线自组织网络时则性能有所下降.其原因在于,传统的TCP协议无法分辨网络丢包原因,如网络拥塞、链路断开、信道错误或者链路改变.为了提高TCP协议在无线自组织网络中的性能,提出了一种TCP协议的改进方案TCP Freeze-Probing.该方案是一种端到端方法,不需要网络中间节点的反馈合作同时,提出了一种基于TCP Freeze-Probing的吞吐量模型并利用仿真对模型进行了验证.分析和仿真结果表明,该方案能够有效地改进TCP在无线自组织网络的性能.     

Higher-Order-Statistics-Based Radial Basis Function Networks for Signal Enhancement

In this paper, a higher-order-statistics (HOS)-based radial basis function (RBF) network for signal enhancement is introduced. In the proposed scheme, higher order cumulants of the reference signal were used as the input of HOS-based RBF. An HOS-based supervised learning algorithm, with mean square error obtained from higher order cumulants of the desired input and the system output as the learning criterion, was used to adapt weights. The motivation is that the HOS can effectively suppress Gaussian and symmetrically distributed non-Gaussian noise. The influence of a Gaussian noise on the input of HOS-based RBF and the HOS-based learning algorithm can be mitigated. Simulated results indicate that HOS-based RBF can provide better performance for signal enhancement under different noise levels, and its performance is insensitive to the selection of learning rates. Moreover, the efficiency of HOS-based RBF under the nonstationary Gaussian noise is stable     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

场景图像中文本区域定位方法的研究

论文介绍了基于像素、区块、区域和图的文本区域定位模型,给出了分层块文本区域定位算法的流程,详细介绍了分块及梯度值的图像边缘提取方法和区块标记、区块聚合过滤的方法.     

卷积深度置信网络的场景文本检测

自然场景中的文本检测对于视频、图像和图片等海量信息的检索管理具有重要意义.针对自然场景中的文本检测面临着图像背景复杂、分辨率低和分布随意的问题,提出一种场景文本检测的方法.该方法将最大稳定极值区域算法与卷积深度置信网络进行结合,把从最大稳定极值区域中提取出来的候选文本区域输入到卷积深度置信网络中进行特征提取,由Softmax分类器对提取的特征进行分类.该方法在ICDAR数据集和SVT数据集上进行实验,实验结果表明该方法有助于提高场景文本检测的精确率及召回率.     

一种新的有向传感器网络覆盖增强算法

针对现有有向传感器网络覆盖增强方法算法较复杂及覆盖率不够高等问题,提出了一种新的有向传感器网络覆盖增强算法。每次取一重覆盖区域面积最大的传感器节点及其传感方向,使得整个网络的一重覆盖区域较多,重叠区较少,可提高网络的覆盖率;同时考虑了冗余节点休眠的情况,当网络中有节点失效时,将其周围的休眠节点激活,并重新部署失效节点周围的节点,以此保证网络有较长的寿命和较好的覆盖效果。对比实验表明,与现有算法相比,本算法原理简单,且在相同节点数目和传感半径情况下,覆盖率分别提高了20%和15%左右。