A neural-based crowd estimation by hybrid global learning algorithm

A neural-based crowd estimation system for surveillance in complex scenes at underground station platform is presented. Estimation is carried out by extracting a set of significant features from sequences of images. Those feature indexes are modeled by a neural network to estimate the crowd density. The learning phase is based on our proposed hybrid of the least-squares and global search algorithms which are capable of providing the global search characteristic and fast convergence speed. Promising experimental results are obtained in terms of accuracy and real-time response capability to alert operators automatically.     

A Fast Neural Learning Vision System for Crowd Estimation at Underground Stations Platform

A neural learning-based crowd estimation system for surveillance in complex scenes at the platform of underground stations is presented. Estimation is carried out by extracting a set of significant features from the sequences of images. Feature indices are modeled by the neural networks to estimate the crowd density. The learning phase is based on our proposed hybrid algorithms which are capable of providing the global search characteristic and fast convergence speed. Promising experimental results were obtained in terms of estimation accuracy and real-time response capability to alert the operators automatically.     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

A Weakly-Supervised Crowd Density Estimation Method Based on Two-Stage Linear Feature Calibration

In a crowd density estimation dataset, the annotation of crowd locations is an extremely laborious task, and they are not taken into the evaluation metrics. In this paper, we aim to reduce the annotation cost of crowd datasets, and propose a crowd density estimation method based on weakly-supervised learning, in the absence of crowd position supervision information, which directly reduces the number of crowds by using the number of pedestrians in the image as the supervised information. For this...     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

基于改进混合高斯模型的人群密度估计方法

人群密度估计对于公共安全管理至关重要。针对视频监控系统下的人群密度估计问题,提出了一种基于改进混合高斯模型和像素统计的人群密度估计方法。通过计算图像的均值和偏差均值,提取高斯模型特征,在恒定的模型更新速率指导下,重建混合高斯背景图,从而获取人群二值图,最后,利用像素统计的方法实现人群密度快速估计。实验结果表明,较传统方法,该方法可以更准确有效地估计人群密度。     

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制（PAM）和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络（FCN）生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集part_B部分、UCF_CC_50数据集以及WorldExpo'10数据集上,拥塞场景识别网络（CSRNet）方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集part_B部分的平均绝对误差（MAE）和均方误差（MSE）分别降低了8.49%和4.37%;在UCF_CC_50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo'10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

Fast SqueezeNet算法及在地铁人群密度估计上的应用

针对地铁视频监控一直缺乏一种有效的人群密度分类器的问题,提出了基于人群密度估计算法—Fast SqueezeNet的人群密度分类器,用于在地铁嵌入式计算平台有限的硬件资源限制下,实现对地铁车厢内人群的密度估计.该算法基于轻型卷积神经网络SqueezeNet,结合权值稀疏化和结构稀疏化方法,具有如下3点优势:1)以原始图像作为输入,并在处理的过程中自动提取纹理特征用于拥挤人群密度的估计;2)SqueezeNet经过权值稀疏化后,具有更少的模型参数,可以灵活的布置在安谋(ARM)等具有有限硬件资源的嵌入式平台上;3)结构稀疏化方法使得SqueezeNet具有更快的前向预测速度,提高其在地铁嵌入式平台上的图像处理效率.在3个人群密度数据集PETS_2009,Mall和ShangHai metro上,采用Fast SqueezeNet算法的三分类人群密度分类器,与基于卷积神经网络和单纯的权值稀疏化SqueezeNet网络的分类器进行对比实验研究,结果表明:在预测准确率、参数规模和运行时间3个维度上,基于Fast SqueezeNet的分类器均表现出了较好的性能,有效地克服了地铁车厢拥挤人群中存在的高密度、高耦合、透视变形等图像识别难题对估计结果的影响.最后,在ARM嵌入式平台上的实验表明基于Fast SqueezeNet的分类器可以在有限的硬件资源下,快速准确的得到预测结果,满足高速运行的地铁列车日常使用需求.     

基于模糊神经网络的大场景人群密度估计方法 *

提出了一种估计大场景下密集人群密度的方法。该方法根据人类视觉的模糊性原理,认为用模糊集来划分人群密度范围比用确定的方法更符合人眼视知觉的认知方式,利用统计的方法确定灰度共生矩阵各指标对于各个密度类别的隶属函数;设计基于误差反向传播训练算法（BP）的模糊神经网络,计算样本模式对于各个密度类别的隶属度,并根据人群密度变化的时域连续性原理对人群密度范围进行合理估计。实验表明该方法提高了估计精度。     

基于双通道深度CNN的烟雾浓度测量方法

现有基于视频图像测量烟雾浓度的方法主要通过人工提取特征,需要已知环境的大气光、背景等外界条件.为了提高烟雾浓度测量方法的直接性和实用性,文中通过烟雾化方程,建立烟雾图像与其浓度数值的对应关系,进而提出基于双通道深度卷积神经网络(DCCNN)的烟雾浓度测量方法,实现端到端的烟雾浓度直接测量.DCCNN中采用1×1卷积进行通道数据融合,引入跳跃连接解决网络层数较深时梯度消失问题,加快训练过程.同时引入自注意力机制,自动学习隐含特征的重要程度,再合并两个通道提取的特征,获得综合测量结果.实验表明,DCCNN测量烟雾浓度的平均绝对误差较低,综合性能较优.     

基于多层BP神经网络和无参数微调的人群计数方法

针对大部分现有的人群计数方法被应用到新的场景时性能下降的问题,在多层BP神经网络框架下,提出一种具有无参数微调的人群计数方法。首先,从训练图像中裁切图像块,将获得的相似尺度的行人作为人群BP神经网络模型的输入;然后,BP神经网络模型通过学习预测密度图,得到了一个具有代表性的人群块;最后,为了处理新场景,对训练好的BP神经网络模型进行目标场景微调,可追求有相同属性的样本,包括候选块检索和局部块检索。实验数据集包括PETS2009数据集、UCSD数据集和UCF_CC_50数据集。这些场景的实验结果验证了提出方法的有效性。相比于全局回归计数法和密度估计计数法,提出的方法在平均绝对误差和均方误差方面均有较大优势, 消除了场景间区别和前景分割的影响。     

多层次特征融合的人群密度估计

目的 人群数量和密度估计在视频监控、智能交通和公共安全等领域有着极其重要的应用价值。现有技术对人群数量大,复杂环境下人群密度的估计仍存在较大的改进空间。因此,针对密度大、分布不均匀、遮挡严重的人群密度视觉检测,提出一种基于多层次特征融合网络的人群密度估计方法,用来解决人群密度估计难的问题。方法 首先,利用多层次特征融合网络进行人群特征的提取、融合、生成人群密度图;然后,对人群密度图进行积分计算求出对应人群的数量;最后,通过还原密度图上人群空间位置信息并结合估算出的人群数量,对人群拥挤程度做出量化判断。结果 在Mall数据集上本文方法平均绝对误差（MAE）降至2.35,在ShanghaiTech数据集上MAE分别降至20.73和104.86,与现有的方法进行对比估计精度得到较大提升,尤其是在环境复杂、人数较多的场景下提升效果明显。结论 本文提出的多层次特征融合的人群密度估计方法能有效地对不同尺度的特征进行提取,具有受场景约束小,人群数量估计精度高,人群拥挤程度评估简单可靠等优点,实验的对比结果验证了本文方法的有效性。     

Neural recognition of human pointing gestures in real images

We present a neural network based system for the visual recognition of human hand pointing gestures from stereo pairs of video camera images. The accuracy of the current system allows to estimate the pointing target to an accuracy of 2 cm in a workspace area of 50×50 cm. The system consists of several neural networks that perform the tasks of image segmentation, estimation of hand location, estimation of 3D-pointing direction and necessary coordinate transforms. Drawing heavily on the use of learning algorithms, the functions of all network modules were created from data examples only.     

A neurocomputing model for SODAR structure classification

The manual identification of different types of atmospheric microstructures recorded by SODAR (SOund Detection And Ranging) is a tedious task and can be performed only by an expert with broad experience. To avoid this manual task, a neural network based method of SODAR structure classification system is proposed. This method is developed based on past observations of various meteorological parameters such as temperature, relative humidity and vapour pressure, along with different features computed from the SODAR structure data, which are images representing the dynamics of the planetary boundary layer (PBL). The patterns of these images indicate the structure of different thermal patterns of the atmosphere. We propose a neural network model whose architecture combines multilayer perceptron networks (MLPs) to realize better performance after capturing the seasonality and other related effects in the atmospheric data. We also demonstrate that the use of appropriate features can further improve performance of the prediction system. These observations inspired us to use a feature selection neural network which can select good features online while learning the prediction task. The feature selection neural network is used as a preprocessor to select good features. The combined use of feature selection neural network and MLP, i.e. FSMLP (feature selection multilayer perception) results in a neural network system that uses only very few inputs but can produce a good classifier. Here we develop a real-time system that classifies the SODAR patterns automatically.     

深度学习在仿生眼监控系统中的应用

在视频监控系统中,由于受到复杂的背景、环境光线变化以及设备本身性能的限制,导致目标检测算法设计难度的加大,而传统的目标检测算法通常依赖于人工选择特征,难以从海量的数据中自动学习得到一个有效的分类器.基于深度学习算法,构建了一个卷积神经网络,并利用仿生眼视频监控系统中采集的人、车图像进行训练,在此基础上设计若干实验对深度学习网络特性进行分析,证明了训练集中各个类别样本的分布以及小样本训练的情况下对深度学习的训练结果会造成较大的影响.     

Defending Against Child Death: Deep learning‐based diagnosis method for abnormal identification of fetus ultrasound Images

One of the most important industries which protect human from various diseases is the medical industry. Child death is a crucial concern that needs to concentrate on “save the children.” Abnormality of a child can be obtained by diagnosing the prenatal by ultrasound system within a specific period for providing better treatment to do “save the children.”. This article aimed to diagnose the (prenatal) ultrasound‐images by design and implement a novel framework named Defending Against Child Death (DACD). The existing method is a semiautomatic method where it used convolutional neural network (CNN) algorithm for classifying ultrasound images. Real‐time medical industry requires a fully automatic method for classifying the ultrasound images to save the human. Hence this article, includes deep learning by implementing five convolutional neural network architectures in an order where it learns, estimate, and confirms the fetus parameters. All the layers in the convolutional neural network extract and classify the different number of features in the ultrasound images automatically and provide a result. The increased number of hidden layers in the CNN can extract even the hidden features of the images. The extracted features are classified automatically and improve the accuracy of disease detection. To segment the fetus abdomen, U‐Net architecture is included in the CNN with Hough transformation. The experiment is carried out using the CNN toolbox in MATLAB and the outcomes are verified. The performance of the DACD is assessed by comparing the results with the earlier researches. From the experimental results, it is obtained that the accuracy of DACD is 99.7%, which is higher than the results obtained from the existing machine learning approach.     

基于对抗式扩张卷积的多尺度人群密度估计

目的 人群密度估计任务是通过对人群特征的提取和分析,估算出密度分布情况和人群计数结果。现有技术运用的CNN网络中的下采样操作会丢失部分人群信息,且平均融合方式会使多尺度效应平均化,该策略并不一定能得到准确的估计结果。为了解决上述问题,提出一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。方法 利用扩张卷积在不损失分辨率的情况下对输入图像进行特征提取,且不同的扩张系数可以聚集多尺度上下文信息。最后通过对抗式损失函数将网络中提取的不同尺度的特征信息以合作式的方式融合,得到准确的密度估计结果。结果 在4个主要的人群计数数据集上进行对比实验。在测试阶段,将测试图像输入训练好的生成器网络,输出预测密度图;将密度图积分求和得到总人数,并以平均绝对误差（MAE）和均方误差（MSE）作为评价指标进行结果对比。其中,在ShanghaiTech数据集上Part_A的MAE和MSE分别降至60.5和109.7,Part_B的MAE和MSE分别降至10.2和15.3,提升效果明显。结论 本文提出了一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。实验结果表明,在人群分布差异较大的场景中构建的算法模型有较好的自适应性,能根据不同的场景提取特征估算密度分布,并对人群进行准确计数。     

基于卷积神经网络的视频流隐藏信息检测方法

为解决现有视频流隐藏信息检测中,人工检测特征设计难度不断加大的问题,提出一种基于卷积神经网络的视频流隐藏信息检测方法。在神经网络中构建残差学习单元,避免深层次卷积神经网络在训练时的梯度消失,利用深层神经网络自动从数据中挖掘检测特征,在此基础上引入量化截断操作,增加检测模型多样性,提升检测性能。使用FFmpeg与x264编码标准CIF序列生成的视频进行实验,实验结果表明,该方法相比现有方法具有更高的检测准确率。