基于多尺度增强网络的人群计数方法

人群计数研究普遍使用欧几里得损失函数,易造成图像局部相关性缺失,且现有研究方法未能充分提取人群图像中连续变化的尺度特征,影响了人群计数模型的性能.针对上述问题,该文提出一种基于多尺度增强网络的人群计数模型(MSEN).首先,在多分支结构生成网络中引入区域性判别网络,将二者组合形成嵌入式GAN模块,以增强生成图像的局部相关性;之后,基于金字塔池化结构设计了尺度增强模块,将该模块连接在嵌入式GAN模块之后,进一步从不同区域提取不同尺度的局部特征,以最大程度地应对人群图像局部尺度连续变化的问题,从而增强整体模型的泛化能力.最后,在3个具有挑战性的人群计数公共数据集上进行了广泛的实验.实验结果表明,该文所述模型可有效提升人群计数问题的准确性和鲁棒性.     

基于RGB-T图像的双流残差扩张网络人群计数算法

在人群计数中，针对尺度变化、行人分布不均以及夜间较差成像条件，提出了一种基于RGBT(RGB-Thermal)图像的多模态人群计数算法，称为双流残差扩张网络，它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中，前端网络用来提取RGB特征和热特征，扩张卷积模块进一步提取不同尺度的行人特征信息，全局注意力模块用来建立全局特征之间的依赖关系。此外，还引入了一种新的多尺度差异性损失，以提高网络的计数性能。为评估该方法，在RGBTCC(RGBT Crowd Counting)数据集和DroneRGBT数据集上进行了对比实验。实验结果表明，在RGBTCC数据集上与CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的GAME(0)(Grid Average Mean absolute Errors)和RMSE(Root Mean Squared Error)分别降低了0.8和3.49，在DroneRGBT数据集上与MMCCN(Multi-Modal Crowd Counting Network)算法比...     

基于RGB-T图像的双流残差扩张网络人群计数算法

在人群计数中,针对尺度变化、行人分布不均以及夜间较差成像条件,提出了一种基于RGBT(RGB-Thermal)图像的多模态人群计数算法,称为双流残差扩张网络,它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中,前端网络用来提取RGB特征和热特征,扩张卷积模块进一步提取不同尺度的行人特征信息,全局注意力模块用来建立全局特征之间的依赖关系。此外,还引入了一种新的多尺度差异性损失,以提高网络的计数性能。为评估该方法,在RGBTCC(RGBT Crowd Counting)数据集和DroneRGBT数据集上进行了对比实验。实验结果表明,在RGBTCC数据集上与CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的GAME(0)(Grid Average Mean absolute Errors)和RMSE(Root Mean Squared Error)分别降低了0.8和3.49,在DroneRGBT数据集上与MMCCN(Multi-Modal Crowd Counting Network)算法比...     

基于多尺度局部二元模式共生直方图的红外人脸识别

不同尺度的局部二元模式(LBP)提取了红外人脸图中不同的微结构局部特征。为了挖掘不同尺度中局部特征的相关性,提出了一种基于多尺度LBP 共生直方图的红外人脸识别方法。传统的多尺度LBP 特征提取方法,丢失了对多尺度特征间相关性信息的提取。为了充分考虑微结构间的相关统计信息,提出了多尺度LBP 共生直方图表示方法,以提取包含在红外人脸图像中的有用鉴别特征。多尺度LBP 共生直方图特征表示方法不仅可以消除环境温度对红外人脸图像特征提取的影响,而且还可以增强对局部特征表示的鉴别性。实验结果表明:多尺度局部二元模式共生矩阵可以增强对红外人脸鉴别特征提取的有效性,提出的红外人脸方法的性能优于基于传统多尺度LBP 和单尺度LBP方法,在相同环境情况下和在环境温度变化情况下可以达到99.2%和91.2%的识别率。     

基于新型多尺度注意力机制的密集人群计数算法

密集人群计数是计算机视觉领域的一个经典问题,仍然受制于尺度不均匀、噪声和遮挡等因素的影响.该文提出一种基于新型多尺度注意力机制的密集人群计数方法.深度网络包括主干网络、特征提取网络和特征融合网络.其中,特征提取网络包括特征支路和注意力支路,采用由并行卷积核函数组成的新型多尺度模块,能够更好地获取不同尺度下的人群特征,以...     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。     

多分辨率融合输入的U型视网膜血管分割算法

针对视网膜血管拓扑结构不规则、形态复杂和尺度变化多样的特点,该文提出一种多分辨率融合输入的U型网络(MFIU-Net),旨在实现视网膜血管精准分割。设计以多分辨率融合输入为主干的粗略分割网络,生成高分辨率特征。采用改进的ResNeSt代替传统卷积,优化血管分割边界特征;将并行空间激活模块嵌入其中,捕获更多的语义和空间信息。构架另一U型精细分割网络,提高模型的微观表示和识别能力。一是底层采用多尺度密集特征金字塔模块提取血管的多尺度特征信息。二是利用特征自适应模块增强粗、细网络之间的特征融合,抑制不相关的背景噪声。三是设计面向细节的双重损失函数融合,以引导网络专注于学习特征。在眼底数据用于血管提取的数字视网膜图像(DRIVE)、视网膜结构分析(STARE)和儿童心脏与健康研究(CHASE_DB1)上进行实验,其准确率分别为97.00%, 97.47%和97.48%,灵敏度分别为82.73%, 82.86%和83.24%,曲线下的面积(AUC)值分别为98.74%, 98.90%和98.93%。其模型整体性能优于现有算法。     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

基于深度学习的视频人群计数系统

人群自动计数问题在视频监控领域引起了广泛关注。近年来,卷积神经网络(CNN)模型在人群计数方面取得了良好效果。然而,当前对于基于深度学习的人群计数的研究主要停留在PC端上对单幅静止图片的人群计数,网络模型参数量巨大,网络结构复杂,消耗的计算资源巨大,难以部署于实际的监控视频人群计数系统。因此,本文采用深度学习的方法,通过对网络模型进行裁剪压缩,同时使用TensorRT对模型进行加速,在嵌入式平台上实现了接近实时的人群计数。提出的人群计数平均绝对误差(MAE)为21.6且平均每秒帧数(FPS)为22,在精确度和速度方面达到了一个很好的平衡,在嵌入式平台上运行速度较快,能达到实时的效果。     

一种基于卷积神经网络的轨道交通场景人群计数模型

现有的人群计数方法不能够完全适用于轨道交通场景中,为此,提出一种基于卷积神经网络的人群计数模型。模型采用VGG16作为前端网络提取浅层特征,提出一种基于Inception结构改进的M-Inception结构,结合空洞卷积构成后端网络,增大感受野,适应多监控角度下不同尺寸的行人目标;并提出一种融合行人总数估计损失和密度图损失的加权损失函数。将本文模型与4种现有模型进行对比实验,结果表明,提出的人群计数算法在地铁场景中的平均绝对误差和均方误差仅为1.46和2.13,优于4种对比模型。考虑到模型的实际应用,将模型部署到海思嵌入式芯片上,实测结果表明,模型可在嵌入式芯片上取得较高的计算速度和准确率,满足实际应用场景的需求。     

Illumination-aware window transformer for RGBT modality fusion

Combination of RGB and thermal sensors has been proven to be useful for many vision applications. However, how to effectively fuse the information of two modalities remains a challenging problem. In this paper, we propose an Illumination-Aware Window Transformer (IAWT) fusion module to handle the RGB and thermal multi-modality fusion. Specifically, the IAWT fusion module adopts a window-based multi-modality attention combined with additional estimated illumination information. The window-based multi-modality attention infers dependency cross modalities within a local window, thus implicitly alleviate the problem caused by weakly spatial misalignment of the RGB and thermal image pairs within specific dataset. The introduction of estimated illumination feature enables the fusion module to adaptively merge the two modalities according to illumination conditions so as to make full use of the complementary characteristics of RGB and thermal images under different environments. Besides, our proposed fusion module is task-agnostic and data-specific, which means it can be used for different tasks with RGBT inputs. To evaluate the advances of the proposed fusion method, we embed the IAWT fusion module into different networks and conduct the experiments on various RGBT tasks, including pedestrian detection, semantic segmentation and crowd counting. Extensive results demonstrate the superior performance of our method.     

基于多模型深度卷积网络融合的人群计数算法

为了避免景深和遮挡的干扰, 提高人群计数的准确性, 采用了LeNet-5, AlexNet和VGG-16 3种模型, 提取图像中不同景深目标的特性, 调整上述模型的卷积核尺寸和网络结构, 并进行了模型融合。构造出一种基于多模型融合的深度卷积神经网络结构, 网络最后两层采用卷积核大小为1×1的卷积层取代传统的全连接层, 对提取的特征图进行信息整合并输出密度图, 极大地降低了网络参量且取得了一定提升的数据, 兼顾了算法效率和精度, 进行了理论分析和实验验证。结果表明, 在公开人群计数数据集shanghaitech两个子集和UCF_CC_50子集上, 本文中计数方法的平均绝对误差和均方误差分别是97.99和158.02, 23.36和41.86, 354.27和491.68, 取得比现有传统人群计数方法更好的性能; 通过迁移实验证明所提出的人群计数模型具有良好的泛化能力。该研究对人群计数精度的提高是有帮助的。     

基于深度对抗式网络的人群计数方法

对人群密度大、遮挡严重以及分不均等因素造成人群计数困难的问题,本文提出了一 种深度对抗式网络的人群计数模型, 该模型主要分为生成器网络和判别器网络。首先利用具有良好的迁移能力和特征提取能力VG G16的前十层作为前端模块,以初 步提取特征;然后,为应对人群遮挡严重以及分布不均的情况,使用我们设计的深度扩张卷 积模块来聚合人群信息,并将浅层与 深层人头特征进行融合,以增强网络对人群的适应能力。并在此过程中,使用扩张卷积代替 传统的卷积层,在不损失图像分辨率 的情况下对图像进行特征提取;最后,将密度图与标签密度图输入判别器网络进行判别,目 的是生成与标签密度图更为相似的密 度图,提高人群计数的准确性。实验结果表明,与其他方法相比,本文方法无论是在客观指 标或者主管视觉方面,均具有较好的效果。     

An improved deep multiscale crowd counting network with perspective awareness

Crowd counting is a challenging task, which is partly due to the multiscale variation and perspective distortion of crowd images. To solve these problems, an improved deep multiscale crowd counting network with perspective awareness was proposed. This network contains two branches. One branch uses the improved ResNet50 network to extract multiscale features, and the other extracts perspective information using a perspective-aware network formed by fully convolutional networks. The proposed network structure improves the counting accuracy when the crowd scale changes, and reduce the influence of perspective distortion. To accommodate various crowd scenarios, data-driven approaches are used to fine-tune the trained convolutional neural networks (CNN) model of the target scenes. The extensive experiments on three public datasets demonstrate the validity and reliability of the proposed method.     

CrowdFormer: Weakly-supervised crowd counting with improved generalizability

Convolutional neural networks (CNNs) have dominated the field of computer vision for nearly a decade. However, due to their limited receptive field, CNNs fail to model the global context. On the other hand, transformers, an attention-based architecture, can model the global context easily. Despite this, there are limited studies that investigate the effectiveness of transformers in crowd counting. In addition, the majority of the existing crowd-counting methods are based on the regression of density maps which requires point-level annotation of each person present in the scene. This annotation task is laborious and also error-prone. This has led to an increased focus on weakly-supervised crowd-counting methods, which require only count-level annotations. In this paper, we propose a weakly-supervised method for crowd counting using a pyramid vision transformer. We have conducted extensive evaluations to validate the effectiveness of the proposed method. Our method achieves state-of-the-art performance. More importantly, it shows remarkable generalizability.     

Research on crowd flows prediction model for 5G demand

The deployment and planning for ultra-dense base stations,multidimensional resource management,and on-off switching in 5G networks rely on the accurate prediction of crowd flows in the specific areas.A deep spatial-temporal network for regional crowd flows prediction was proposed,by using the spatial-temporal data acquired from mobile networks.A deep learning based method was used to model the spatial-temporal dependencies with different scales.External factors were combined further to predict citywide crowd flows.Only data from local regions was applied to model the closeness of properties of the crowd flows,in order to reduce the requirements for transmitting the globe data in real time.It is of importance for improving the performance of 5G networks.The proposed model was evaluated based on call detail record data set.The experiment results show that the proposed model outperforms the other prediction models in term of the prediction precision.     

Ghost-YOLO: 轻量化口罩人脸检测算法

在嵌入式设备上,由于算力及存储空间的限制,当前的大型高精度目标检测模型的推理速度较低。为此,本文设计了一种轻量化目标检测模型,用于口罩人脸检测。首先,本文设计了一种高激活性鬼影（High Active Ghost,HAG）模块,以轻量的计算代价减少特征图中的冗余。其次,利用HAG实现高激活性鬼影跨段部分（High Active Ghost Cross Stage Partial,HAG-CSP）连接模块,提升了跨段部分连接网络结构的特征学习能力。再次,利用HAG-CSP对你只需看一次（You Only Look Once,YOLO）模型进行轻量化改造来得到完整的Ghost-YOLO网络,并构造出一个口罩人脸检测器。实验结果表明,本文提出方法在NVIDIA Jetson NX嵌入式设备上,在检测精度优于其他目标检测算法的前提下,对于640×640的图片,实现了24.72 ms每帧的检测速度,并且减少了模型的参数量。