基于ARM架构的视频服务器设计

设计了一种基于ARM平台、Linux操作系统的视频监控设备。该套系统的服务器端使用了嵌入式的硬件编码传输平台,对基于ARM的网络视频监控系统进行了研究与设计。首先在对系统进行需求分析的基础上对系统硬件进行了总体设计,采用ARM9内核的GM8180芯片搭建硬件平台。通过硬件编解码芯片,在嵌入式平台上将实时采集进来的视频信号进行高质量的H.264压缩编码,并通过RTP封包进行网络传输。系统能够很好地实现监控中视频流的实时传输,能够保证视频流传输的实时、完整和高效,从而达到设计目的。     

基于DM3730的安防视频监控系统设计

视频安防监控系统(Video Surveillance and Control System,缩写VSCS)是当前视频技术应用的重点领域,随着视频质量和传输速度要求的提高,传统的纯模拟视频监控系统已经发展为包括计算机、数字通信、网络技术和多媒体等多项技术的综合体。文中基于TI的OMAP平台(ARM+DSP)的高性双核能处理器DM3730,设计了一套具有实时视频采集、传输、处理能力的嵌入式视频处理系统,围绕这个方案详细阐述了嵌入式Linux开发平台构建,H.264视频编解码处理,Gstreamer多媒体设计,以及强制更新,硬件加速器等多项视频编解码的优化措施。总体上达到实时视频采集,处理与传输的要求,该系统在安防视频监控领域具有广泛的应用前景。     

基于Jetson TX2的路面病害检测应用

针对目前路面病害检测方法存在落地应用难与成本高的问题,基于低功耗嵌入式平台Jetson TX2对深度学习路面病害检测模型进行落地应用。首先采用YOLOv5目标检测网络训练路面病害目标检测模型;进一步使用TensorRT方法进行模型优化与引擎模型转换;最后将路面病害检测模型部署到嵌入式平台Jetson TX2。在实际路面环境中进行实验,结果表明：在Jetson TX2嵌入式平台,对比选择兼顾准确率与检测速度的YOLOv5s作为路面病害目标检测模型,引擎模型推断精度达到了90.5%,且推理速度较原模型提高了35.1%,检测速度达到了30.7 ms,漏检率仅为0.13%。基于Jetson TX2的路面病害检测达到了准确且实时的检测效果,并有效地降低路面病害检测成本,实现了深度学习模型的落地应用,提高了路面病害检测的效率与自动化程度。     

基于嵌入式的农场智能监控系统研究

由于利用有线网络进行通信以及监控端体积过大,导致视频监控系统的隐蔽性差,视频监控的威慑力和灵活性受到影响,基于此,利用DaVinci平台的Linux嵌入式系统设计了一套网络视频传输系统,完成了基于DaVinci平台的农场视频网络传输系统设计,包括H.264编码、农场视频的采集以及基于RTP协议的网络传输等功能。嵌入式的农场智能监控系统运行成功后,采用本地计算机上的VLC播放器能对摄像机采集的视频进行实时播放,通过对系统测试分析证明此系统稳定可靠,完全满足视频网络传输的需求。     

稀疏卷积神经网络用于低成本图像分类系统

传统卷积神经网络大量的计算及内存需求使嵌入式设备智能应用的开发成为挑战,为尝试将高度复杂的深度学习应用与性能有限的低成本嵌入式平台相结合,设计了一款小型嵌入式图像分类系统。实验基于结构化稀疏学习算法在Caffe框架下构建结构稀疏卷积神经网络模型,将其部署在工业派(IndustriPi)最小化系统上,通过测试得到了85.5%的准确率和处理实时影像时不小于8帧/s的运行速度。与经典模型相比,通过稀疏学习后的网络模型很大程度上减少了计算量和内存占用率,提高了低成本嵌入式设备的运行速度。     

基于嵌入式平台的卷积神经网络压缩加速方法

针对一般无人车或无人机平台算力较低,无法运行较大的深度神经网络目标检测模型,或者即使能运行也无法达到实时目标检测的问题,提出了基于特定嵌入式平台的轻量级卷积神经网络压缩加速方法,在结构中引入attention机制,采用分组卷积与快速卷积结构使模型推理速度加快,并通过知识蒸馏学习当前SOTA目标检测模型Fast的目标检测能力,最后通过后统计量化方法将推理模型进一步压缩提速,让模型在保持大型目标检测网络检测精度的同时,在嵌入式平台上也达到高精度实时运行的能力。在Nano无人车平台上,使用PASCAL VOC、ImageNet数据集对压缩后的目标检测模型进行实验验证。结果表明,模型参数量减少40%,平均精度均值（mean Average Precision,mAP）仅损失0.7%,每秒帧数（Frame Per Second,FPS）提升45%,并可在无人车上实时运行。     

基于TMS320DM355的网络高清视频监控系统的设计与实现

介绍了一种基于嵌入式Linux和TMS320DM355处理器平台的视频网络监控系统的设计与实现.该系统可根据需要,选择采集来自于VGA接口或者摄像头的视频数据,利用嵌入式Linux操作系统的V4L2(视频设备的内核驱动),编写驱动程序,进而实现视频的采集.经MPEG-4压缩算法对采集到的视频流进行压缩编码后,通过实时传输协议(RTP)和实时传输控制协议(RTCP)实现编码的视频数据流在网络的传输.     

一种基于卷积神经网络的轨道交通场景人群计数模型

现有的人群计数方法不能够完全适用于轨道交通场景中,为此,提出一种基于卷积神经网络的人群计数模型。模型采用VGG16作为前端网络提取浅层特征,提出一种基于Inception结构改进的M-Inception结构,结合空洞卷积构成后端网络,增大感受野,适应多监控角度下不同尺寸的行人目标;并提出一种融合行人总数估计损失和密度图损失的加权损失函数。将本文模型与4种现有模型进行对比实验,结果表明,提出的人群计数算法在地铁场景中的平均绝对误差和均方误差仅为1.46和2.13,优于4种对比模型。考虑到模型的实际应用,将模型部署到海思嵌入式芯片上,实测结果表明,模型可在嵌入式芯片上取得较高的计算速度和准确率,满足实际应用场景的需求。     

基于YOLOv4的足球识别及嵌入式实现方法

文章设计了一个基于嵌入式的智能足球检测系统,将人工智能技术和嵌入式平台技术相结合。采用基于YOLOv4深度学习数据检测分析算法,通过网络爬虫以及手动方式来对数据进行标注,在Darknet框架下进行网络模型训练。之后配置树莓派相关环境并把模型检测算法移植到树莓派平台上测试,来检测足球目标。试验验证分析表明,其最高检测准确率在98%,平均检测率在96%,平均检测时间为42 ms,其目标检测算法模型的mAP(平均精度值)为96.78%。该数据结果表明了YOLOv4目标检测算法模型部署在嵌入式平台的可行性。     

面向嵌入式系统的轻量级目标检测算法

由于嵌入式设备的内存和计算能力有限,在无人机平台上运行基于深度学习的目标检测算法进行实时解析具有很大的挑战性,同时,算法在小目标、高密度、多类别的场景下,检测精度有待提高。在此前提下,构建NCWS-YOLO轻量级算法,以YOLOv5算法为基础,基于非极大值抑制方法,融合加权框融合算法,提出了NCW方法,重构了预测端目标框筛选网络,使检测精度提升了3.9%。并且利用通道剪枝技术,对批归一化层进行通道稀疏化训练,选择不包括shortcut的层进行修剪,使参数量减少了74%,模型大小缩减了72.2%,浮点数运算降低了37.6%,将算法部署于嵌入式设备上实现了对无人机数据集的目标检测任务。所提方法在无人机数据集上测试精度(Pr)和平均精度(mAP@0.5)分别达到了0.941和0.969,在Nvidia Jetson TX2上推理速度提升了49.6%。实验数据表明,该网络能够在低功耗、算力低的嵌入式设备上进行实时检测。     

Attention guided feature pyramid network for crowd counting

Crowd counting has become a hot topic because of its wide applications in video surveillance and public security. However, one main problem of the deep learning methods for crowd counting is that the location information about the crowd is degraded irreversibly due to the spatial down-sampling of convolutional neural networks, which degrades the quality of generated density maps. To remedy the above problem, we propose an attention guided feature pyramid network (AG-FPN) for crowd counting, which can adaptively generate a high-quality density map with accurate spatial locations by combining the high- and low-level features. An attention block is added to each encoder layer to further emphasize the crowd regions and suppress the background clutters in feature extraction. Experimental results on the ShanghaiTech, UCF_CC_50, WorldExpo’10 and UCF-QNRF datasets demonstrate the superiority of the proposed method over state-of-the-art approaches.     

应用于嵌入式平台的实时红外行人检测方法

现有基于深度学习的远红外图像行人检测方法对计算力要求高,需要高功耗GPU计算平台,应用于嵌入式平台时,无法满足实时性和准确率需求。针对该问题,本文提出了一种新型实时红外行人检测方法,该方法使用MobileNet作为YOLOv3模型中的基础网络,辅助预测网络层以深度可分离卷积替换标准卷积,将模型改进为轻量红外行人检测模型。基于新方法构建的模型采用CVC红外行人训练集离线训练,并部署于嵌入式平台,实现红外行人在线实时检测。实验结果表明,与改进前方法相比,模型大小为65 M,约为YOLOv3的27%,新模型在基本保证原有准确率的同时,大幅降低了计算量,在同一平台下的检测速度从3FPS提升到了11FPS,可满足大部分嵌入式系统对行人检测的实时性需求。     

An improved deep multiscale crowd counting network with perspective awareness

Crowd counting is a challenging task, which is partly due to the multiscale variation and perspective distortion of crowd images. To solve these problems, an improved deep multiscale crowd counting network with perspective awareness was proposed. This network contains two branches. One branch uses the improved ResNet50 network to extract multiscale features, and the other extracts perspective information using a perspective-aware network formed by fully convolutional networks. The proposed network structure improves the counting accuracy when the crowd scale changes, and reduce the influence of perspective distortion. To accommodate various crowd scenarios, data-driven approaches are used to fine-tune the trained convolutional neural networks (CNN) model of the target scenes. The extensive experiments on three public datasets demonstrate the validity and reliability of the proposed method.     

实时视频网络传输系统实现技术

实时视频网络传输技术的研究对开展视频应用具有重大意义。本文给出了一个实时视频网络传输系统的实现框图,并结合该原理框图,分析了实时视频网络传输系统的关键技术:视频采集、视频编码/解码和网络传输控制协议。其中特别强调了发送端的面向通信的视频编码、接收端的错误隐藏和差错恢复和提供视频应用服务质量保护(QoS)的网络传输控制协议,同时给出具体的实现方式。最后与嵌入式系统开发相结合,搭建了一个用户终端开发平台。     

基于深度对抗式网络的人群计数方法

对人群密度大、遮挡严重以及分不均等因素造成人群计数困难的问题,本文提出了一 种深度对抗式网络的人群计数模型, 该模型主要分为生成器网络和判别器网络。首先利用具有良好的迁移能力和特征提取能力VG G16的前十层作为前端模块,以初 步提取特征;然后,为应对人群遮挡严重以及分布不均的情况,使用我们设计的深度扩张卷 积模块来聚合人群信息,并将浅层与 深层人头特征进行融合,以增强网络对人群的适应能力。并在此过程中,使用扩张卷积代替 传统的卷积层,在不损失图像分辨率 的情况下对图像进行特征提取;最后,将密度图与标签密度图输入判别器网络进行判别,目 的是生成与标签密度图更为相似的密 度图,提高人群计数的准确性。实验结果表明,与其他方法相比,本文方法无论是在客观指 标或者主管视觉方面,均具有较好的效果。     

Crowd counting in complex scenes based on an attention aware CNN network

Crowd counting with density estimation has been an active research community due to its significant applications in the fields of public security, video surveillance, traffic monitoring. However, Crowd counting for congested scenes often suffers from some obstacles including severe occlusions, large scale variations, noise interference, etc. In this paper, using the first ten layers of a modified VGG16 and dilated convolution layers as the framework, we have proposed a CNN based crowd counting and density estimation model improved by the attention aware modules with residual connections. To tackle the problem of noise interference, convolutional block attention modules have been introduced into the deep network to segment the foreground and background to focus on interest information, refining deeper features of the input image. To improve information transmission and reuse, residual connections are utilized to link 3 attention blocks. Meanwhile, dilated convolution layers keep larger reception fields and obtain high-resolution density maps. The proposed method has been evaluated on three public benchmarks, i.e. Shanghai Tech A & B, UCF-QNRF and MALL, achieving the mean absolute errors of 64.6 & 8.3, 113.8 and 1.68, respectively. The results outperform some existing excellent approaches. This indicates that the proposed model has high accuracy and better robustness, which is suitable for crowd counting and density estimation in various congested scenes.     

基于Zynq平台的图像目标检测系统

针对图像目标检测任务中采用的深度学习网络复杂的计算和规模庞大的计算参数,导致基于ARM架构的嵌入式系统上,目标检测任务存在着高延时和处理速度慢的问题,文章提出并设计实现了一种新型完整嵌入式道路车辆检测方案。该方案在基于YOLOv3-Tiny的特征提取网络中采用结构重参数化的方法提升模型检测精度,并通过Vitis-AI在Zynq嵌入式平台上部署DPUCZDX8G架构的加速核对卷积神经网络的并行加速,最后将改进的YOLOv3-Tiny网络模型经过量化、编译,以动态链接库的方式部署。实验结果表明,在VOC2007上测试最终实现均值平均精度(MAP)为0.597,实时处理速度为27.7FPS,同时帧率功耗比为1.49,适合边缘计算设备的低功耗要求。     

Integrated network management and control for interactive videodial tone networks

The emerging interactive video dial tone (VDT) services pose some unique requirements for real-time network monitoring and control. To support the roll-out of VDT-based networks and services, GTE is developing new network management applications on its TONICS (Telephone Operations Network Integrated Control System) platform. TONICS's applications are embedded in a high availability software platform providing distributed processing. The article describes the real-time management requirements of VDT networks, provides an overview of the TONICS integration platform, outlines a network management and control architecture for VDT networks, illustrates example VDT management applications, and discusses the deployment issues     

基于PXA270芯片的嵌入式数字视频采集系统

数字化的嵌入式视频采集系统成为当前视频采集的的主流。该嵌入式视频采集系统以Microsoft Windows CE 5.0操作系统和基于PXA270芯片的硬件平台为核心,实现了对现场的实时视频采集。系统在嵌入式端既可以进行视频的显示也可以进行图像的抓拍,同时视频数据在嵌入式端进行压缩之后通过局域网络传输到PC端,PC作为服务器端,在PC端的软件实现了对视频分析、存储和显示等功能。系统可广泛应用于视频监控的场合。