基于双分支特征融合的无锚框目标检测算法

针对无锚框目标检测算法CenterNet中,目标特征利用程度不高、检测结果不够准确的问题,该文提出一种双分支特征融合的改进算法。在算法中,一个分支包含了特征金字塔增强模块和特征融合模块,以对主干网络输出的多层特征进行融合处理。同时,为利用更多的高级语义信息,在另一个分支中仅对主干网络的最后一层特征进行上采样。其次,对主干网络添加了基于频率的通道注意力机制,以增强特征提取能力。最后,采用拼接和卷积操作对两个分支的特征进行融合。实验结果表明,在公开数据集PASCAL VOC上的检测精度为82.3%,比CenterNet算法提高了3.6%,在KITTI数据集上精度领先其6%,检测速度均满足实时性要求。该文提出的双分支特征融合方法将不同层的特征进行处理,更好地利用浅层特征中的空间信息和深层特征中的语义信息,提升了算法的检测性能。     

Bi-READ: Bi-Residual AutoEncoder based feature enhancement for video anomaly detection

Video anomaly detection (VAD) refers to identifying abnormal events in the surveillance video. Typically, reconstruction based video anomaly detection techniques employ convolutional autoencoders with a limited number of layers, which extracts insufficient features leading to improper network training. To address this challenge, an end-to-end unsupervised feature enhancement network, namely Bi-Residual Convolutional AutoEncoder (Bi-ResCAE) has been proposed that can learn normal events with low reconstruction error and detect anomalies with high reconstruction error. The proposed Bi-ResCAE network incorporates long–short residual connections to enhance feature reusability and training stabilization. In addition, we propose to formulate a novel VAD model that can extract appearance and motion features by fusing both the Bi-ResCAE network and optical flow network in the objective function to recognize the anomalous object in the video. Extensive experiments on three benchmark datasets validate the effectiveness of the model. The proposed model achieves an AUC (Area Under the ROC Curve) of 84.7% on Ped1, 97.7% on Ped2, and 86.71% on the Avenue dataset. The results show that the Bi-READ performs better than state-of-the-art techniques.     

基于特征增强模块的小尺度行人检测

行人检测中,小尺度行人时常被漏检、误检。为了提升小尺度行人的检测准确率并且降低其漏检率,该文提出一个特征增强模块。首先,考虑到小尺度行人随着网络加深特征逐渐减少的问题,特征融合策略突破特征金字塔层级结构的约束,融合深层、浅层特征图,保留了大量小尺度行人特征。然后,考虑到小尺度行人特征容易与背景信息发生混淆的问题,通过自注意力模块联合通道注意力模块建模特征图空间、通道关联性,利用小尺度行人上下文信息和通道信息,增强了小尺度行人特征并且抑制了背景信息。最后,基于特征增强模块构建了一个小尺度行人检测器。所提方法在CrowdHuman数据集中小尺度行人的检测准确率为19.8%,检测速度为22帧/s,在CityPersons数据集中小尺度行人的误检率为13.1%。结果表明该方法对于小尺度行人的检测效果优于其他对比算法且实现了较快的检测速度。     

基于全局双线性注意力的红外视频行为识别

针对红外视频缺少纹理细节特征以致在人体行为识别中难以兼顾计算复杂度与识别准确率的问题,提出一种基于全局双线性注意力的红外视频行为识别方法。为高效计算红外视频中的人体行为,设计基于两级检测网络的关节点提取模块来获得人体关节点信息,创新性地将所形成的关节点三维热图作为红外视频人体行为识别网络的输入特征;为了在轻量化计算的基础上进一步提升识别准确率,提出一种全局双线性注意力的三维卷积网络,从空间和通道两个维度提升注意力的建模能力,捕获全局结构信息。在InfAR和IITR-IAR数据集上的实验结果表明,该方法在红外视频行为识别中的有效性。     

QoS-aware joint working packet scheduling and call admission control for video streaming service over WiMAX network

In this paper, we propose a QoS-aware joint working packet scheduling algorithm and call admission control algorithm to support stable video streaming service to more subscribers over WiMAX network. The proposed call admission control algorithm estimates the network throughput by using a local linear model in terms of a control parameter of the proposed scheduling algorithm, and performs its own functions based on the information. The proposed scheduling algorithm continuously updates the control parameter to pursue an effective tradeoff between the quality-of-service of video streaming and the network throughput. Finally, simulation results are provided to show the performance of the proposed video streaming system.     

基于多波束风场位移测量法的高速数据采集和处理系统设计

为实现对风场的实时监控,多波束风场位移测量系统对数据采集系统提出了很高的要求。针对实际需求,设计了实现高速数据缓存和传输控制的FPGA芯片,主要包括PLL时钟管理模块、前级FIFO缓冲模块、后级双口RAM存储模块以及FIFO和RAM的读写控制模块等,很好地完成了数据的缓存和异步读取,并且极大简化了A/D芯片接口电路结构和印制电路板设计的复杂性。在开发环境QuartusⅡ6.1中对设计的各个模块分别进行了综合和仿真,仿真结果表明各模块均达到了设计要求。风场位移测量系统成功地对实地风场进行了测量,结果表明高速数据采集系统能够有效地检测出风场中不同距离处的散射回波信号,并据此计算出风速以及风向。     

No-reference quality assessment of HEVC video streams based on visual memory modelling

Providing adequate Quality of Experience (QoE) to end-users is crucial for streaming service providers. In this paper, in order to realize automatic quality assessment, a No-Reference (NR) bitstream Human-Vision-System-(HVS)-based video quality assessment (VQA) model is proposed. Inspired by discoveries from the neuroscience community, which suggest there is a considerable overlap between active areas of the brain when engaging in video quality assessment and saliency detection tasks, saliency maps are used in the proposed method to improve the quality assessment accuracy. To this end, saliency maps are first generated from features extracted from the HEVC bitstream. Then, saliency map statistics are employed to create a model of visual memory. Finally, a support vector regression pipeline learns an estimate of the video quality from the visual memory, saliency, and frame features. Evaluations on SJTU dataset indicate that the proposed bitstream based no-reference video quality assessment algorithm achieves a competitive performance.     

适于AVS视频解码器的可配置存储器设计

设计了一种适用于AVS视频解码器的可配置存储器,可工作在5种不同的模式,主要应用于反扫描、反量化及反变换模块,既可用来进行反扫描中的数据移动、反变换器所需的转置操作,又可用来存储中间结果,将反扫描、反量化和反变换合并为一个流水线单元并行处理.该设计省去了存储中间结果所需的大量存储器,加快了处理速度,满足高清视频的处理要...     

上下文信息融合与分支交互的SAR图像舰船无锚框检测

SAR图像中舰船目标稀疏分布、锚框的设计,对现有基于锚框的SAR图像目标检测方法的精度和泛化性有较大影响,因此该文提出一种上下文信息融合与分支交互的SAR图像舰船目标无锚框检测方法,命名为CI-Net.考虑到SAR图中舰船尺度的多样性,在特征提取阶段设计上下文融合模块,以自底向上的方式融合高低层信息,结合目标上下文信息...     

基于优化Inception V1的视频火焰超像素检测方法

针对传统火焰检测模型的检测准确度较低和速度慢等问题,提出一种优化的卷积神经网络和超像素分割算法的视频火焰区域检测方法.首先使用火焰图像数据集对模型进行训练和验证,采用卷积核堆叠替换的方法改进Inception模块的结构;其次采用小卷积核替换的方法改进网络的前端结构,并将Focal-Loss函数作为损失函数以提高模型的泛...     

Real-time video super resolution network using recurrent multi-branch dilated convolutions

Recent developments of video super-resolution reconstruction often exploit spatial and temporal contexts from input frame sequence by making use of explicit motion estimation, e.g., optical flow, which may introduce accumulated errors and requires huge computations to obtain an accurate estimation. In this paper, we propose a novel multi-branch dilated convolution module for real-time frame alignment without explicit motion estimation, which is incorporated with the depthwise separable up-sampling module to formulate a sophisticated real-time video super-resolution network. Specifically, the proposed video super-resolution framework can efficiently acquire a larger receptive field and learn spatial–temporal features of multiple scales with minimal computational operations and memory requirements. Extensive experiments show that the proposed super-resolution network outperforms current state-of-the-art real-time video super-resolution networks, e.g., VESPCN and 3DVSRnet, in terms of PSNR values (0.49 dB and 0.17 dB) on average in various datasets, but requires less multiplication operations.     

一种节省存储量的SOVA子译码器IP核的设计

在简单分析SOVA译码算法的基础上,对SOVA子译码器IP核的设计进行了整体分析;从硬件实现的角度,对译码算法的特征进行了理论分析,得到了对称状态节点的软信息具有确定关联的结论;并据此优化了硬件设计,极大地减少了存储资源的占用。同时,采用其他两种减少存储空间的优化设计方案和流水线策略,进一步减少了SOVA子译码器的功耗。对以上优化设计方案进行了设计实现。仿真结果及FPGA硬件测试验证表明,文章提出的优化方案可行、有效,极大地降低了硬件资源占用和功耗。     

An adaptive congestion control scheme for real time packet videotransport

We show that modulating the source rate of a video encoder based on congestion signals from the network has two major benefits: the quality of the video transmission degrades gracefully when the network is congested and the transmission capacity is used efficiently. Source rate modulation techniques have been used in the past in designing fixed rate video encoders used over telephone networks. In such constant bit rate encoders, the source rate modulation is done using feedback information about the occupancy of a local buffer. Thus, the feedback information is available instantaneously to the encoder. In the scheme proposed, the feedback may be delayed by several frames because it comes from an intermediate switching node of a packet switched network. The paper shows the proposed scheme performs quite well despite this delay in feedback. We believe the use of such schemes will simplify the architecture used for supporting real time video services in future nationwide gigabit networks     

基于改进传感器模式噪声提取模型的源相机识别

针对当前基于传感器模式噪声(sensor pattern noise,SPN)提取模型处理压缩 视频来源检测的识别效果较差问题,提出一种基 于多尺度变换域自适应维纳滤波和一种加权最大似然估计的改进SPN提取模型。 首先干预视 频的编解码过程,在编解码器的环路滤波模块前提取视频帧,然后将视频帧输入双密度双树 复小波变换 自适应维纳滤波模型中提取噪声残差,最后使用加权最大似然估计从噪声残差中估计得到SPN。在公共视频源取证数据库VISION上进行测试比较,实验结果表明所提出的改进SPN提取 模型在ROC曲线和Kappa统计系数两种评价指标上的识别效果优于 传统SPN提取算法。     

一种监控摄像机干扰检测模型

为减少监控干扰检测中因特殊场景引起的误检测,文中提出一种基于Siamese 架构的SCG(Siamese with Convolutional Gated Recurrent Unit)模型,利用视频片段间的潜在相似性来区分特殊场景与干扰事件.通过在Siamese架构中融合改进ConvGRU 网络,使模型充分利用监控视...     

融入注意力机制的视频多尺度时序融合行为识别模型

视频行为识别算法在特征提取过程中,存在未聚焦视频图像显著区域信息的问题,使模型分类效果不理想。为了提高网络区别关注的能力,提出融入注意力机制的视频多尺度时序行为识别算法模型。在视频长-短时序网络中分别融入通道-空间注意力和通道注意力模块,引入注意力机制使网络在训练过程中重新分配权重,捕捉视频内容与位置兴趣点,提高网络的表达能力。在Something-somethingV1和Jester数据集上的实验结果表明,融入轻量注意力模块的视频多尺度时序融合行为识别网络的性能得到有效提升,与其他行为识别网络相比体现出一定的优势。      

视频监控下利用记忆力增强自编码的行人异常行为检测

随着视频监控数据的快速增长,对大规模视频数据的自动异常检测的需求越来越大,基于深度自编码器重构误差检测方法已经被广泛探讨。但是,有时自编码器“泛化”得很好,能够很好地重建异常并导致漏检。为了解决这个问题,提出了采用记忆力模块来增强自动编码器,称为记忆力增强自编码（Memory-augmented autoencoder, Memory AE）方法。给定输入,Memory AE首先从编码器获取编码,然后将其用作查询以检索最相关的记忆项来进行重建。在训练阶段,记忆内容被更新以表示正常数据的原型元素。在测试阶段,将学习到的记忆元素固定下来,从正常数据的几个选定的记忆记录中获得重建,因此重建将趋向于接近正常样本。因此,将加强对异常的重构误差以进行异常检测。对两个公共视频异常检测数据集,即Avenue数据集和ShanghaiTech数据集的研究证明了所提出方法的有效性。     

时空深度特征AP聚类的稀疏表示视频异常检测算法

针对异常行为检测问题, 提出基于时空深度特征的AP聚类稀疏表示视频异常检测方法。由于视频序列中大量背景信息及有效信息分布不均匀的情况，首先利用光流结合非均匀的细胞分割对视频的运动目标进行提取并得到空间尺寸大小不同的时空兴趣块。其次利用三维卷积神经网络提取不同时空兴趣块的时空深度特征从而对原始视频序列进行三维描述。然后在字典学习时，采用AP聚类方法，将训练样本中具有代表性的特征作为字典，极大降低字典维度以及稀疏表示方法对计算内存的要求。本文将测试样本进行AP聚类后仅对具有代表性的聚类中心进行检测，在减少实验时间的同时削减了阈值对检测效果的敏感度。实验结果表明，与现有的检测方法相比本文方法具有优越性。      

基于时空注意力网络的中国手语识别

手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3D Convolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域；随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。