基于时空关系模型的城市道路车辆实时检测

复杂城市道路环境下运动车辆目标检测是现代智能交通系统的重要组成部分.依据多帧视频图像序列的时空连续变化关系,通过构建多帧视频图像序列时空关系模型（Time-space model——TSM）,进一步完善车底阴影特征检测算法,并与AdaBoost算法相结合,实现运动车辆目标检测的候选区域筛选与验证处理,以降低车辆检测的误检率,提高准确率.在白天复杂城市道路环境下,实验结果显示基于TSM的车辆检测,检测准确率为92.1%,误检率为4.3%,图像分辨率为1920*1088,单帧图像平均处理时间76 ms.基于TSM的车辆检测显著改进了AdaBoost和车底阴影特征检测算法存在的误检率高,效率低问题,满足城市道路环境下车辆检测准确率和鲁棒性的要求.     

基于遮挡检测和时空上下文信息的目标跟踪算法*

基于时空上下文信息的目标跟踪算法利用目标与背景之间的时空关系,在一定程度上解决静态遮挡问题,但当目标出现较大遮挡或快速运动目标被背景中物体遮挡(动态遮挡)时,仍然会出现跟踪不准确或跟丢的情况.基于此种情况,文中提出基于遮挡检测和时空上下文信息的目标跟踪算法.首先利用首帧图像中压缩后的光照不变颜色特征构造并初始化时空上下文模型.然后利用双向轨迹误差对输入的视频帧进行遮挡情况判断.如果相邻帧间目标区域特征点的双向匹配误差小于给定阈值,说明目标未出现严重遮挡或动态遮挡,可以利用时空上下文模型进行准确跟踪.否则利用文中提出的组合分类器对后续帧进行目标检测,直至重新检测到目标,同时对上下文模型和分类器进行在线更新.在多个视频帧序列上的测试表明,文中算法可以较好地解决复杂场景下较严重的静态遮挡和动态遮挡问题.     

基于简单帧选择的显著性检测方法

提出了一种新颖的视频显著性检测方法。为了提取视频序列中具有高置信度的特征,根据输入帧和输入帧的初始显著图提出一种简单帧选择标准,并使用该简单选择标准挑选出视频序列中比较容易且准确提取前景对象的帧,从简单帧中获得鲁棒的前景背景标签;将图像进行超像素分割,提取时空特征与前景标签输入集成学习模型,经过多核SVM集成学习,最终生成像素级别的显著图,并且由运动特征扩散到整个视频集。各种视频序列的实验结果表明,该算法在定性和定量上优于传统的显着性检测算法。     

基于长短期存储的聚合增强型煤矸石视频识别模型

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别。视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求,对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取。但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响。针对上述问题,提出了一种基于长短期存储（LSS）的聚合增强型煤矸石视频识别模型。首先,采用关键帧与非关键帧对海量信息进行初筛。对煤矸石视频帧序列进行多帧聚合,通过时空关系网络（TRN）将关键帧与相邻帧特征信息相聚合,建立长期视频帧和短期视频帧,在不丢失关键特征信息的同时减少模型计算量。然后,采用语义相似性权重、可学习权重和感兴趣区域（ROI）相似性权重融合的注意力机制,对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配。最后,设计用于存储增强的LSS模块,对长期视频帧与短期视频帧进行有效特征存储,并在关键帧识别时加以融合,增强关键帧特征的表征能力,以实现煤矸石识别。基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证,结果表明：相较于记忆增强全局-局部聚合（MEGA）网络、基于流引导的特征聚合视频目标检测（FG...     

基于Vision Transformer的中文唇语识别

唇语识别作为一种将唇读视频转换为文本的多模态任务,旨在理解说话者在无声情况下表达的意思.目前唇语识别主要利用卷积神经网络提取唇部视觉特征,捕获短距离像素关系,难以区分相似发音字符的唇形.为了捕获视频图像中唇部区域像素之间的长距离关系,文中提出基于Vision Transformer(ViT)的端到端中文句子级唇语识别模型,融合ViT和门控循环单元(Gate Recurrent Unit, GRU),提高对嘴唇视频的视觉时空特征提取能力.具体地,首先使用ViT的自注意力模块提取嘴唇图像的全局空间特征,再通过GRU对帧序列时序建模,最后使用基于注意力机制的级联序列到序列模型实现对拼音和汉字语句的预测.在中文唇语识别数据集CMLR上的实验表明,文中模型的汉字错误率较低.     

基于帧间差分的自适应运动目标检测方法*

本文提出了一种基于帧间差分的自适应运动目标检测算法。算法利用直方图统计各像素点处最大概率灰度的方法提取出连续视频的背景图像;相邻帧利用帧差法得到运动区域图像;利用运动区域图像与背景图像差分的方法提取出运动目标。实验结果表明,该算法能在多个不确定性因素的序列视频中较好的提取背景图像,能及时响应实际场景变化,提高运动目标检测的质量。     

基于点模式匹配的视频文字跟踪和笔画提取

给出一种在复杂背景下的视频文字跟踪和文字笔画提取方法。用基于Harris角点特征的点模式匹配法跟踪视频序列中静止和运动的文字,以确定文字序列的时间属性,比较了采用图像整体像素匹配和点模式匹配的跟踪精度。用基于多帧融合思想的前景/背景识别算法提取视频文字笔画并作OCR识别。实验结果显示,点模式匹配的跟踪算法比图像整体像素匹配的算法跟踪精度更高,在图像背景复杂、变化快的情况下,基于多帧融合的文字笔画提取方法优于传统的二值化方法。     

融合多模型和帧间信息的行人检测算法

行人检测在车辆辅助驾驶、视频监控、智能机器人等领域具有重要的应用价值.针对当前行人检测算法在视频分辨率低和背景复杂的情况下存在很多误检及漏检的问题,提出一种融合多模型和帧间信息的行人检测算法.首先融合Fast R-CNN和Faster R-CNN模型的互补检测结果获取精准的检测窗口;然后采用视频帧间上下文融合算法来弥补单帧图像检测算法存在的漏检和误检.实验结果表明,在Caltech行人检测数据库上,在每幅图像虚警率(FPPI)为10%的条件下,该算法丢失率仅为14.04%,比Faster R-CNN单模型丢失率(16.09%)降低2.05%;利用多模型和帧间信息融合对行人检测结果进行校正,能提高行人检测性能.     

一种抗几何攻击的视频水印算法

提出了一种基于视频序列时空不变信息的视频水印算法。在嵌入水印时生成同步帧，并确定同步帧时空不变特征点位置，检测时根据同步帧时空不变特征点的位置，实现对视频序列几何失真的矫正，对水印信息进行检测和提取。实验表明，该算法能有效地抵抗帧插入和帧丢失等时间轴同步攻击和高强度几何攻击。     

基于虚拟窗口的自适应车流量检测应用研究

基于视频交通检测中实时性和准确性要求,研究了三帧差分、背景差分及动态阈值等算法,提出增加虚拟窗口的方法,使整个车流量检测算法只针对有效序列图像信息进行处理.该方法通过排除差异大图像求均值,快速初始化虚拟窗口背景模型,在检测窗口内使用三帧差分和动态阈值准确定位运动车辆目标,实时更新背景后,根据背景差分法得到的窗口图像信息统计车流情况.实验结果表明,该方法可以有效应用于基于视频的实时车流量检测中.     

基于图像聚类的交通标志CNN快速识别算法

为了提高交通标志图像识别的准确性和实时性,提出一种基于图像聚类的交通标志CNN快速识别算法。利用图像聚类算法对原始数据集进行样本优化;采用多种图像预处理操作使样本整体质量进一步提升;构造了深度为9的CNN结构,通过多次训练得到最终的网络模型,将待识别的图像输入到CNN模型来实现自动识别。在德国交通标志数据集（German traffic sign recognition benchmark, GTSRB）和比利时交通标志数据集（Belgium traffic sign dataset, BTSD）上证明了算法的有效性,单张图片的识别速度只需0.2 s,识别精度高达98.5%以上。本算法具有识别速度快、准确率高的特点,可为智能驾驶的可靠性和安全性提供理论依据和技术支持。     

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题，提出一种基于神经网络的轻量级交通标志识别方法。首先，利用图像归一化、仿射变换和限制对比度自适应直方图均衡化（CLAHE）方法进行图像预处理，以提高图像质量；其次，基于卷积神经网络（CNN），融合空间金字塔结构和批量归一化（BN）方法构建改进空间金字塔池化卷积神经网络（SPPN-CNN）模型，并利用Softmax分类器实现交通标志分类；最后，选用德国交通标志识别数据集（GTSRB），对比不同图像预处理方法、模型参数和模型结构的训练效果，并验证和测试所提模型。实验结果表明，SPPN-CNN模型的识别精度达到98.04%，损失小于0.1，在低配GPU条件下识别速率大于3 000 frame/s，验证了模型精度高、泛化性强、实时性好的特点。     

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题,提出一种基于神经网络的轻量级交通标志识别方法。首先,利用图像归一化、仿射变换和限制对比度自适应直方图均衡化（CLAHE）方法进行图像预处理,以提高图像质量;其次,基于卷积神经网络（CNN）,融合空间金字塔结构和批量归一化（BN）方法构建改进空间金字塔池化卷积神经网络（SPPN-CNN）模型,并利用Softmax分类器实现交通标志分类;最后,选用德国交通标志识别数据集（GTSRB）,对比不同图像预处理方法、模型参数和模型结构的训练效果,并验证和测试所提模型。实验结果表明,SPPN-CNN模型的识别精度达到98.04%,损失小于0.1,在低配GPU条件下识别速率大于3 000 frame/s,验证了模型精度高、泛化性强、实时性好的特点。     

基于Cache-DCN YOLOX算法的交通标志检测方法研究

针对传统方式识别交通标志算法存在的检测精度较低的问题,提出了一种基于Cache-DCN YOLOX算法的交通标志识别方法。在该方法中,使用DCN可变形卷积替换backbone中的普通卷积,有效地增大了模型的感受野,提高了特征提取能力;使用EIOU损失函数代替YOLOX中的GIOU损失函数,优化了训练模型,提高了收敛的速度;优化设计了YOLOX算法中的强弱两阶段的训练过程,增强了模型的泛化性能,同时加入cache方案,进一步提高了检测精度。在交通标志数据集TT100K上进行了实验,提出方法的检测精度为67.2%,比原YOLOX算法的检测精度提升了6.4%,同时,在被遮挡的小目标等多种受干扰的环境下,提出的方法能够精确地检测出交通标志,并有着较好的置信度,满足实际需求。     

基于改进YOLOv5的昏暗小目标交通标志识别

为了实时检测并识别路上的交通标志,针对在不良光照情况影响下小型交通标志的识别精确度较低、误检、漏检严重的问题,提出了一种基于改进YOLOv5的交通标志识别模型.首先在YOLOv5模型的浅层特征图层增加一次concat操作,将浅层的特征信息结合中间特征图层作为一个检测头,有利于小目标交通标志的识别效率.其次将坐标注意力机制添加到YOLOv5模型中,从而提高特征提取的效率.对中国交通标志数据集TT100K进行数据扩充和暗光增强的操作,最后在经过预处理的TT100K数据集上验证本文改进的模型检测效果.实验结果表明本文改进的模型对小目标及昏暗情况的交通标志识别效率有很大的提升.本文改进的YOLOv5模型与最初的YOLOv5模型均在扩充后的数据集上进行训练后的结果相比,在准确率上提升了1.5%,达到了93.4%;召回率提升了6.8%,达到了92.3%; mAP值提高了5.2%,达到了96.2%.     

油田安防领域基于改进的深度残差网络行人检测模型

油田安防中行人目标检测是是当今前沿的一个热门研究课题,针对野外场景采集的图像视频分辨率低,背景复杂等问题,本文在单次多目标检测器(Single Shot MultiBox Detector,SSD)模型的基础上,提出了一种改进的行人检测算法,该算法首先利用聚合通道特征模型对图像或者视频序列进行进行预处理,获得疑似目标区域,大大降低单帧图像检测的时间;然后对SSD的基本网络VGG-16替换为Resnet-50,通过增加恒等映射解决网络层数加深但检测精度下降的问题;最后采用强大而灵活的双参数损失函数来优化训练深度网络,提高网路模型的泛化能力。定性定量实验结果表明本文所提检测算法的性能超过现有的检测算法,在保证行人检测准确率的同时提高检测效率。S     

面向不平衡样本的物联网入侵检测方法

随着设备的迭代,网络流量呈现指数级别的增长,针对各种应用的攻击行为越来越多,从流量层面识别并对这些攻击流量进行分类具有重要意义。同时,随着物联网设备的激增,针对这些设备的攻击行为也逐渐增多,造成的危害也越来越大。物联网入侵检测方法可以从这些海量的流量中识别出攻击流量,从流量层面保护物联网设备,阻断攻击行为。针对现阶段各类攻击流量检测准确率低以及样本不平衡问题,提出了基于重采样随机森林（RF,random forest）的入侵检测模型——Resample-RF,共包含3种具体算法：最优样本选择算法、基于信息熵的特征归并算法、多分类贪心转化算法。在物联网环境中,针对不平衡样本问题,提出最优样本选择算法,增加小样本所占权重,从而提高模型准确率;针对随机森林特征分裂效率不高的问题,提出基于信息熵的特征归并算法,提高模型运行效率;针对随机森林多分类精度不高的问题,提出多分类贪心转化算法,进一步提高准确率。在两个公开数据集上进行模型的检验,在 IoT-23 数据集上 F1 达到0.99,在Kaggle数据集上F1达到1.0,均具有显著效果。从实验结果中可知,提出的模型具有非常好的效果,能从海量流量中有效识别出攻击流量,较好地防范黑客对应用的攻击,保护物联网设备,从而保护用户。     

基于网络流跟踪的信号灯检测方法

结合信号灯信息对机动车行进速度进行引导,减少机动车启停次数,可有效减少废气排放,缓解其造成的污染问题。针对信号灯转换时刻的获取问题,提出了一种基于网络流跟踪的信号灯检测方法。首先,该方法在数据集中引入辅助信号灯类别进行训练,将视频序列中该类目标检测结果关联为踪片,并通过踪片建模多目标跟踪任务。其次,该方法将多目标跟踪任务转换为最小费用流优化任务,以踪片作为节点建立最小费用流网络,提出了适合于信号灯的费用构建方式,通过最短路径算法求解,得到视频序列中辅助信号灯的多条轨迹。最后,基于求解的轨迹结果和图像分类技术,实现信号灯检测性能的提升。该方法的跟踪性能相较于对比算法有大幅提升,并将小目标信号灯检测响应的mAP提升至94.35%。实验结果表明,基于网络流的建模方式能极大地提升信号灯的跟踪准确率,结合跟踪轨迹还能大幅提高视频序列中小目标信号灯的检测准确率,并可有效确定信号灯状态的转换时刻。     

基于多层双向SRU与注意力模型的加密流量分类方法

基于传统循环神经网络的加密流量分类方法普遍存在并行性较差、模型运行效率较低等问题。为实现加密流量的快速准确分类,提出一种基于多层双向简单循环单元（SRU）与注意力（MLBSRU-A）模型的加密流量分类方法。将特征学习和分类统一到一个端到端模型中,利用SRU模型高度并行化的序列建模能力来提高整体运行效率。为了提升MLBSRU-A模型的分类精度,堆叠多层双向SRU网络使其自动地从原始流量中提取特征,并引入注意力机制为特征赋予不同的权重,从而提高重要特征之间的区分度。实验结果表明,在公开数据集ISCX VPN-nonVPN上,MLBSRU-A模型具有较高的分类精度和运行效率,与BGRUA模型相比,MLBSRU-A的细粒度分类准确率提高4.34%,训练时间减少55.38%,在USTC-TFC 2016数据集上,MLBSRU-A模型对未知加密恶意流量的检测准确率达到99.50%,细粒度分类准确率为98.84%,其兼具对未知加密恶意流量的高精度检测能力以及对加密恶意流量的细粒度分类能力。