一种基于多层语义特征的图像理解方法

视觉场景理解包括检测和识别物体、推理被检测物体之间的视觉关系以及使用语句描述图像区域.为了实现对场景图像更全面、更准确的理解,将物体检测、视觉关系检测和图像描述视为场景理解中3种不同语义层次的视觉任务,提出一种基于多层语义特征的图像理解模型,并将这3种不同语义层进行相互连接以共同解决场景理解任务.该模型通过一个信息传递图将物体、关系短语和图像描述的语义特征同时进行迭代和更新,更新后的语义特征被用于分类物体和视觉关系、生成场景图和描述,并引入融合注意力机制以提升描述的准确性.在视觉基因组和COCO数据集上的实验结果表明,所提出的方法在场景图生成和图像描述任务上拥有比现有方法更好的性能.     

基于SACON背景模型的人体检测与跟踪

提出了一种基于抽样一致性(SACON)的背景模型。采用七种典型视频序列进行了实验,SACON背景模型较目前常用五种背景模型具有较高的准确性,适用于复杂场景下的目标检测与跟踪。应用于人体检测与跟踪时,将目标作为非刚性物体进行处理,结合颜色和空域信息建立一种新的目标外观模型。实验证明,该方法能较准确的描述人体特征,即使在有遮挡、颜色相近及小目标等情况下也均能准确的对人体目标进行检测和跟踪。     

基于深度卷积神经网络的物体识别算法

针对传统物体识别算法中人工设计出来的特征易受物体形态多样性、光照和背景的影响,提出了一种基于深度卷神经网络的物体识别算法。该算法基于NYU Depth V2场景数据库,首先将单通道深度信息转换为三通道;再用训练集中的彩色图片和转换后的三通道深度图片分别微调两个深度卷积神经网络模型;然后用训练好的模型对重采样训练集中的彩色和深度图片提取模型第一个全连接层的特征,并将两种模态的特征串联起来,训练线性支持向量机（LinSVM）;最后将所提算法应用到场景理解任务中的超像素特征提取。所提方法在测试集上的物体分类准确度可达到91.4%,比SAE-RNN方法提高4.1个百分点。实验结果表明所提方法可提取彩色和深度图片高层特征,有效提高物体分类准确度。     

一种基于深度学习的机械臂抓取方法

提出了一种基于深度神经网络的机械臂最优抓取位置检测方法.相比传统手工设定的特征,基于深度神经网络的方法学习得到的特征具有较强的鲁棒性和稳定性,能够适应训练集中未曾出现的新物体.本方法首先使用基于深度学习的目标检测算法对图像中的目标物体进行检测,记录目标的类别和位置.然后根据分类检测结果,使用基于深度学习的机械臂抓取方法进行抓取位置学习.仿真实验表明所提方法能对图像中的目标物体进行较为准确的分类,在Universal Robot 5机械臂上得到的抓取实验结果证明了所提方法的有效性.     

基于感知哈希算法和特征融合的恶意代码检测方法

在当前的恶意代码家族检测中,通过恶意代码灰度图像提取的局部特征或全局特征无法全面描述恶意代码,针对这个问题并为提高检测效率,提出了一种基于感知哈希算法和特征融合的恶意代码检测方法。首先,通过感知哈希算法对恶意代码灰度图样本进行检测,快速划分出具体恶意代码家族和不确定恶意代码家族的样本,实验测试表明约有67%的恶意代码能够通过感知哈希算法检测出来。然后,对于不确定恶意代码家族样本再进一步提取局部特征局部二值模式（LBP）与全局特征Gist,并利用二者融合后的特征通过机器学习算法对恶意代码样本进行分类检测。最后,对于25类恶意代码家族检测的实验结果表明,相较于仅用单一特征,使用LBP与Gist的融合特征时的检测准确率更高,并且所提方法与仅采用机器学习的检测算法相比分类检测效率更高,检测速度提高了93.5%。     

基于双解码器的Transformer多目标跟踪方法

多目标跟踪（MOT）任务需要同时跟踪多个目标并保证目标身份的连续性。针对当前MOT过程中存在目标遮挡、目标ID切换（IDSW）和目标丢失等问题，对基于Transformer的MOT模型进行改进，提出了一种基于双解码器的Transformer多目标跟踪方法。首先，在第一帧中通过模型初始化生成一组轨迹，并在此后的每一帧中用注意力建立帧与帧之间的关联；其次，利用双解码器修正跟踪目标信息，一个解码器用于检测目标，一个解码器用于跟踪目标；然后，完成跟踪后利用直方图模板匹配找回丢失的目标；最后，用卡尔曼滤波跟踪预测遮挡目标，并将遮挡结果与新检测出的目标关联，从而保证跟踪结果的连续性。此外，在TrackFormer的基础上添加表观统计特性和运动特征建模，以实现不同结构之间的融合。在MOT17数据集上的实验结果表明，相较于TrackFomer模型，所提模型的身份F1得分（IDF1）提升了0.87个百分点，多对象跟踪准确性（MOTA）提升了0.41个百分点，IDSW数量减少了16.3%。所提方法在MOT16和MOT20数据集上也取得了不错的成绩。可见所提方法能够有效应对物体遮挡问题，维持目标身份信息，减...     

基于层次结构感知的细粒度实体分类方法

针对现有细粒度实体分类（FGET）任务的工作多着眼于如何更好地编码实体和上下文的语义信息,而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题,提出了一种基于层次结构感知的细粒度实体分类（HAFGET）方法。首先,利用基于图卷积网络（GCN）的层次结构编码器对不同层级标签之间的依赖关系进行建模,提出了基于层次结构感知的细粒度实体分类多标签注意力（HAFGET-MLA）模型和基于层次结构感知的细粒度实体分类实体特征传播（HAFGET-MFP）模型;然后,利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类,前者通过层次编码器学习层次结构感知标签嵌入,并与实体特征通过注意力融合后进行标签分类,后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明,与基线模型相比,HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上,验证了所提方法能够有效提升分类效果。     

基于车载环境的交通目标跟踪

针对车载环境下小目标难以识别和相机动态移动造成的目标跟踪精度下降问题, 提出一种基于改进YOLOv5与ByteTrack的交通目标跟踪方法. 首先, 引入Transformer与加权特征金字塔(BiFPN)结构的思想重构YOLOv5检测网络, 有效捕获了特征的全局依赖关系, 缓解了深层卷积小目标信息丢失问题, 改善了车载环境下的目标检测性能. 此后, 以ByteTrack为基础提出了添加相机移动补偿的CMC-ByteTrack跟踪方法, 更精准地描述了视频前后帧的数据关联关系, 提高了相机大幅位移时的跟踪精度. 实验结果表明, 改进YOLOv5的平均检测精度(mAP)达到了82.2%, 相比原算法提高了3.9%, 与CMC-ByteTrack结合后的跟踪准确性(MOTA)相比改进前的跟踪方法提高了2.8%.     

动态环境下结合实例分割与聚类的鲁棒RGB-D SLAM系统

视觉同步定位与建图（VSLAM）技术常常用于室内机器人的导航与感知,然而VSLAM的位姿估算方法是针对静态环境的,当场景中存在运动对象时,可能会导致定位和建图失败。针对此问题,提出了一个结合实例分割与聚类的VSLAM系统。所提系统使用实例分割网络生成场景中动态对象的概率掩膜,同时利用多视图几何的方法检测场景中的动态点,并将检测到的动态点与获得的概率掩膜匹配之后确定动态物体的精确动态掩膜;利用动态掩膜删除动态物体的特征点,然后利用剩余的静态特征点准确估计摄像机的位置。为了解决实例分割网络欠分割的问题,采用深度填充算法和聚类算法保证动态特征点完全删除。最后,重建图片被动态物体遮挡的背景,在正确的相机位姿下建立静态稠密点云地图。在公开的TUM(Technical University of Munich)数据集上的实验结果表明,在动态环境中,所提系统在保证实时性的同时能实现鲁棒的定位与建图。     

基于因子加权的网络安全态势感知方法

针对目前安全态势感知(SA)范围局限、信息来源单一、时空复杂度较高且准确性偏差较大等问题,提出了一个全方位因子加权感知网络安全态势框架,充分考虑了多信息源与多层次异构信息融合,从整体动态上展示出网络当前安全状况,准确地反映了网络安全态势.最后利用网络实例数据,对所提出的因子加权的网络安全态势感知模型和算法进行了验证,实验结果表明了所提方法的正确性.     

Object tracking method based on data computing

The data computing process is utilized in various areas such as autonomous driving. Autonomous vehicles are intended to detect and track nearby moving objects avoiding collisions and to navigate in complex situations, such as heavy traffic and dense pedestrian areas. Therefore, object tracking is the core technology in the environment perception systems of autonomous vehicles and requires the monitoring of surrounding objects and the prediction of the moving states of objects in real time. In this paper, a multiple object tracking method based on light detection and ranging (LiDAR) data is proposed by using a Kalman filter and data computing process. We suppose that the movements of the tracking objects are captured consecutively as frames; thus, model-based detection and tracking of dynamic objects are possible. A Kalman filter is applied for predicting posterior state of tracking object based on anterior state of the tracking object. State denotes the positions, shapes, and sizes of objects. By computing the likelihood probability between predicted tracking objects and clusters which registered from tracking objects, the data association process of the tracking objects can be generated. Experimental results showed enhanced object tracking performance in a dynamic environment. The average matching probability of the tracking object was greater than 92.9%.

     

OPTICS聚类与目标区域概率模型的多运动目标跟踪

目的 针对多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题,本文提出了一种基于OPTICS聚类与目标区域概率模型的方法。方法 首先引入了Harris-Sift特征点检测,完成相邻帧特征点匹配,提高了特征点跟踪精度和鲁棒性;再根据各运动目标与背景运动向量不同这一点,引入了改进后的OPTICS加注算法,在构建的光流图上聚类,从而准确的分离出背景,得到各运动目标的估计区域;对每个运动目标建立一个独立的目标区域概率模型(OPM),随着检测帧数的迭代更新,以得到运动目标的准确区域。结果 多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题通过本文方法得到了很好地解决,Harris-Sift特征点提取、匹配时间仅为Sift特征的17%。在室外复杂环境下,本文方法的平均准确率比传统背景补偿方法高出14%,本文方法能从移动背景中准确分离出运动目标。结论 实验结果表明,该算法能满足实时要求,能够准确分离出运动目标区域和背景区域,且对相机运动、旋转,场景亮度变化等影响因素具有较强的鲁棒性。     

六足机器人动态目标检测与跟踪系统研究

动态目标检测与目标跟踪是图像领域的热点研究问题,为研究其在移动机器人领域的应用价值,设计了六足机器人动态目标检测与跟踪系统。针对非刚体运动目标容易被检测为多个分散区域的问题提出区域合并算法,并通过对称匹配、自适应外点滤除对运动背景进行精确补偿,最终基于背景补偿法实现对运动目标的精确检测。研究了基于KCF（Kernel Correlation Filter）的目标跟踪算法在六足机器人平台上的应用,设计了自适应跟踪算法实现六足机器人对运动目标的角度跟踪。将运动目标检测及跟踪算法应用于六足机器人系统。实验表明,在六足机器人移动过程中,系统可对运动目标进行精确检测与跟踪。     

一种用于智能监控的目标检测和跟踪方法*

在对现有目标检测、跟踪算法进行分析对比的基础上,设计并实现了一种简单有效的目标检测和跟踪方案。首先提出了一种基于像素灰度归类和单模态高斯模型的背景重构算法,能够利用多帧包含前景目标的场景图像重构准确的背景模型。进而以此为基础采用背景减法进行各帧中目标的检测,并选取形心作为匹配特征实现了场景中多个目标的有效跟踪。实验表明,该方法实现简单,无须事先提供背景图像即可实现目标的准确检测和跟踪,其性能明显优于传统基于时间平均背景模型的方法。     

基于大数据分析的移动对象轨迹预测方法

对移动对象的轨迹预测将在移动目标跟踪识别中具有较好的应用价值。移动对象轨迹预测的基础是移动目标运动参量的采集和估计,移动目标的运动参量信息特征规模较大,传统的单分量时间序列分析方法难以实现准确的参量估计和轨迹预测。提出一种基于大数据多传感信息融合跟踪的移动对象轨迹预测算法。首先进行移动目标对象进行轨迹跟踪的控制对象描述和约束参量分析,对轨迹预测的大规模运动参量信息进行信息融合和自正整定性控制,通过大数据分析方法实现对移动对象运动参量的准确估计和检测,由此指导移动对象轨迹的准确预测,提高预测精度。仿真结果表明,采用该算法进行移动对象的运动参量估计和轨迹预测的精度较高,自适应性能较强,稳健性较好,相关的指标性能优于传统方法。     

均衡化特征匹配的非刚体细胞形态跟踪

提出利用均衡化特征匹配来进行非刚性细胞形体跟踪的方法。采用重启动的随机游走方法建立并求解特征匹配概率模型,利用双向均衡方法对匹配邻接矩阵进行均衡化处理,得到指定目标与待跟踪目标之间的精确匹配,以获得目标的定位跟踪结果。同时利用特征匹配结果进行目标的自动标定,并应用图像分割方法进行目标的精确轮廓跟踪。实验结果表明,将该方法应用于视频中动态背景下的运动细胞形态跟踪时,在背景相似度较高及目标迅速移动的条件下,表现出了良好的性能,与同类方法相比可获得较高的定位精度以及更为准确的目标轮廓。     

基于SAD与UKF-MeanShift的主动目标跟踪

针对复杂场景下动态目标难以准确分割以及目标难以准确定位的问题,提出将绝对差值和(SAD)方法、无迹卡尔曼滤波(UKF)和Mean shift算法相结合的混合自主跟踪动态目标的方法。首先,采用SAD方法获相邻两帧的视差信息,利用视差实现动态目标的检测,并依此建立目标的核直方图描述模型和状态空间模型,然后UKF算法对状态空间进行滤波估计,最后采用Mean shift 算法精确定位目标。实验结果表明该方法不仅能有效检测场景的动态目标,同时还能获得目标的运动信息。文中所提出的基于UKF-Mean shift的跟踪策略与相关算法相比,体现出较好的跟踪效果与时间性能。     

基于轮廓特征及扩展Kalman滤波的车辆跟踪方法研究

在车辆实时跟踪中,基于Kalman滤波的方法是常用的有效方法,但因车辆检测时常将靠近的物体检测成一个目标引起误检现象,这会使在目标匹配时产生错误。为此,首先考察运动区域的长宽比和占空比,进行误检判断;然后提出了一种基于轮廓特征拐点的车辆分割方法;最后引入基于扩展Kalman滤波的跟踪模型。实验结果表明,采用的误检判断准则对多车辆的检测区域有较高的识别率,提出的基于轮廓特征拐点的车辆分割方法可实现重叠遮挡车辆的准确完整分割,用基于扩展Kalman滤波的跟踪模型实现了车辆的实时跟踪。     

基于改进高斯混合模型的实时运动目标检测与跟踪*

为提高运动目标检测与跟踪的可靠性,提出了一种基于改进高斯混合模型的实时运动目标检测与跟踪算法。该算法建立可自动调节分布数目的高斯混合背景模型,通过背景减除获取前景图像;利用目标相邻帧的连续性分割运动目标;在此基础上将传统的颜色直方图模型进行改进,提高目标颜色分布的可信度,进而根据目标的位置、大小和颜色构造运动目标全局匹配相似度函数,实时完成运动目标检测与跟踪。利用大量的监控视频数据进行验证,结果表明,与传统的检测跟踪算法相比,该算法减少了计算量,提高了复杂背景情况下运动目标检测与跟踪的可靠性。     

无表观特征小目标检测与跟踪

检测跟踪模糊的小目标是计算机视觉领域中难度极大,富有挑战的任务。由于被跟踪的目标过小或过于模糊,难以提取合适的可用于检测和跟踪的表观特征,使得现有的目标检测和跟踪算法不能解决上述问题。前景运动物体区别于背景随机噪声的一个重要特征是运动物体具有一定的运动规律,基于这个假设提出一种新方法,根据物体的运动规律对其进行跟踪。首先,提出利用运动物体的时空域关联性,对视频中的运动目标进行分割和去噪;其次,提出了利用动态规划得出并优化物体的运动轨迹。各种条件下的实验结果表明了上述方法的精确性和鲁棒性。