基于图卷积网络与自注意力图池化的视频行人重识别方法

针对跨相机网络视频中存在的遮挡、空间不对齐、背景杂波等因素导致视频行人重识别效果较差的问题,提出一种基于图卷积网络（GCN）与自注意力图池化（SAGP）的视频行人重识别方法。首先,通过区块关系图建模挖掘视频中帧间不同区域的关联信息,并利用GCN优化逐帧图像中的区域特征,缓解遮挡和不对齐等问题;然后,通过SAGP机制去除对行人特征贡献较低的区域,避免背景杂波区域的干扰;最后,提出一种加权损失函数策略,使用中心损失优化分类学习结果,并使用在线软挖掘和类感知注意力（OCL）损失解决难样本挖掘过程中可用样本未被充分利用的问题。实验结果表明,在MARS数据集上,相较于次优的AITL方法,所提方法的平均精度均值（mAP）与Rank-1分别提高1.3和2.0个百点。所提方法能够较好地利用视频中的时空信息,提取更具判别力的行人特征,提高行人重识别任务的效果。     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

时间特征互补的无监督视频行人重识别

目前的视频行人重识别方法不能有效提取视频帧之间的时空信息,且需要解决人工标签的问题,提出一种时间特征互补的无监督视频行人重识别方法。利用时间特征擦除网络模块对视频帧与帧之间的时间信息特征及空间信息特征进行擦除提取,挖掘行人不同的特征以减少每帧特征的冗余,进而得到目标行人不同视觉的完整特征。通过约束性无监督层次聚类模块计算每个样本之间的距离得到高质量的不同身份集群,根据集群之间距离进行聚类生成高质量的伪标签,提高不同身份极度相似的样本识别性,并根据PK抽样困难样本三元组损失模块从已经聚类好的结果中抽取样本生成一个新的数据集,以便在每次聚类迭代后进行训练,减少困难样例对模型的影响。在MARS数据集和DukeMTMC-VideoReID数据集上的实验结果表明,该方法的平均精度均值分别达到了46.4%和72.5%,Rank-1分别达到了69.3%和80.5%,性能指标优于传统的RACM和DAL等方法。     

基于边缘帧差和高斯混合模型的行人目标检测*

针对高斯混合模型存在背景更新收敛性差,易受环境噪声和光照突变影响,易产生虚假目标等问题,提出一种基于高斯混合模型的改进算法,用于视频中行人目标检测。通过将帧差法引入高斯混合模型,快速区分背景区域和运动目标区域,从而提取前景中完整的行人目标。结合视频帧边缘和边缘帧差信息,采用多种模型更新率,提高高斯混合模型对复杂背景的自适应性和快速收敛性,从而消除环境噪声和光照突变的影响,避免检测出虚假目标。实验结果表明,相比较传统高斯混合模型,该方法可以有效去除噪声和光照的干扰,收敛性更佳,行人检测效果更鲁棒。     

基于注意力机制的细粒度语义关联视频-文本跨模态实体分辨

随着移动网络、自媒体平台的迅速发展,大量的视频和文本信息不断涌现,这给视频-文本数据跨模态实体分辨带来了迫切的现实需求。为提高视频-文本跨模态实体分辨的性能,提出了一种基于注意力机制的细粒度语义关联视频-文本跨模态实体分辨模型(Fine-grained Semantic Association Video-Text Cross-Model Entity Resolution Model Based on Attention Mechanism, FSAAM)。对于视频中的每一帧,利用图像特征提取网络特征信息,并将其作为特征表示,然后通过全连接网络进行微调,将每一帧映射到共同空间;同时,利用词嵌入的方法对文本描述中的词进行向量化处理,通过双向递归神经网络将其映射到共同空间。在此基础上,提出了一种自适应细粒度视频-文本语义关联方法,该方法计算文本描述中的每个词与视频帧的相似度,利用注意力机制进行加权求和,得出视频帧与文本的语义相似度,并过滤与文本语义相似度较低的帧,提高了模型性能。FSAAM主要解决了文本描述的词与视频帧关联程度不同而导致视频-文本跨模态数据语义关联难以构建以及视频冗余帧的...     

结合域间与域内变化的跨域行人重识别算法

针对单域训练的行人重识别模型迁移到另一个域内测试时性能巨大下降的问题,提出一种结合域间与域内变化的跨域行人重识别算法。采用PR策略将行人特征图进行分区处理,提高模型泛化能力。针对域间变化,引入域间姿势不变性,缩小源域和目标域行人的姿势差距。针对域内变化,引入域内姿势不变性、样本不变性、邻域不变性和相机风格不变性,扩大不同行人之间的距离,缩小相同行人之间的距离。实验表明,PR策略和5个不变性能有效地增强跨域行人重识别中的域自适应性,与只注重域间变化或域内变化的算法相比,其识别精度得到有效提升。     

基于区域特征的顶视运动行人快速检测

针对视频中运动行人遮挡问题,提出了一种基于区域特征的顶视运动行人检测算法.首先结合三帧差分和背景减除算法检测出所有可能的行人运动区域,然后找出运动区域的轮廓以及区域的外接矩形,并计算运动区域的面积,最后根据外接矩形的长宽比以及运动区域面积进行区域筛选,找出有效的运动区域,从而检测出行人.实验结果表明,该方法能够快速准确地检测出视频中的行人.     

一种基于多帧视频的文本图像质量增强方法

视频文本和视频内容高度相关,提供了理解视频内容的有用信息,然而文本往往位于复杂背景之中,从视频帧中定位到文本区域后,如果将其直接送入OCR软件,其识别效果较差。视频文本的时域信息提供了增强文本,消除背景的有用信息。因此,提出了一种利用视频文本的时域信息来消除背景,增强文本的方法。该方法首先利用边缘算子计算文本的轮廓特征,然后采用基于Hausdorff距离度量的匹配方法跟踪本文区域在相邻帧序列中的位置,利用多帧平均或帧间最小搜索法消去背景;其次,利用双线性插值技术调整文本尺寸,最终得到具有干净背景、合理分辨率的文本图像。不同测试视频序列的实验结果表明,该方法可以有效提高视频文本的OCR软件识别率。     

特征分块重构的视频行人重识别算法

基于视频的行人重识别是将一段视频轨迹与剪辑后的视频帧进行匹配,从而实现在不同的摄像头下识别同一行人。但由于现实场景的复杂性,采集到的行人轨迹会存在严重的外观丢失和错位,传统的三维卷积将不再适用于视频行人重识别任务。针对这一问题,提出三维特征分块重构模型,利用第一张特征图在水平分块的级别上对后续特征图进行对齐。在保证特征质量的前提下充分挖掘轨迹的时间信息,在特征重构模型后加入三维卷积核,并且将它与现有的三维卷积网络相结合。此外,还引入一种由粗到细的特征分块重构网络,不仅能使模型在两种不同尺度的空间维度上进行特征重构,还能进一步减少计算开销。实验表明,由粗到细的特征分块重构网络在MARS和DukeMTMC-VideoReID数据集上取得了良好的结果。     

基于快速级联分类器的行人检测方法研究

行人检测是图像处理、计算机视觉等方面研究的重要环节,通常用于视频监控和智能车辆等领域。行人检测图像易受到背景的影响,常用的帧差法及单纯训练分类器法在行人检测中存在着准确率低、分类训练算法复杂、实时性差等问题。首先采用改进型帧差法获取行人运动信息,然后利用直方图坐标对应划分出运动区域,最后通过训练双特征级联分类器对运动区域进行检测识别。实验结果表明,本方法可以有效减少误检和漏检现象,检测时间平均减少了32.77ms,检测准确率平均提高了10%以上,因此本方法有效提高了识别准确率和识别速度。     

基于风格转换的无监督聚类行人重识别

无监督行人重识别中源域与目标域间的巨大差异性是影响模型性能的最关键因素。基于聚类的无监督行人重识别方法挖掘目标域数据间的相似性,以此缓解该问题,但仍未消除域间差异性。本文提出一种基于风格转换的无监督聚类行人重识别方法。首先,针对基于聚类方法的模型存在受域间差异性影响的问题,将一种基于生成对抗网络的风格转换方法引入到聚类方法模型中,将源域数据转换为目标域风格数据,直接减小域间差异性,提升模型的识别性能。其次,针对风格转换模型的生成器存在转换尺度单一以及特征信息传递效率低的问题,使用一种新型残差块替换原始残差块并将其引入到生成器上采样和下采样中,形成多特征尺度转换以及信息传递效率高的生成器,提升风格转换效果,降低域间差异性,进一步提升整体模型的识别效果。在Market1501以及Duke-MTMC-reID数据集上对所提的算法进行实验,结果表明改进方法取得了更好的识别效果。     

近邻中心迭代策略的单标注视频行人重识别

为解决视频行人重识别数据集标注困难的问题,提出了基于单标注样本视频行人重识别的近邻中心迭代策略.该策略逐步利用伪标签视频片段迭代更新网络结构,以获得最佳的模型.针对预测无标签视频片段的伪标签准确率低的问题,提出了一种标签评估方法：每次训练后,将所选取的伪标签视频片段和有标签视频片段特征中每个类的中心点作为下一次训练中预测伪标签的度量中心点;同时提出基于交叉熵损失和在线实例匹配损失的损失控制策略,使得训练过程更加稳定,无标签数据的伪标签预测准确率更高.在MARS,DukeMTMC-VideoReID这两个大型数据集上的实验验证了该方法相比于最新的先进方法,在性能上得到非常好的提升.     

基于多尺度特征表示的行人再识别

应用于复杂场景下的行人再识别方法,常采用结合全局特征和局部特征的行人表示策略来提升模型的判别能力.但是,提取局部特征往往需要针对特定的语义区域设计专门的模型,增加了算法的复杂性.为解决上述问题,提出一种基于多尺度特征表示的行人再识别模型.该模型通过对不同细粒度局部特征与全局特征的联合表示,得到多层次具有互补性的判别信息,端对端地完成行人再识别任务.为了在获取高区分度信息的同时保留更多的细节信息,采用最大池化加平均池化的方式对特征进行下采样;此外,通过引入TriHard loss约束全局特征并采用随机擦除方法增强数据来进一步提升模型对复杂场景的适应性.在Market-1501和DukeMTMC-reID数据集上进行对比实验,实验结果表明,rank-1的准确率分别达到94.9%和87.1%,从而验证了所提出方法的有效性.     

基于联合损失胶囊网络的换衣行人重识别

目前的行人重识别（Re-ID）研究主要集中在短时间情形,即一个人的衣着不太可能发生改变的情况。然而现实中更常见的是长时间的情况,这时一个人有很大的机会更换衣服,Re-ID模型应该考虑这种情况。为此,研究了一种基于联合损失胶囊网络的换衣行人重识别方法。所提方法基于换衣行人重识别胶囊网络ReIDCaps,使用与传统的标量神经元相比包含更多信息的矢量胶囊,用其长度表示行人身份信息,用其方向表示行人衣着信息;采用软嵌入注意力（SEA）防止模型过拟合;使用特征稀疏表示（FSR）机制提取具有判别性的特征;增加标签平滑正则化交叉熵损失与Circle Loss的联合损失以提高模型的泛化能力和鲁棒性。在三个换衣行人重识别数据集Celeb-reID、Celeb-reID-light和NKUP上进行实验,实验结果表明所提方法与目前已有的Re-ID方法相比具有一定优势。     

多特征融合与交替方向乘子法的行人再识别

目的 由于行人图像分辨率差异、光照差异、行人姿态差异以及摄像机视角和成像质量差异等原因,导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来了巨大挑战。为提高行人再识别的准确率,针对以上问题,提出一种基于多特征融合与交替方向乘子法的行人再识别算法。方法 首先利用图像增强算法对所有行人图像进行处理,减少因光照变化产生的影响,然后把处理后的图像进行非均匀分割,同时使用特定区域均值法提取行人图像的HSV和LAB颜色特征以及SILTP（scale invariant local ternary pattern）纹理特征和HOG（histogram of oriented gradient）特征,融合多种特征得到行人图像对的整体与局部相似度度量函数并结合产生相似度函数,最后使用交替方向乘子优化算法更新出最优的测度矩阵实现行人再识别。结果 在VIPeR、CUHK01、CUHK03和GRID这4个数据集上进行实验,其中VIPeR、CUHK01和GRID 3个数据集Rank1（排名第1的搜索结果即为待查询人的比率）分别达到51.5%、48.7%和21.4%,CUHK03 手动裁剪和检测器检测数据集Rank1分别达到62.40%和55.05%,识别率有了显著提高,具有实际应用价值。结论 提出的多特征融合与交替方向乘子优化算法,能够很好地描述行人特征,迭代更新出来的测度矩阵能够很好地表达行人之间的距离信息,较大幅度地提高了识别率。该方法适用于大多数应用场景下的行人再识别。尤其是针对复杂场景下静态图像行人再识别问题,在存在局部遮挡、光照差异和姿态差异的情况下也能保持较高的识别正确率。     

基于稀疏学习的行人重识别算法

行人重识别问题是计算机视觉的重要研究内容之一,旨在将多个非重叠相机中的目标行人准确加以识别。当将某摄像机中的行人图像视为目标行人在该摄像机视图上的一种表示时,行人重识别可被认为是一种多视图学习问题。在此基础上提出的基于典型相关分析的行人重识别算法仅是一种线性降维算法,很难从复杂的重识别系统（如目标行人图像受低分辨率、光照及行人姿态变化等因素影响）中提取有效的高层语义信息,用于行人重识别。为此,本文提出了一种基于稀疏学习的行人重识别算法（Sparsity learning based person re-identification,SLR）。SLR首先通过稀疏学习获取目标行人在每一相机视图上的高层语义表示,然后将高层特征映射到一个公共的隐空间,使不同视图间的特征距离可比较。SLR算法的优点在于通过学习鲁棒的行人图像特征表示,能够获得更具判别性的公共隐空间,以提高算法的行人重识别性能。在VIPeR、CUHK数据集上的实验结果表明了本文算法的有效性。     

融合注意力机制的域泛化行人再识别

域泛化的行人再识别能够在源数据集进行训练并在目标数据集进行测试,具有更广泛的实际应用意义.现有域泛化模型往往由于专注解决光照和色彩变化问题而忽略对细节信息的有效利用,导致识别率较低.为了解决上述问题,提出一种融合注意力机制的域泛化行人再识别模型.该模型首先通过叠加卷积层的瓶颈层(bottleneck layer)设计提取出包含不同视野域的多尺度特征,并利用特征融合注意力模块对多尺度特征进行加权动态融合;然后通过多层次注意力模块挖掘细节特征的语义信息;最后将包含丰富语义信息的细节特征输入到判别器进行行人再识别.此外,设计风格正则化模块(style nomalization module)用于降低不同数据集图像明暗变化对模型泛化能力的影响.在Market-1501和DukeMTMC-reID数据集上进行对比和消融实验,表明了所提出方法的有效性.     

基于支持对挖掘的主动学习行人再识别

基于监督学习的行人再识别方法需要大量人工标注的数据,对于实际应用并不适用。为了降低大规模行人再识别的标注成本,提出了一种基于支持对挖掘主动学习(support pair active learning, SPAL)的行人再识别方法。具体地,建立了一种无监督主动学习框架,在该框架中设计了一种双重不确定性选择策略迭代地挖掘支持样本对并提供给标注者标注;其次引入了一种约束聚类算法,将有标签的支持样本对的关系传播到其他无标签的样本中;最后提出了一种由无监督对比损失和监督支持样本对损失组成的混合学习策略来学习具有判别性的特征表示。在大规模行人再识别数据集MSMT17上,该方法相比于当前最先进的方法,标注成本降低了64.0%,同时mAP和rank1分别提升了11.0%和14.9%。大量实验结果表明,该方法有效地降低了标注成本并且优于目前最先进的无监督主动学习行人再识别方法。     

联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法

针对为解决视频监控中遮挡、背景物干扰,以及行人外观、姿势相似性等因素导致的视频行人重识别准确率较低的问题,提出了联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法。首先针对目标行人被干扰或部分遮挡的情况,采用了均等采样随机擦除（ESE）的数据增强方法来有效地缓解遮挡,提高模型的泛化能力,更准确地匹配行人;其次为了进一步提高视频行人重识别的精度,学习更有判别力的特征表示,使用三维卷积神经网络（3DCNN）提取时空特征,并在网络输出行人特征表示前加上全局时间特征池化层（GTFP）,这样既能获取上下文的空间信息,又能细化帧与帧之间的时序信息。通过在MARS、DukeMTMC-VideoReID 和PRID-2011三个公共视频数据集上的大量实验,证明所提出的联合均等采样随机擦除和全局时间特征池化的方法,相较于目前一些先进的视频行人重识别方法,具有一定的竞争力。     

基于单标注样本的多损失学习与联合度量视频行人重识别

为解决行人重识别标注成本巨大的问题,提出了基于单标注样本的多损失学习与联合度量视频行人重识别方法.针对标签样本数量少,得到的模型不够鲁棒的问题,提出了多损失学习(MLL)策略:在每次训练过程中,针对不同的数据,采用不同的损失函数进行优化,提高模型的判别力.其次,在标签估计时,提出了一个联合距离度量(JDM),该度量将样...