RGB-D Hand-Held Ob ject Recognition Based on Heterogeneous Feature Fusion

Ob ject recognition has many applications in human-machine interaction and multimedia retrieval. However, due to large intra-class variability and inter-class similarity, accurate recognition relying o...     

基于成分引导的多模态自蒸馏食品图像分割

目的:随着计算机视觉技术的发展,精确地识别并分割食品图像中的不同成分区域,对于食品营养分析和促进饮食健康管理至关重要。然而,当前图像分割模型多依赖于单一图像输入,这一做法在处理视觉差异较小的食品图像时,往往难以捕捉到细微的区分特征,从而影响分割精度。本文旨在解决单一模态在分割任务中的不足,利用文本信息为模型提供更加丰富的上、下文信息,采用自蒸馏技术,引导模型对食品图像的有效分割。方法:提出一种基于成分信息引导的多模态自蒸馏分割模型。该模型采用对比语言文本预训练模型(CLIP)捕捉成分信息,再与图像知识有效融合,结合扩散模型在稠密预测方面的优势,实现对食品图像的精准分割。结果:在基准数据集FoodSeg103上验证,所提模型的评估指标mIoU达到47.93%,超越了当前最优的FoodSAM模型1.51个百分点。在基准数据集UEC-FoodPIX Complete上,模型的评估指标mIoU达到75.13%,比FoodSAM模型高8.99个百分点。结论:所提出的多模态自蒸馏网络在食品图像分割任务中表现出色,验证了成分信息对分割任务的有效指导作用,提升了分割精度,为食品图像分析提供了新的解决方案。     

标识部分集合二结构(LPS2S)的深重命名及其应用

文[4]对LPS2S与Petri网(EN系统或C/E)之间的联系做了深入分析。LPS2S与并发系统的联系,对于Petri网理论与变迁系统来说更是如此;此外二结构本身也有丰富的理论。我们知道,LPS2S是在标识部分二结构(LP2S)的基础上构造出来的,我们感兴趣的是lp2s经过域映射与重命名作用所得到的lps2s,即BREGV与REGV中的元素。本文提出的DLP2S与深重命名的概念能使我们更加深入地认识LPS2S。     

多尺度拼图重构网络的食品图像识别

近年来,食品图像识别由于在健康饮食管理、无人餐厅等领域的广泛应用而受到了越来越多的关注.不同于其他物体识别任务,食品图像属于细粒度图像,具有较高的类内差异性和类间相似性,而且食品图像没有固定的语义模式和空间布局,这些特点使得食品图像识别更具挑战性.为此,提出了一种用于食品图像识别的多尺度拼图重构网络（multi-scale jigsaw and reconstruction network,MJR-Net）.MJR-Net由拼图重构模块、特征金字塔模块和通道注意力模块这3部分组成.拼图重构模块使用破坏重构学习方法将原始图像进行破坏和重构,以提取局部的判别性细节特征;特征金字塔模块可以融合不同尺寸的中层特征,以捕获多尺度的局部判别性特征;通道注意力模块对不同特征通道的重要程度进行建模,以增强判别性的视觉模式,减弱噪声干扰.此外,还使用A-softmax和Focal损失,分别从增大类间差异和修正分类样本的角度优化网络.MJR-Net在ETH Food-101,Vireo Food-172和ISIA Food-500这3个食品数据集上进行实验,分别取得了90.82%,91.37%和64.95%的识别准确率.实验结果表明,与其他食品图像识别方法相比,MJR-Net表现出较大的竞争力,并在Vireo Food-172和ISIA Food-500上取得了最优识别性能.全面的消融实验和可视化分析证明了该方法的有效性.     

基于Transformer的零样本食品图像检测

食品检测作为食品计算的一项基本任务,能够对输入的食品图像进行定位和识别,在智慧食堂结算和饮食健康管理等食品应用领域发挥着至关重要的作用。然而在实际场景下,食品类别会不断更新,基于固定类别训练的食品检测器很难对未见过的食品类别进行精准的检测。为了解决这一问题,本文提出了一种零样本食品图像检测方法。首先,构建了一个基于Transformer的食品基元生成器,其中每个基元都包含与食品类别相关的细粒度属性,根据食品的特性,可以有选择地组装这些基元,以合成未见类特征。其次,为了给未见类的视觉特征更多约束,本文提出了一个视觉特征解纠缠的增强组件,将食品图像的视觉特征分解为语义相关特征和语义不相关特征,以此能更好地将食品类别的语义知识转移到其视觉特征。所提出的方法在ZSFooD和UEC-FOOD256两个食品数据集上进行了大量实验和消融研究,在零样本检测（Zero-Shot Detection,ZSD）设置下,未见类别取得了最优的平均精度,分别达到了4.9%和24.1%,在广义零样本检测（Generalized Zero-Shot Detection,GZSD）的设置下,可见类和未见类的调和平均值（Harmonic Mean,HM）分别达到了5.8%和22.0%,证明了所提出方法的有效性。     

多模态协同感知与融合技术专题前言

<正>与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、     

基于“bag of words”的视频匹配方法

提出了一种利用“bag of words”模型对视频内容进行建模和匹配的方法。通过量化视频帧的局部特征构建视觉关键词（visual words）辞典,将视频的子镜头表示成若干视觉关键词的集合。在此基础上构建基于子镜头的视觉关键词词组的倒排索引,用于视频片段的匹配和检索。这种方法保留了局部特征的显著性及其相对位置关系,而且有效地压缩了视频的表达,加速的视频的匹配和检索过程。实验结果表明,和已有方法相比,基于“bag of words”的视频匹配方法在大视频样本库上获得了更高的检索精度和检索速度。     

双线性函数性质研究

定义了双线性函数的秩和零度、拟正定双线性函数、正定双线性函数和拟正定矩阵，并详细讨论了它们的性质及相互之间的联系。     

食品图像识别方法综述

食品与人类的行为、健康和文化等密切相关.社交网络、移动网络和物联网等泛在网络产生了食品大数据,这些大数据与人工智能,尤其是快速发展的深度学习催生了新的交叉研究领域食品计算.作为食品计算的核心任务之一,食品图像识别同时是计算机视觉领域中细粒度视觉识别的重要分支,因而具有重要的理论研究意义,并在智慧健康、食品智能装备、智慧...     

基于用户关注空间与注意力分析的视频精彩摘要与排序

文中提出一种基于用户关注空间与注意力分析的视频内容理解方法,该方法可以有效地获得多通道的视频关注信息,并可使用户根据个性化需求定制视频关注内容,实现视频的高效浏览与访问.首先采用基于二叉层次型结构与分类器选择的音频分类算法将视频中的主要声音类型分类,然后将视频中影响用户注意力的视觉、听觉、时序因素定义为用户关注空间,分别使用相应的中层特征在这三个方面对用户注意力进行表示并计算其关注度,从而在音视频底层特征与高层认知之间建立有机过渡.作者设计了顺序决策融合算法来融合视觉与听觉关注度,生成关注度时序变化曲线并获得精彩摘要.最后使用支持向量回归模型并引入相关反馈机制来实现用户个性化的精彩片段排序.该项工作的特点是通过建立符合人类认知规律的关注度模型并结合相关反馈技术,对视频内容进行类人理解.实验证明,该方法对提取与生成符合用户个性化要求的视频摘要及排序结果具有良好的效果.