度量学习改进语义自编码零样本分类算法

为改善零样本图像分类中相似度度量方法的鲁棒性,引入了一种用于零样本分类的度量学习方法.该方法由自编码构成,能在特征对齐后的语义嵌入空间中学习到最优的度量函数,用于计算测试样本特征和类标签的语义特征的相似度;然后利用近邻思想预测类别标签,进而避免产生不合适距离函数导致的分类错误.实验结果表明,与传统距离度量的算法相比,所提出的方法降低了识别错误率,在公开数据集AWA、CUB和ImNet-2上的分类准确率分别达到94.7%、63.7%和28.59%;同时表明了语义-视觉的映射方向比相反方向的识别准确率高出2.5%~10.1%.     

深度监督对齐的零样本图像分类方法

针对零样本图像分类中属性向量的类别区分性差及对可见类别产生分类偏好的问题,提出一种深度监督对齐的零样本图像分类（DSAN）方法. DSAN构造类语义的全局监督标记,与专家标注的属性向量联合使用以增强类语义间的区分性.为了对齐视觉空间和语义空间的流形结构,采用视觉特征和语义特征分类网络分别学习2种空间特征的类别分布,并且无差异地对齐两者的分布.利用生成对抗网络的原理消除特征间的本质差异,以按位加的方式合并视觉特征和类语义特征,并利用关系网络学习两者间的非线性相似度.实验结果表明,DSAN在CUB、AWA1和AWA2数据集上对可见类别和未见类别的调和平均分类准确率比基线模型分别提高了4.3%、19.5%和21.9%;在SUN和APY数据集上,DSAN方法的调和平均分类准确率分别比CRnet方法高1.4%和2.2%,这些结果证明所提方法的有效性.     

基于关联图关键边发现的人脸图像聚类算法

针对真实场景中大量类别数未知、样本数量不均衡、数据分布复杂等导致人脸图像智能提取准确率低的问题,提出了基于关联图关键边发现的人脸图像聚类算法。首先,通过融合多个卷积神经网络提取的图像样本特征,获得鉴别性更强的特征向量,并计算不同样本之间的相似度;然后,利用拒真率和认假率设置合适的门限值,将得到的相似度结果与门限值进行比较,筛选出相似程度高的样本对,并添加样本对之间的连接边来构建关联图;再利用介数中心性测度,设计关键边发现方法,挖掘关联图中可能连接不同簇的重要连接边;最后,采用图卷积网络确认是否存在上述重要连接边以获得最终的聚类簇。实验结果表明,所提算法能够提高人脸图像聚类的准确率。     

基于类对比簇分配异构迁移学习的 空间滚动轴承寿命阶段识别

针对变工况条件下因样本数据分布差异大、可训练用样本较少以及不同寿命阶段样本数量不均等所造成的空间滚动轴承寿命阶段识别准确率较低的问题，提出一种新型无监督迁移学习方法——类对比簇分配异构迁移学习(class-contrast cluster-allocation heterogeneous transfer learning, CAHTL)。在CAHTL中，通过异构迁移学习将历史工况下少量有类标签样本和当前工况的无类标签样本（即待测样本）迁移到公共特征空间内，使得不同工况样本之间的分布差异最小化；利用源域聚类簇点构建目标域样本特征的正负样本实现两域样本的数量再分配，再对两域正负样本进行对比学习以使待测样本具有更好分类性；通过计算待测样本与聚类簇点的相似度完成待测样本分类，且该分类过程无需参数学习，因此可防止样本不均等情况下对于不同寿命阶段样本识别准确率差距过大和在少有类标签训练样本情况下网络出现过拟合的问题；利用随机梯度下降和动量更新对CAHTL参数进行不同步更新，以保持样本特征的一致性并提高CAHTL的收敛速度。CAHTL可利用空间滚动轴承历史工况下的少量、非均等的已知寿命阶段的训练样本来对当前工况的待测样本进行较高精度的寿命阶段识别。空间滚动轴承寿命阶段识别实例验证了该方法的有效性。     

基于CNN特征和标签信息融合的图像检索

针对基于内容的图像检索(CBIR)中图像底层视觉特征与高层语义特征之间存在的"语义鸿沟"问题,提出了一种基于卷积神经网络(CNN)特征和标签信息融合的图像检索算法。首先使用CNN模型提取图像的CNN特征以及标签信息,然后使用余弦距离分别计算这两个特征的相似度,最后将这两个相似度进行加权融合,用作图像检索排序准则。在caltech101和caltech256数据集上分别进行实验,实验结果表明,所提算法加强了图像特征与高层语义的结合,大大提高了图像检索的查准率。     

基于正样本的产品表面缺陷视觉检测方法

表面缺陷视觉检测是产品质检重要环节之一,而实际工业应用中,往往存在表面缺陷样本少、需要大量标注样本等问题。为此,将注意力机制引入Resnet50网络,提出一种基于正样本的产品表面缺陷视觉检测方法。首先,利用预训练网络Resnet50＿CBAM学习到包含来自不同语义层和分辨率信息的嵌入向量,并利用多元高斯参数表示图片正常特征;其次,将缺陷图像输入到预训练网络Resnet50＿CBAM,获得相应的嵌入向量和多元高斯参数;最后,采用马氏距离计算整张缺陷图像所有像素点的缺陷分数图,实现基于像素级的缺陷区域定位。实验数据集验证结果表明,与已有方法相比,所提方法需要的正常样本更少且检测精度更高,从而可以有效解决少样本的产品缺陷视觉检测难题。     

基于多模态子空间学习的语义标签生成方法

基于已有的视觉空间和文本空间上标签相关性建模方法,提出一种多模态子空间学习的语义标签生成方法。通过建立视觉特征相似图,以非线性方式重构“图像-标签”相关性,进而将图像的视觉模态表示和标签的文本模态表示统一到多模态子空间中,并保证空间变换前后具备结构保持。在该空间中,标签的文本模态与图像的视觉内容模态信息彼此互补,语义相关的图像和标签映射到空间中相近的样本点,进而将语义标签生成问题转换为子空间内图像的近邻标签搜索问题。结果表明,该方法在FLICKR-25K数据集上,性能达到36.88%,在NUS-WIDE数据集上,性能达到44.17%,多模态子空间学习的语义标签生成方法可以大幅度提升标签生成的准确性。     

小样本下基于深度学习的声呐图像分类研究

水下环境复杂多样,使得声呐成像模糊难以人工提取特征,同时声呐图像不易获取,数量远少于光学图像,导致了小样本情况下声呐图像分类网络的训练过拟合现象明显,识别准确率低。基于所建立的声呐图像数据集进行预处理后,提出一种改进的带有类别偏好的标签平滑正则化方法,对训练数据的标签进行优化,减轻网络的自信程度,并基于迁移学习中微调的方法利用光学图像对网络参数进行预训练和冻结,融合以上方法构建了一种小样本下的分类网络模型。仿真实验结果表明,优化后的网络模型取得了最佳分类识别准确率,有效抑制了过拟合现象,能够在小样本下实现精确分类声呐图像。     

基于改进的标签传播算法的网络聚类方法

采用传统标签传播算法实现网络聚类时,由于标签初始分配过程随机、节点选择过程随机、且标签更新顺序随机的原因,影响聚类结果。为此,提出一种新的基于改进标签传播算法的网络聚类方法,即用图对网络进行描述,并为网络聚类提供基础。改进标签传播算法过程如下:求出网络中任意两节点拥有最大公共邻居的平均阶数,把相似性最高的节点和邻居节点看作初始核心社团,为其分配初始标签;引入基于随机游走的相似度矩阵,令节点选择和自身相似度最高的节点拥有的标签;通过H指数对标签算法更新顺序进行改进;依据改进后结果,按照标签传播算法网络聚类过程实现聚类。实验结果表明,本文所提的网络聚类方法具有更高的准确性和稳定性。     

基于图神经网络的零件机加工特征识别方法

针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%.     

用于手机屏缺陷检测的基于图的两阶段分类网络（英文）

缺陷检测是手机屏质量控制的重要环节。手机屏缺陷的特性带来了一些具有挑战性的问题,包括：（1）类间相似性和类内差异性;（2）低对比度、微小尺寸或不完整缺陷的识别带来的困难;（3）针对多标签图像的类别相关性建模。为了解决这些问题,本文提出一种图推理模块,它可以堆放在常规的分类模块上。该推理模块利用类别间的依赖性、图像间的关系以及类别图像之间的相互作用来扩展特征维度,并且达到改进低质量图像特征的目的。为了进一步提高分类性能,分类模块的分类器被设计为一个余弦相似度函数。在对比学习的帮助下,分类模块可以更好地初始化推理模块的类别图。在手机屏缺陷数据集上的实验表明,所提出的两阶段网络取得了最佳性能：准确率为97.7%,F-measure为97.3%。这证明了本文所提出的方法在工业应用中是有效的。     

融合标签语义嵌入和图卷积的短文本特征扩展及分类方法

针对短文本长度过短、关键词偏少和标签信息利用不足造成的分类过程中面临特征稀疏和语义不明确的问题,提出了融合标签语义嵌入的图卷积网络模型。首先,在传统的术语频率和逆文档频率算法基础上,提出了融合单词所属文本的类间、类内分布关系的全局词频提取算法。其次,利用融合标签嵌入的方法,将每条训练文本与相对应的标签引入到同一个特征空间内,通过筛选聚合提取更能突显文本类别的近义词嵌入,作为文本图的文档节点的嵌入表示。最后,将文本图输入到图卷积神经网络学习后,获得的特征与预训练模型提取文本上下文的特征相融合,提升短文本的分类质量以及整个模型的泛化能力,在4个短文本数据集MR、web＿snippets、R8和R52上对本文模型和14个基线算法进行了对比实验,结果表明本文提出的模型相比于对比模型具有更优的结果,在识别精度、召回率以及F₁值上有着更好的表现。     

基于机器视觉的化妆品纸质标签缺陷检测方法

针对化妆品纸质标签生产中出现的不干胶标贴漏贴、偏移、倾斜、叠加,生产日期字符漏喷、偏移、倾斜、多喷,日期喷印错误等缺陷,提出一种化妆品纸质标签缺陷视觉检测方法。首先,利用数字形态学与连通域分析技术,从倾斜校正后的标签本体图像中分别提取不干胶标贴和日期字符区域;其次,分别提取区域重心坐标与方向角检测不干胶标贴和日期字符的位置缺陷;进而,在日期点阵字符垂直校正基础上分割字符,提取网格特征、垂直投影、投影宽度及字符占空比等字符特征,利用这些特征训练BP神经网络并实现对日期点阵字符的识别;最后,在样机上采集了大量正常及具有不同类型缺陷的化妆品标签图像,进行实验验证。实验结果表明:该算法准确率高、稳定性好,能够快速检测位置缺陷和准确识别日期字符,检测准确率可达94.4%。     

基于注意力机制与多尺度融合学习的车辆重识别方法

在车辆重识别任务中,通常会出现相机角度变化和场景变化等情况,导致重识别准确率降低,为此提出了一种基于注意力与多尺度融合学习的车辆重识别方法,在多尺度下提取并融合浅层细节信息和深层语义信息。首先,构造一种深度学习网络,通过注意力机制学习车辆图像的显著性特征;然后,在多个尺度下对描述车辆身份的信息进行提取,将浅层表达的细节信息和深层表达的语义信息相融合构造空间特征;其次,对空间特征进行分解与重组,得到具有空间鲁棒性的局部特征,并与全局特征融合,构造车辆身份重识别特征;最后,利用该特征计算不同车辆图像间相似度,判断是否具有相同的身份。实验结果表明:在VeRi-776数据集上测试得到的Rank-1指标达到了94.0%,mAP指标达到了72.2%,表明该方法在相机角度变化、场景变化等情况下可以有效提高车辆重识别的准确率。     

基于车辆关键部位特征的再识别算法

图像识别任务中，要想得到更具辨识度的特征的前提是精准定位到关键位置，汽车的车顶、车窗、前脸为车辆最关键的3个部位。将一种PCB-LS方法用于车辆再识别，基于提取局部特征的思想，使用ResNet50的主干网络提取特征图，然后将特征图平均划分为3个部分，对于3个部位分别训练分类器；对于模型在训练集中出现的过拟合现象，采用标签平滑的正则化方法降低模型对训练集样本的信任度，提高模型在测试集上的准确率；使用VeRi776数据集进行训练和测试，使用PCB-LS方法在测试集上能达到准确率Rank@1、Rank@5、Rank@10分别为93.62%、96.72%、97.74%,mAP为76.17%。PCB-LS方法不仅能获得辨识度高的特征，还有很好的泛化能力。     

基于复数域上元度量学习的小样本辐射源个体识别方法

当带标签样本数较少时，现有的基于深度学习的辐射源个体识别方法，识别性能退化。针对上述问题，提出一种基于复数域上元度量学习的小样本辐射源个体识别方法。该方法将元学习中基于度量的方法与复数神经网络结合，设计嵌入模块，在小样本条件下更充分地学习辐射源复信号波形中隐藏的个体指纹信息，提升识别精度。仿真实验结果表明，提出的复原型网络、复匹配网络和复关系网络，与它们的实数域形式相比，识别准确率均得到了提升，且其中性能最好的是复关系网络。复关系网络在5类待识别辐射源个体分别仅有5个带标签样本(5-way5-shot)的情况下，20 dB信噪比条件下的识别准确率达到了85%。     

基于三元组卷积神经网络的图像检索

针对图像检索中图像间相似度和训练集带标签样本不足问题,提出一种改进的三元组卷积神经网络的图像检索算法。采用基于三元组卷积神经网络,在相似数据集上进行网络训练,为图像检索项目提取更好的特征。实验结果表明,该算法在相似数据集上进行重训练,有助于提高基于内容的图像检索任务的性能。     

基于统计学习的多层医学图像语义建模方法

提出一种在小样本的情况下,基于多层贝叶斯网络的医学图像语义建模方法.该方法采用支持向量机实现从低层视觉特征到对象语义的映射,使用贝叶斯网络融合对象语义,提取高级语义,从而建立一个多层医学图像语义模型,可支持多层次的医学图像语义自动标注及其检索.将该方法用于星形细胞瘤恶性程度的语义提取,并建立一个多层语义模型.实验表明,该模型与使用K近邻分类器或高斯混合模型取代SVM的语义模型相比,查全率有明显的提高.     

基于全局?局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法. 在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能. 实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

基于扩展卷积神经网络与度量学习的指静脉识别

针对在传统卷积神经网络(Convolutional neural networks, ConvNet)算法中由于提取的静脉特征信息不足而导致指静脉识别准确率不高的问题,提出了一种基于扩展卷积神经网络与度量学习的指静脉识别算法。该算法通过扩展卷积神经网络的宽度与深度来提高ConvNet的学习能力,并使用难样本采样三元组(Triplet hard loss with batch hard mining, TriHard)度量学习函数作为网络损失函数训练网络。此外,针对常用距离度量方法不能有效度量静脉特征之间的相似度的问题,在指静脉识别阶段采用了Wasserstein距离度量方法,以提高同源静脉间的相似度,降低异源静脉间的相似度。仿真实验结果表明:在FV-USM数据集上,指静脉识别准确率达98.33%,较使用ConvNet和常用距离度量方法准确率提高了3.56%;在MMCBNU_6000数据集上,指静脉识别准确率达98.02%,较使用ConvNet和常用距离度量方法准确率提高了2.01%。