基于多模态学习的空间科学实验图像描述

为了让科学家快速定位实验关键过程,获取更为详细的实验过程信息,需要对空间科学实验自动添加描述性文字内容.针对空间科学实验目标较小且数据样本较少的问题,本文提出了基于多模态学习的空间科学实验图像描述算法模型,主要分为四部分:基于改进U-Net的语义分割模型,基于语义分割的空间科学实验词汇候选,自下而上的通用场景图像特征向...     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

人脸人耳多模态生物特征模板保护方法研究

鉴于人脸和人耳在生理位置上的特殊关系,本文将两者进行特征层串联融合,提出了一种多模态生物特征模板保护方法.该方法包括3个步骤:第一步采用随机映射矩阵对特征提取后的特征向量做可撤销变换,得到可撤销模板;第二步采用类分布保留变换对可撤销模板进行非线性变换,将实值人脸入耳融合特征模板转换成二值模板;第三步采用模糊承诺方法对二值模板进行保护.针对传统模糊承诺方法对随机密钥未加保护的安全性缺陷,提出了基于ASE算法的改进模糊承诺方法.在两个人脸人耳多模态图像库上的实验结果表明,采用多模态生物特征模板保护比采用人脸单模态模板保护能取得更好的认证性能.     

基于人工智能特征融合的多模态在抑郁症识别中的应用

抑郁症是一种常见的精神障碍疾病,早期的检测和诊断对抑郁症预防和治疗至关重要。人工智能已经参与抑郁症早期识别与干预,本文从CNKI和Google Scholar中分别以关键词“人工智能”“文本特征”“面部特征”“语音特征”“脑核磁特征”和“多模态”进行文献检索,再结合主题筛选精读并使用追溯法获得相关有代表性文献,综述“文本特征”、“语音特征”“面部特征”“脑核磁特征”和“多模态”等技术在抑郁症识别与诊断中的应用,并讨论其优势、不足与展望。     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法.基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态(3种)图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应...     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

基于特征融合的双模态低辨识度目标识别

针对单一彩色相机对低辨识度目标识别准确率低的问题,提出了一种利用彩色相机和红外热成像仪同时检测自动驾驶目标的方案.为了同时提取彩色图像的颜色特征与红外图像的温度特征,在单模态YOLOv3网络基础上改进网络结构得到双模态YOLOv3神经网络,并设计四种特征融合对比实验以确定最佳融合方案;建立双模态数据集同步采集系统,采集...     

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,Q^AB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。     

基于多模态信息融合的图像情感标注方法

随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,进行图像情感识别与标注。为了评估方法的有效性,使用国际情绪图片系统公共数据集进行了实验验证。结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法。此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟。     

智能头盔的多模态交互评价与优化设计

随着智能可穿戴装备的快速发展,其交互模态的选择越来越多,简单的交互模态叠加既不能满足交互需求,还造成了用户信息过载、认知负荷提高等交互问题。因此,智能可穿戴设备的多模态交互评价与优化设计的重要性也日益凸现。以军警智能头盔为例,提出基于交互效能、用户感知、交互成本的多模态交互评价(Efficiency、user experience、cost,EUC)方法,基于此方法对军警智能头盔的交互模态配置进行单一产品的关键性能优化设计。其中,交互评价测试基于任务绩效测量(任务完成时间、错误率、操作次数)和用户感知测量(感知可用性、感知工作负荷),并利用方差分析等方法研究交互指标与变量之间的关联性和影响度,完成了军警智能头盔在边界工况和多姿态下多种模态组合方式的交互评价。最终依据评价结果,实现了对军警智能头盔的优化设计并提出了其交互模态灵活配置的解决方案。     

基于迁移学习与特征融合的眼底图像分类

针对大量眼底图片难以收集和标注、有经验的眼科医生地区分配不均匀等,导致眼底疾病患者检查准确度低、花费时间较长等问题,本文基于迁移学习提出一种图像分类方法:首先修改EfficientNet-B0和EfficientNet-B7模型并进行参数微调,将微调后的模型作为特征提取器用于提取眼底图像的特征,再对提取的特征进行特征融...     

手形、掌纹和掌静脉多特征融合识别

单一生物特征识别技术无论是在识别率还是稳定性上都不能达到完美无缺,特别是高仿生物特征的出现使其安全性受到质疑。针对上述问题,提出一种手形、掌纹和掌静脉多特征融合识别方法。提出了基于小波变换Gabor滤波器的特征层和图像层融合策略,将同一设备不同光照采集下的掌纹和掌静脉融合到一起,突出各自的主纹理特征;利用手指相对长度为手形特征进行初匹配,提出利用分块纹理基元模型进行掌纹和掌静脉融合图像的特征提取方法,然后进行二次匹配给出最终识别结果。开发了模拟系统并进行了相应的实验,结果表明该识别系统充分发挥了3种特征各自的优点,提高了识别率和稳定性,特别是掌静脉的加入增强了系统的安全性。     

基于多特征融合的汉英口语翻译自动评分方法研究

汉英口语翻译自动评分不仅仅可以提高评分的效率,同时也可以确保评分的公正客观性.本文提取了汉英口语翻译自动评分的相似度特征、句法特征和语音特征,得到了用于自动评分的11个特征.以某大学英语专业口语翻译课程考试所采集的语音信号为例,最终获得了包含8个特征的汉英口语翻译自动评分模型.结果表明,在去除特征之后,汉英口语翻译自动...     

基于手指融合特征和粒子群优化的手形识别

针对基于手部几何特征的手形识别方法可利用的个体信息有限的问题,提出了一种将手指轮廓特征与几何特征相融合的身份识别方法。该算法首先分离手指,采用曲线拟合算法定位手指中轴线;然后采用分步对齐方法规范化手指,并提取手指轮廓特征和几何特征;最后采用粒子群算法对手指截取系数和权值系数进行优化,以进一步提高识别准确率。实验结果表明:采用该方法后,识别率可达98.61%。该方法手指定位更准确,更充分地利用了手部信息,且避免了特征点定位不准及手指根部不稳定轮廓特征对识别准确率的影响,具有较高的识别率和良好的鲁棒性。     

基于特征融合度量学习的高压断路器机械故障诊断

数据驱动的深度学习方法在高压断路器机械故障诊断中取得了一定的成效,然而这些方法实现优异性能的前提是可获取海量训练样本,在现场数据匮乏场景下其诊断性能明显下降。为此,提出了一种新颖的特征融合度量学习模型用于现场小样本高压断路器机械故障诊断。首先构建了特征融合卷积神经网络,有效提升了可鉴别特征提取能力。然后以K近邻算法作为度量学习器实现小样本数据的匹配和分类。最后通过改进中心损失进一步提升特征表示的分辨能力,并通过情景训练从实验室构建的大样本集中学习可迁移知识。实验结果表明,本文方法在每类支持集样本数为5时便可达到94.58%的诊断精度,相对于卷积神经网络提升了63.71%。同时,得益于情景训练方式本文方法有效避免了非平衡样本的问题。     

全手掌纹5类主线特征选择方法研究

为解决非接触式掌纹识别中的光线干扰和算法复杂度问题,提出采用全手掌纹5类主线作为特征的思想,并研究主线特征的选择方法,即根据感情线、理智线、生命线、事业线、成功线的条数、交点数及部分端点信息将掌纹分为9个类别。采用主线特征的优点在于能够选择到不受光线干扰和运算复杂度小的掌纹特征自动提取方法,并为手多模态决策层融合提供数据基础。根据香港科技大学(HKUST)掌纹图库实验表明,与传统的只依据感情线、理智线和生命线3条主线为特征的分类方法相比,类间样本区分度增大,类内相似样本数由传统方法的81.54%降低至35.00%,其余各类样本趋于相对均匀,即说明了该方法不仅具有较高的分辨力,而且具有可行性和优越性,为手多模态特征识别技术中主线自动提取及匹配提供了理论支撑。     

利用曲率多特征融合改进人体三维脊椎模型特征点的标注方法

由于脊椎生理结构的精准坐标描述和准确匹配尚未达到医学精度的要求,本文对如何精确描述脊柱腰骶段特征点的物理坐标进行研究。介绍了人体脊椎采样特征点的定义和传统标记方法。针对手动标注特征点精确度不够,易产生较大误差等问题提出了一种基于曲率多特征融合的自适应标注特征点的方法。该方法首先找出某个特征点的高斯曲率和平均曲率流的定义值,得到该特征点的法曲率相对极大值,并计算在指定极小半径r范围内的所有模型点的法曲率相对极大值。由于极大值曲率越大,三维模型表面在该点处的弯曲程度越大,该点就越能表现三维模型的大致轮廓,故以r范围内极大值最大的点作为特征点的曲率描述来替换手动拾取的点,从而准确反映该点的特征变化情况。最后,对改进结果进行偏差验证分析。结果表明:改进方法的准确度比现有手动标注特征点方法的准确度提高了约37%,验证了本文方法的有效性。     

基于局部特征提取的目标自动识别

提出一种基于局部特征提取的目标识别方法,用于自动识别不同尺度,视角和照度条件下的目标.首先,建立图像的尺度空间;结合海森矩阵和Harris算法提取局部特征点,计算该特征区域的方向和灰度梯度及方向;统计出每块子区域的标准灰度梯度直方图,得到128维的特征向量.然后,基于主成分分析的降维算法来降低特征向量的维数,加快识别的计算速度.最后,采用特征空间分类器增加目标识别的速度.实验结果表明:基于局部特征提取的目标识别达到了较高的识别率,在视角、尺度和照度变化下的识别率分别为61.9％,80.5％和84.4％,平均识别时间为130.9 ms.与尺度不变特征变换(SIFT)和加速鲁棒特征(SURF)算法相比,本算法不仅在不同的视角,目标尺度及照度条件下具有较高识别率,而且识别速度比SIFT方法高.     

基于迁移学习和模型融合的粗糙度检测系统设计

针对传统粗糙度测量方法识别准确率不高的问题,提出了基于迁移学习和模型融合的粗糙度检测方法。首先,采用所设计粗糙度检测系统中的CCD相机模组采集工件表面图像并制作数据集;其次,通过迁移微调VGGNet-19、Inception-V3 以及DenseNet121进行多模型融合,得到了适用的粗糙度检测模型;最后,用数据集进行网络训练以提取图像中的纹理细节特征,实现对粗糙度等级的精准识别。针对车削、铣削和磨削共15种粗糙度等级图像进行实验验证,系统识别精度可达91%。结果表明,所提出的系统可有效地实现粗糙度等级自动检测。     

一种面向运动解码的 EEG-fNIRS 时频特征融合 与协同分类方法

脑功能成像技术可以反映人体运动时的大脑生理变化,进而解码运动状态,但单模态信号反映的大脑生理信息存在局 限性。 为此,本文提出了一种基于 EEG 和 fNIRS 信号的时频特征融合与协同分类方法,利用脑神经电活动和血氧信息的互补 特性提高运动状态解码精度。 首先,提取 EEG 的小波包能量熵特征,使用双向长短期记忆网络(Bi-LSTM)提取 fNIRS 的时域特 征,将两类特征组合得到包含时频域信息的融合特征,实现 EEG 和 fNIRS 不同层次特征的信息互补。 然后,利用 1DCNN 提取 融合特征深层次信息。 最后,采用全连接神经网络进行任务分类。 将所提方法应用于公开数据集,本文所提的 EEG-fNIRS 信号 协同分类方法准确率为 95. 31% ,较单模态分类高 7. 81% ~ 9. 60% 。 结果表明,该方法充分融合了两互补信号的时频域信息,提 高了对左右手握力运动的分类准确率。