基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法.基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态(3种)图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应...     

基于多模态特征融合的自主驾驶车辆低辨识目标检测方法#br#

针对自主驾驶车辆在真实驾驶环境下对低辨识目标的识别问题,提出了基于多模态特征融合的目标检测方法。基于Faster R-CNN算法设计多模态深度卷积神经网络,融合彩色图像、偏振图像、红外图像特征,提高对低辨识目标的检测性能;开发多模态（3种）图像低辨识度目标实时检测系统,探索多模态图像特征融合在自动驾驶智能感知系统中的应用。建立了人工标注过的多模态（3种）图像低辨识目标数据集,对深度学习神经网络进行训练,优化内部参数,使得该系统适用于复杂环境下对行人、车辆目标的检测和识别。实验结果表明,相对于传统的单模态目标检测算法,基于多模态特征融合的深度卷积神经网络对复杂环境下的低辨识目标具有更好的检测和识别性能。     

自适应性多模态特征融合的远小困难目标检测

为了解决由LiDAR点云稀疏性和语义信息不足造成的远小困难物体检测困难的问题,提出了一种多模态数据自适应性融合的3D目标检测网络,充分融合了体素的多邻域上下文信息和图片多层语义信息。首先,设计了一种更适用于检测任务的改进残差网络,提取图片多层语义特征的同时,在低分辨率特征图中有效保留了远小物体的结构细节信息。每个特征图进一步通过来自所有后续特征图的语义信息进行语义增强。其次,提取具有不同感受野大小的多邻域上下文信息,弥补远小物体点云信息不足的缺陷,加强体素特征的结构信息和语义信息,以提高体素特征对物体空间结构和语义信息的表征能力及特征鲁棒性。最后,提出了一种多模态特征自适应融合策略,通过可学习权重,根据不同模态特征对检测任务的贡献程度进行自适应性融合。此外,体素注意力根据融合特征进一步加强有效目标对象的特征表达。在KITTI数据集上的实验结果表明,本方法以明显的优势优于VoxelNet,即在中等难度和困难难度下AP分别提高8.78%和5.49%。同时,与许多主流的多模态方法相比,本方法在远小困难物体的检测性能上具有更高的检测性能,即在中等和困难难度级别上,AP的性能比MVX-Net AP均高出1%。     

基于卷积神经网络的多模态过程故障检测

传统多元统计分析方法在多模态过程故障检测应用中存在控制阈值难以选择、误报率和漏报率高等问题,受到计算机智能视觉处理技术的启发,提出数据驱动的基于平铺卷积神经网络（TCNN）的故障检测方法,该方法创新地将多传感器数据编码成二维图像,将故障检测变成模式识别问题。离线阶段,将历史数据进行差值图像编码以保留特征,构建模型训练数据集。进一步建立故障检测TCNN模型,使用Adam算法进行梯度下降模型寻优,引入灰狼优化算法进行超参数寻优获得较优的检测模型。在线阶段,将在线传感器信号输入模型进行模态识别和故障检测。从数据出发,无需特征工程和人工干预,通过TCNN模型学习数据深层的模式特征。TEP数据集实验表明,对传统方法难以检测的多模态过程故障,提出的方法取得了较好的检测效果,有效地降低了误报率和漏报率,在工业智能制造的发展趋势下具有一定的应用价值。     

基于NMI特征的遥感影像线性迭代聚类超像素分割算法

针对现有基于简单线性迭代聚类(SLIC)的超像素分割算法用于细节丰富的遥感图像处理时,存在的易受噪声干扰、过分割问题,本文提出一种结合超像素块之间基于归一化转动惯量(NMI)特征的相似性度量的遥感影像分割方法,对分割效果进行改善.本文首先利用引导滤波算法对影像进行平滑处理,去除椒盐噪点;再通过现有的线性迭代聚类算法对影...     

结合立体视觉与超像素技术的道路障碍物概率检测

针对道路障碍物检测问题,提出了一种基于立体视觉与超像素技术的双目障碍物概率检测算法。该算法首先利用双目相机采集的左右视图进行立体匹配获取视差图,通过三维重建到得3D点云,然后采用最小二乘法拟合地平面方程,并计算图像空间点到地平面的距离,接着使用SLIC算法得到超像素,并计算超像素到地平面的中值距离,最后使用逻辑回归方法和信任函数计算像素为障碍物的概率。实验结果表明,该方法能够可靠地检测道路障碍物,并为障碍物检测的多传感器融合方法提供有价值的概率数据。     

多模态特征融合与多任务学习的特种视频分类

特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先,提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征;然后,构建具有语义保持的共享特征子空间,以实现音视频多种模态特征的融合;最后,提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架,设计了对应的损失函数,实现了端到端的特种视频智能识别。实验结果表明,本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%,优于已有研究。结果证明了该算法的有效性,有助于提升特种视频监控的智能化水平。     

自适应加工系统的多模态并行控制

提出了一种适应复杂过程控制的多模态并行控制方案,它将传统ＰＩＤ控制与模糊控制相结合,对非最小相位、时变性的复杂加工过程控制性能进行了研究,实践结果表明,能有效提高加工系统控制的自适应性。本文受国家自然科学基金、广东省自然科学基金、华南理工大学基金资助。     

基于激光点云与图像信息融合的交通环境车辆检测

随着无人驾驶汽车的快速发展,仅依靠单一传感器的环境感知已经无法满足车辆在复杂交通场景下的目标检测需求。融合多种传感器数据已成为无人驾驶汽车的主流感知方案。提出一种基于激光点云与图像信息融合的交通环境车辆检测方法。首先,利用深度学习方法对激光雷达和摄像头传感器所采集的数据分别进行目标检测;其次,利用匈牙利算法对两种目标检测结果进行实时目标跟踪,进而对两种传感器检测及跟踪结果的特征进行最优匹配;最后,将已匹配及未匹配的目标进行择优输出,作为最终感知结果。利用公开数据集KITTI的部分交通环境跟踪序列及实际道路测试来验证所提方法,结果表明,所提融合方法实时车辆检测精度提升12%以上、误检数减少50%以上。     

基于人工智能特征融合的多模态在抑郁症识别中的应用

抑郁症是一种常见的精神障碍疾病,早期的检测和诊断对抑郁症预防和治疗至关重要。人工智能已经参与抑郁症早期识别与干预,本文从CNKI和Google Scholar中分别以关键词“人工智能”“文本特征”“面部特征”“语音特征”“脑核磁特征”和“多模态”进行文献检索,再结合主题筛选精读并使用追溯法获得相关有代表性文献,综述“文本特征”、“语音特征”“面部特征”“脑核磁特征”和“多模态”等技术在抑郁症识别与诊断中的应用,并讨论其优势、不足与展望。     

基于信息融合的前方车辆检测技术

为了避免出现交通事故,使车辆检测效率与准确率得到提高,提出基于车辆阴影、纹理、边缘等信息融合的前方车辆检测技术。基于机器视觉使用多特征结合方法对目标车辆进行确定,通过激光扫描得到车辆距离与宽度,对目标特征提取创建车辆验证函数。之后,根据车辆验证函数创建分类器,验证视觉图像跟踪车辆,之后融合视觉传感器和激光扫描信息。通过验证表示,能够对前方车辆精准检测,能够避免汽车碰撞。     

基于多模态数据全信息的概率主成分分析故障检测研究

针对工业过程复杂的数据分布特性,本文提出了一种基于局部近邻标准化(LNS)的概率主成分分析(PPCA)故障检测方法(LNSPPCA)来解决由于过程数据的多模态特性和不确定性所引起的故障检测效果不理想问题.首先,通过LNS解决数据多模态问题,使标准化后数据尽可能的服从单一高斯分布,然后,使用PPCA方法从概率的角度对数据...     

基于多模态混合的机械设计一流课程建设

以学生学习为中心,以能力培养为核心,目标导向,持续改进为理念,在“互联网+教材+课程”模式下实现多模态混合式机械设计课程教学的新体系、新内容、新方法、新模式和新质量。通过成果导向教育(Outcome Based Education, OBE)方式构建面向现代机械设计和智能制造技术的人才培养新模式,从课程内容重塑、资源建设、教学方法改革、课程成绩评定等方面进行探索与实践,培养德才兼备、基础扎实、科学人文素养协调发展,掌握机械工程理论知识,具备综合应用与创新能力,具有社会责任感和国际视野的高素质创新人才。     

基于变步长的亚像素级Hough变换在钢板影像识别检测中的应用

Hough变换可以使边界检测达到亚像素级别,但需要花费很多时间。本文提出一种具有指定精度且可变步长的迭代算法,在钢板影像识别检测中进行试验,结果表明:改变步长的亚像素探寻时间效率比整个行程内进行遍寻的亚像素探寻更高。     

基于多模态信息融合的图像情感标注方法

随着互联网中图像资源的不断增长,情感作为图像的一个重要语义,是人们检索和选择图像的重要依据,因此对于图像进行情感标注显得至关重要。结合脑电信号(EEG)和图像内容,提出了一种基于多模态信息融合的图像情感标注方法。首先,提取EEG频域特征及图像特征(颜色及纹理);其次,结合两者特征信息,基于两种融合策略(特征层和决策层),构建支持向量机分类模型,进行图像情感识别与标注。为了评估方法的有效性,使用国际情绪图片系统公共数据集进行了实验验证。结果表明,提出的多模态信息融合图像情感标注方法优于单独使用EEG或图像内容的标注方法。此外,该成果有助于缩小低层视觉特征和高层情感语义之间的语义鸿沟。     

基于像素级偏振相机的超像素校正

针对像素级偏振相机中偏振片单元由于刻划精度和透过率的差异导致偏振片阵列的非均匀性,提出了一种带有角度约束的最小二乘超像素校正方法。建立了带有角度约束的校正优化算法的数学模型,加入了超像素的标量增益和暗补偿参数。最后,搭建了以微偏振片为核心的积分球标定系统,进行了仿真实验和成像实验。结果表明:与最小二乘法相比,本文算法在有效地校正偏振度和非均匀性的同时也校正了超像素内振幅的非均匀性,重建角度的准确度提高了10%。经过插值处理后,边缘表现更为明显,有效减少了插值过程中所产生的噪声,提升了成像质量。     

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,Q^AB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。     

基于多模态感知融合的钛合金加工刀具磨破损分析

飞机钛合金加工铣刀磨破损量直接影响加工质量与铣刀使用寿命,然而现有方法难以实现在线直接有效测量铣刀的磨破损量,给飞机制造带来较大的质量隐患。为实现铣刀磨破损的直接有效在线测量,文中提出了识别测量算法,主要包含基于卷积神经网络识别并获取有效模态特征图像,多模态感知融合的刀具磨破损分析策略识别破损区域,基于多模态融合分析得到具体的刀刃磨破损量化数值,并根据融合结果实现刀具的磨破损评价。对4把钛合金加工铣刀进行实验,提出的方法可准确识别出异常图像及区域,同时max-标准偏差分别仅占标准值的1.66%、3.52%、2.57%、2.04%。结果表明,说提出方法良好的磨破量感知融合分析能力,结合装置可实现在线准确测量磨破损量,为工程应用奠定了基础。     

基于Rough集的遥感影像增强方法研究

通过对Rough集理论特点和遥感影像信息的不确定特性分析,基于对Rough集理论的不可分辨关系、近似集合和分类概念的分析,研究实现了一种保护图像边缘的遥感图像滤波和增强的算法,并通过实验证明了该算法的效果和有效性.