一种飞机图像目标多特征信息融合识别方法

提出了一种基于概率神经网络(Probabilistic neural networks, PNN)和DSmT推理 (Dezert-Smarandache theory)的飞机图像目标多特征融合识别算法. 针对提取的多个图像特征量,利用数据融合的思想对来自图像目标各个特征量提供的信息进行融合处理.首先,对图像进行二值化预处理,并提取Hu矩、归一化转动惯量、 仿射不变矩、轮廓离散化参数和奇异值特征5个特征量;其次, 针对DSmT理论中信度赋值构造困难的问题,利用PNN网络,构造目标识别率矩阵,通过目标识别率矩阵对证据源进行信度赋值;然后,用DSmT组合规则在决策级层进行融合,从而完成对飞机目标的识别;最后,在目标图像小畸变情形下, 将本文提出的图像多特征信息融合方法和单一特征方法进行了对比测试实验,结果表明本文方法在同等条件下正确识别率得到了很大提高,同时达到实时性要求,而且具有有效拒判能力和目标图像尺寸不敏感性. 即使在大畸变情况下,识别率也能达到89.3%.     

基于DSmT的序列图像智能融合目标识别方法

提出了一种基于BP神经网络和DSmT推理的序列图像目标识别算法。以修正的Hu不变矩为图像特征,利用数据融合的思想对来自目标的序列图像进行时间域融合处理。由BP神经网络对目标的初步识别结果构造基本置信指派函数,用DSmT组合规则进行决策级数据融合,完成了三维飞机图像目标的识别仿真。仿真结果表明,融合方法提高了三维飞机目标识别的准确性。     

融合模糊认知图用于语音情感识别

模糊认知图（Fuzzy Cognitive Map,FCM）作为一种图分析方法已在数据分类方面得到应用,为了提高其在语音情感识别中的分类精度,提出了融合FCM的方法。其中包括特征级融合和决策级融合两种方式。详细分析了这两种方式并提出将传统的模糊认知图的数值型输出转化为概率型输出,为不同特征提供了统一范围的初级识别结果。在此基础上,提出了自适应权值决策级融合方法。该方法充分考虑了分类器对不同特征的识别准确率差异。实验证明,提出的融合FCM方法相较于单一特征和单一分类器,具有更优的分类性能,同时大大降低了情感间的混淆程度。     

基于DSmT的移动机器人地图构建及传感器管理

针对智能移动机器人探测未知环境的问题,引入了一种新的信息融合方法DSmT(Dezert-Smarandache Theo-ry),采用栅格地图,并根据声纳在DSmT框架下的数学模型,利用经典DSm模型构造了一组能自动调节误差范围的声纳基本信度赋值函数(gbbaf),以处理未知环境下声纳获取的不确定和不精确信息,甚至于高冲突信息。提出了简单有效的传感器管理方法,完全消除了复杂环境下声波的多次反射和串扰现象。最后,用Pioneer 2-DX机器人分别进行了DSmT和DST(Dempster-Shafer Theory)两种算法的地图构建实验,并绘制了相应的二维基本信度赋值地图。将DSmT与DST构建出的环境地图做比较,充分验证了DSmT及提出的传感器管理方法在未知环境下的有效性,为处理动态高冲突信息提供了有力的理论依据。     

基于经典DSmT 的Sonar栅格地图创建

基于最近提出的一种在贝叶斯和DST扩展而来的信息融合算法DSmT(Dezert-Smarandache Theory),在实验的基础上,结合Sonar测量的基本特性,对静态结构化环境建模,并构造了广义基本信度赋值函数,利用经典DSm融合规则,融合每个栅格的声纳冗余信息,计算栅格占用的Bel.最后,以Pioneer Ⅱ 移动机器人作为试验平台,并在线对小型环境进行了3D栅格占用信度分布地图创建,其俯视图与实际2D地图中的物体外观轮廓及所在位置进行比较,其比较结果充分验证了算法的有效性,为进一步研究应用基于折扣理论的DSmT解决异类或同类非可靠多源信息融合,基于Hybrid DSmT的动态环境地图创建,以及多机器人联合创建地图和自定位奠定了坚实的基础.     

双色红外图像目标多特征决策级融合识别算法

针对双色红外成像系统中的自动目标识别问题,提出了一种采用多特征多分类器决策级融合的目标识别算法。该算法首先提取目标的形状特征和面貌特征;接着基于各种不同特征设计多个分类器对目标进行分类;然后采用所设计的多分类器决策级融合策略对多个分类器的目标分类结果进行融合处理;最后采用所提出的决策规则对多分类器融合分类结果进行处理得到最终的目标识别结果。该算法充分利用了目标在多传感器图像中的多种分类特征信息,在较大程度上提高了系统的目标识别效率和精确性。实验结果证实了该算法的有效性。     

融合多特征的语音情感识别方法

语音情感识别已经成为下一代人机交互技术的重要组成部分,从语音信号中提取与情感相关的特征是语音情感识别的重要挑战.针对单一特征在情感识别中准确度不高的问题,该文提出了特征级-决策级融合的方法融合声学特征和语义特征进行情感识别.首先提取声学特征,包括：1)低层次手工特征集,包括基于谱相关、音质、能量、基频等相关特征,以及基于低层次特征的高级统计特征;2)DNN提取的谱相关特征的深度特征;3)CNN提取的基于Filter＿bank特征的深度特征.并且使用基于Listen-Attend-Spell(LAS)模型的语音识别模块提取语义特征.然后将声学特征中的3类特征与语义特征进行特征级融合,在确定融合特征的先后顺序时引入了构造哈夫曼树的方法.最后得到融合后特征和原始4类特征各自的情感识别结果,在结果之上进行决策级融合,使用此方法在IEMOCAP数据集中分类准确度可达76.2%.     

自抗扰控制技术在高低温环境模拟系统中的应用

针对现有健康状态评估方法主观性较强,准确度不高等问题,提出一种基于DSmT理论和模糊综合评判的健康状态评估模型。首先,确定评估对象的评价指标体系,对采集的原始数据进行预处理;然后利用模糊综合评判理论确定广义基本信度赋值;接着采用DSmT融合规则对广义基本信度赋值合成,得到健康状态等级。对于多级的系统评估,可将融合后的结果作为新的广义基本信度赋值进行DSmT融合。实例验证表明,该状态评估模型能够准确有效地实现对系统的健康状态评估,而且能够克服高冲突证据的融合问题,具有良好的应用价值。     

DSmT框架下的自适应通用分配法则

针对Dempster-Shafer证据理论（DST）及Dezert-Smarandache证据理论（DSmT）均无法处理不确定信息的问题,定义了辨识框架中的不确定因子,通过深入分析比较DSmT框架下的各个冲突分配法则（PCR）,提出了一种基于PCR2的自适应通用分配法则（AUPR）,并根据声纳的数学模型构造了一组新的声纳信度赋值函数（gbbaf）,用以描述声纳获取的不确定和不精确信息,甚至于高冲突信息。最后,以Pioneer 2-DXe机器人为实验平台,绘制了实验场景的各种信度分布图。实验结果充分验证了所提方法的有效性和实用性,为信息融合理论中如何处理不确定信息提供了有力的理论依据。     

基于特征级和决策级融合的人脸吸引力评价方法

在个性化的人脸吸引力的研究中,由于特征缺失和对于大众审美的影响因素考虑不足,导致预测个人偏好无法到达很高的预测精度。为了提高预测精度,提出了一个基于特征级和决策级信息融合的个性化人脸吸引力预测框架。首先,将代表不同人脸美丽特征的客观特性融合到一起,利用特征选择算法挑选出具有代表性的人脸吸引力特征,并利用不同的信息融合策略将人脸局部、全局特征融合起来;然后,将传统的人脸特征与通过深度网络自动提取的特征融合起来。同时,提出多种融合策略进行对比,将代表着大众审美偏好的评分信息与代表个人偏好的个性化评分信息进行决策级融合,最终实现个性化的人脸吸引力预测评分。实验结果表明,相比现有针对个性化人脸吸引力评价研究的算法,所提的多层次融合方法在预测精度方面有显著的提升,能够达到Pearson相关系数0.9以上。该方法可用于个性化推荐、人脸美化等领域。     

基于多特征融合的医学图像识别研究*

以医学图像为研究对象,针对任何一类特征都不能很好地表达医学图像的缺点以及进一步提高医学图像的识别率,提出了一种基于特征级数据融合与决策级数据融合相结合的分类方法。实验结果表明,采用特征级数据融合,融合后的特征可以较好地表达医学图像,且减少了后期分类的计算量;采用决策级数据融合,取得了比单个分类器更高的识别率。     

融合多模态数据的人体动作识别方法研究

基于多模态融合的人体动作识别技术被广泛研究与应用,其中基于特征级或决策级的融合是在单一级别阶段下进行的,无法将真正的语义信息从数据映射到分类器。提出一种多级多模态融合的人体动作识别方法,使其更适应实际的应用场景。在输入端将深度数据转换为深度运动投影图,并将惯性数据转换成信号图像,通过局部三值模式分别对深度运动图和信号图像进行处理,使每个输入模态进一步转化为多模态。将所有的模态通过卷积神经网络训练进行提取特征,并把提取到的特征通过判别相关分析进行特征级融合。利用判别相关分析最大限度地提高两个特征集中对应特征的相关性,同时消除每个特征集中不同类之间的特征相关性,将融合后的特征作为多类支持向量机的输入进行人体动作识别。在UTD-MHAD和UTD Kinect V2 MHAD两个多模态数据集上的实验结果表明,多级多模态融合框架在两个数据集上的识别精度分别达到99.8%和99.9%,具有较高的识别准确率。     

语种辨识的多特征信息应用

提取动态的高层语言学特征建立了改进的语种相关的、联合的GMM-LM语种辨识方案。该方案减小了不同语种的高斯混合模型和语言模型之间的相关性,也降低了训练的复杂度。还提出了基于特征提取层和判决层融合技术的语种辨识系统。该系统利用了不同类型的特征对区分不同语种的贡献来增加不同语种语料之间的差异,并使相同语种的语料之间的差异减小。实验表明,设计的语种辨识系统具有较好的扩展性;基于特征提取层和判决层的融合系统能够有效地提高系统识别率。     

基于行为足迹的多模态融合身份认证

针对单模态身份认证方法存在特征单一容易被伪造和攻破的问题,提出基于用户行为足迹的多模态特征融合隐式身份认证方法。在移动设备中采集用户使用设备时的触摸压力、触摸轨迹、加速度等传感器数据,利用特征选择技术提取触摸屏交互、移动模式、物理位置等特征并对其进行训练与融合,最终通过多模态特征融合模型实现用户身份认证。实验结果表明,该方法采用的特征级融合和决策级融合方式均获得了98%以上的认证准确率,相比单模态身份认证方法更难以被伪造和攻破,且认证准确率更高、稳定性更强。     

Feature-level and decision-level fusion of noncoincidently sampledsensors for land mine detection

We present and compare methods for feature-level (predetection) and decision-level (postdetection) fusion of multisensor data. This study emphasizes fusion techniques that are suitable for noncommensurate data sampled at noncoincident points. Decision-level fusion is most convenient for such data, but it is suboptimal in principle, since targets not detected by all sensors will not obtain the full benefits of fusion. A novel algorithm for feature-level fusion of noncommensurate, noncoincidently sampled data is described, in which a model is fitted to the sensor data and the model parameters are used as features. Formulations for both feature-level and decision-level fusion are described, along with some practical simplifications. A closed-form expression is available for feature-level fusion of normally distributed data and this expression is used with simulated data to study requirements for sample position accuracy in multisensor data. The performance of feature-level and decision-level fusion algorithms are compared for experimental data acquired by a metal detector, a ground-penetrating radar, and an infrared camera at a challenging test site containing surrogate mines. It is found that fusion of binary decisions does not perform significantly better than the best available sensor. The performance of feature-level fusion is significantly better than the individual sensors, as is decision-level fusion when detection confidence information is also available (“soft-decision” fusion)     

An adaptive PNN-DS approach to classification using multi-sensor information fusion

In this paper, an adaptive neural network approach to classification which combines modified probabilistic neural network and D-S evidence theory (PNN-DS) is proposed. It attempts to deal with the drawbacks of information uncertainty and imprecision using single classification algorithm. This PNN-DS approach firstly adopts a modified PNN to obtain posteriori probabilities and make a primary classification decision in feature-level fusion. Then posteriori probabilities are transformed to masses noting the evidence of the D-S evidential theory. Finally advanced D-S evidential theory is utilized to gain more accurate classification results in the last decision-level fusion. In order to implement PNN-DS, covariance matrices are firstly employed in the modified PNN module to replace the singular smoothing factor in the PNN’s kernel function, and linear function is utilized in the pattern of summation layer. Secondly, the whole scheme of the proposed approach is explained in depth. Thirdly, three classification experiments are carried out on the proposed approach and a large amount of comparable analyses are done to demonstrate the effectiveness and robustness of the proposed approach. Experiments reveal that the PNN-DS outperforms BPNN-DS, which provides encouraging results in terms of classification accuracy and the speed of learning convergence.     

AI-enabled and multimodal data driven smart health monitoring of wind power systems: A case study

The development of AI has enabled the fault detection of industrial components to be achieved through the combination with deep learning. A detection method combined with deep learning has also emerged for the fault detection of fan blades, such as models based on neural networks using the appearance or sound of the blades. However, the detection model obtained from a single data type often has limitations, such as low accuracy and overfitting. This is also the problem with fan blade detection. In contrast, multimodal data fusion detection models are often more stable. The modality diversity of blade diagnosis is strong, and it can be achieved from multiple modalities such as image, sound, and vibration. To improve the accuracy of fault diagnosis of fan blades, this article proposes a multimodal double-layer detection system (MTDS) based on decision-level and feature-level fusion. The system includes a wind turbine simulation platform and a multimodal detection system. It mainly obtains different modal data of the simulated wind turbine from the image, sound, and vibration signals, including blade images through unmanned aerial vehicle photography, blade vibration signals through electronic vibrators, and blade sound signals through microphones. The highly correlated sound and vibration modal data are fused at the feature level, and a detection model based on the sound and vibration mixed mode is implemented using a sound-vibration-CNN (SV-CNN) proposed in this case. Then, a detection model of the image mode is trained based on the blade image using a Convolution Block Attention Module ResNet (CBAM-ResNet) network. Finally, the detection input of the two modal models is fed into a perceptron to obtain the final prediction result, and the decision-level fusion is implemented to achieve fan blade detection based on multimodal, namely the implementation of MTDS.     

基于异构特征聚合的局部视图扭曲型纸币识别

如何识别同一物体的不同结构的表现形式,对于机器而言,是一个比较困难的识别工作.本文以易变形的纸币为例,提出了一种基于异构特征聚合的局部视图扭曲型纸币识别方法.首先利用灰度梯度共生矩阵、Haishoku算法和圆形LBP分别获得纹理风格、色谱风格和纹理,这些特征从不同的角度描述了局部纸币图像,然后通过VGG-16、ResN...     

基于特征级融合神经网络的磁共振成像前列腺肿瘤CAD模型

针对磁共振成像(MRI)前列腺肿瘤感兴趣区域(ROI)在高维特征表示下存在特征相关和维数灾难问题,提出了一种基于主成分分析(PCA)的特征级融合神经网络(NN)的MRI前列腺肿瘤CAD模型。首先提取MRI前列腺肿瘤ROI的6维几何特征、6维统计特征、7维Hu不变矩特征、56维灰度共生矩阵的纹理特征、3维Tamura纹理特征和24维频域特征,得到102维特征矢量;然后通过PCA进行特征级融合得到累计贡献率达到89.62%的8维变换特征,降低特征矢量的维数;再次利用经典的神经网络(四种训练算法BFGS拟牛顿算法、BP算法、最速梯度下降算法和Levenberg-Marquardt算法)作为分类器进行分类识别;最后以180幅前列腺患者的MRI图像为原始数据,采用基于特征级融合神经网络(NN)的计算机辅助诊断模型对前列腺肿瘤进行辅助诊断。实验结果表明:经过特征级融合的神经网络识别前列腺良恶性肿瘤的能力至少提高10%左右,这种特征级融合策略是有效的,一定程度上提高了特征之间的不相关性。