通信语音干扰效果评估方法

通信语音干扰效果评估,是指对语音通信系统接收的受扰语音信号进行分析,确定语音信号被干扰程度的技术。准确地评估干扰效果是研制通信对抗设备、评估电子对抗态势以及了解通信质量等活动的重要依据。针对超短波通信干扰系统,提出了基于梅尔频率倒谱系数(MFCC)特征、小波统计特征和感知特征的统计测度,结合最小二乘、反向传播(BP)神经网络以及支持向量回归(SVR)拟合回归模型的评估系统,其预测值和主观评估值的相关系数达到0.9以上,保障了该干扰评估系统的实用性。研究了基于深度学习的无参考评估方法,并利用实测数据验证了其有效性,准确率达到了87%,高于多测度融合评估方法。     

基于多模态融合的视觉问答传输注意网络

针对传统视觉问答任务无法完全捕捉多模态特征之间复杂相关性的缺点,文中提出了基于多模态融合的视觉问答传输注意网络。在特征提取部分,分别利用GloVe词嵌入+LSTM提取问题特征,并使用ResNet-152网络提取图像特征。通过3层传输注意网络进行多模态融合来学习全局多模态嵌入信息,进而使用该嵌入重新校准输入特征。文中设计了一个多模态传输注意学习架构,通过对传输网络进行重叠计算,使组合特征聚焦在图像和问题的细粒度部分,提高了预测答案的准确率。在VQA v1.0数据集上的实验结果表明,该模型的总体准确率达到了69.92%,显著优于其他5种主流视觉问答模型的准确率,证明了该模型的有效性和鲁棒性。     

基于5G语音质差自适应算法研究及应用

MOS通常被业界用于评价语音质量，它能够客观公正地反映用户语音业务的感知。通过路测获取数据的方式难度大、成本高，通常采用训练好的监督学习模型预测MOS。但运营商语音数据存在MOS低分数据占比低和时序变化的特性，这种数据特性影响了模型预测的精度和泛化性。在研究现有运营商数据采集系统和机器学习算法的基础上，提出了一种面向5G语音质差MOS评估的自适应算法。首先，基于全参评估的POLQA算法测试设备获取训练数据，保证了训练样本的准确性；其次，通过数据增强的方法，解决了质差样本获取难度大的问题；最后，基于自适应算法选型实现周期性动态地根据数据特征的时序变化选择最佳MOS预测模型，实现5G语音质量规模化、智能化的评估。     

基于数字孪生的自组网多模态数据快速融合

随着自组网性能的提升与大规模应用,其内部数据呈现出多模态特征,数据量更是达到了海量级别,为数据融合处理工作带来了极大的挑战。为此,提出基于数字孪生的自组网多模态数据快速融合方法。实时采集自组网数据后,利用NLM算法与卡尔曼滤波算法去除数据中的噪声与冗余信息。然后,构建数字孪生自组网（包括自组网、孪生网络与服务系统）,从服务系统加载的数据中提取多模态数据特征,搭建双线性融合模型,从而实现对多模态数据的快速融合处理。实验表明：应用该方法后,多模态数据融合过程的时延始终保持在3 s以下,融合后多模态数据质量系数可达到0.9,证明该方法具有更优的数据融合性能。     

语音干扰效果客观评估模板优化分析

语音通信质量客观评估方法是当前声学技术研究领域的一个重要课题,在介绍语音音质评估一般方法的基础上,首先利用最小二乘法建立了基于巴克谱测度的语音通信质量评估模板,通过对该模板进行主、客观分析,引入了BP网络建模方法,大大减小了以往的最小二乘法在语音干扰效果客观评估建模中的误差,确立了基于BP神经网络的语音干扰效果评估模型,并通过实验数据加以验证.     

多模态自适应特征融合的目标检测

随着深度学习的发展，基于卷积神经网络（CNN）的目标检测方法取得巨大成功。现有的基于CNN的目标检测模型通常采用单一模态的RGB图像进行训练和测试，但在低光照环境下，检测性能显著下降。为解决此问题，提出了一种基于YOLOv5构建的多模态目标检测网络模型，将RGB图像和热红外图像相结合，以充分利用多模态特征融合信息，从而提升目标检测精度。为了实现多模态特征信息的有效融合，提出了一种多模态自适应特征融合（MAFF）模块。该模块通过自适应地选择不同模态特征并利用各模态间的互补信息，实现多模态特征融合。实验结果表明：所提算法能有效融合不同模态的特征信息，从而显著提高检测精度。     

基于有效载荷和数据包长度的多模态加密流量分类

针对大多数深度学习算法只使用单一模态进行分类会导致结果具有偏差性的问题，提出了一种基于双模态特征的混合神经网络。该方法能够使用两种不同的模态训练分类模型，提高分类模型的准确率。首先使用传输层流量数据包的有效载荷特征作为数据包级模态，数据包的长度序列特征作为流级模态；其次分成两个路径使用神经网络分析双模特征；再次将两条路径提取的高维特征进行融合；最后输出模型的分类结果。分别使用两个公开数据集对模型进行训练和测试，实验结果表明，多模态模型的分类精确率分别达到96.46%和93.01%，与当前4种比较优秀的单模态和多模态方法相比，均有明显提升。     

基于音视频的情感识别方法研究

近年来,情感计算逐渐成为人机交互发展突破的关键,而情感识别作为情感计算的重要部分,也受到了广泛的关注。本文实现了基于ResNet18的面部表情识别系统和基于HGFM架构的语音情感识别模型,通过调整参数,训练出了性能较好的模型。在此基础上,通过特征级融合和决策级融合这两种多模态融合策略,实现了包含视频和音频信号的多模态情感识别系统,展现了多模态情感识别系统性能的优越性。两种不同融合策略下的音视频情感识别模型相比视频模态和音频模态,在准确率上都有一定的提升,验证了多模态模型往往比最优的单模态模型的识别性能更好的结论。本文所实现的模型取得了较好的情感识别性能,融合后的音视频双模态模型的准确率达到了76.84%,与现有最优模型相比提升了3.50%,在与现有的音视频情感识别模型的比较中具有性能上的优势。      

基于小波变换的语音质量客观评估方法研究

对小波变换原理进行简要分析的基础上,对小波变换与小波美倒谱(MFCC)方法相结合进行语音客观音质评价的方法进行了研究,给出了小波美倒谱语音音质评估原理及计算流程。使用MFCC方法和小波美倒谱算法分别计算原始语音文件与受扰语音文件的失真距离,并将失真距离与主观评测结果进行相关分析,得出相应算法的相关系数和方差值,通过对比表明小波美倒谱语音评估方法对于以倒谱域参数为基础的客观评价方法有很大改善。     

BP网络在语音干扰效果客观评估方法优化中的应用

语音干扰效果评估是当前声学技术研究领域的一个重要课题。在介绍语音干扰效果评估一般方法的基础上,首先利用最小二乘法建立了基于巴克谱测度的语音干扰效果评估模板,通过对该模板进行主、客观分析,引入了BP网络建模方法,大大减小了以往的最小二乘法在语音干扰效果客观评估的建模中的误差,确立了基于BP神经网络的语音干扰效果评估模型,并通过试验数据加以验证。     

基于时频阈值的小波包语音增强算法

该文考虑小波域应用语音降噪中听觉掩蔽效应,提出了一种基于时频阈值的小波包语音增强算法。新算法首先通过频域增强方法得到语音粗估计,通过跟踪估计语音时频特性的细节变化,及时调节降噪阈值,然后利用时频阈值对小波包系数进行处理,以达到语音降噪的目的。实验表明,较传统小波域语音降噪方法,新算法在抑制平稳白噪声的同时减小了语音信息的损失,其增强语音的MOS(Mean Opinion Score)评分、输出信噪比、MBSD(Modified Bark Spectral Distortion)测度性能均有明显提高。     

基于多模态深度学习的虚假类新闻检测

针对目前网络中有些新闻存在虚假性，缺乏真实性等问题，根据假新闻所包含的数据特征进行分析，选取不同的特征提取方法来针对不同模态数据进行特征提取，并进行特征融合，提出了基于多模态特征融合的检测算法MMDM。首先基于外部信息的文本模态特征提取，然后融合图片物理及语义信息进行特征提取，最后对两个模块特征融合。实验结果表明，多模态特征融合算法检测性能优于其他方法。     

基于Conv-TasNet的多特征融合音视频联合语音分离算法

视听多模态建模已被验证在与语音分离的任务中性能表现优异,本文提出一种语音分离模型,对现有的时域音视频联合语音分离算法进行改进,增强音视频流之间的联系。针对现有音视频分离模型联合度不高的情况,作者提出一种在时域上将语音特征与额外输入的视觉特征进行多次融合,并加入纵向权值共享的端到端的语音分离模型。在GRID数据集上的实验结果表明,该网络与仅使用音频的时域语音卷积分离网络（Conv-TasNet）和音视频联合的Conv-TasNet相比,性能上分别获得了1.2 dB和0.4 dB的改善。      

基于人脸表情与生理信号的多模态情绪识别研究

利用多模态智能技术识别情绪已成为业界研究热点。利用摄像头采集到的人脸图像信息传入已经训练好的模型之中,融合传感设备采集到的用户皮肤电反应和心电信息,提出采用支持向量机分类得到情绪所属的二维情绪模型位置,从而得出用户的准确情绪状态,提高了整体情绪识别、分类的准确率。算法对于人类基本情绪的识别准确率达到77.85%,高于单一模态识别的准确率,为多模态情绪识别研究提供了一种新的思路和探索。     

基于特征流融合的带噪语音检测算法

针对语音通话中语音段的起始检测性能不佳,检测语音连续性结构受到破坏的问题,提出了一种基于特征流融合的带噪语音检测算法。首先,根据语音特性分别提取时域特征流、谱图特征流和统计特征流;其次,利用不同的语音特征流分别对带噪音频中的语音段进行概率估测;最后,将各个特征流估测得到的语音估测概率进行加权融合,并利用隐马尔可夫模型对语音估测概率进行短时状态处理。通过对复合语音数据库在多类型噪声与不同信噪比条件下的性能测试表明,所提算法相对于基于贝叶斯与DNN分类器的基线模型相比,语音检测正确率分别提高了21.26%与11.01%,显著提高了目标语音的质量。     

基于异构数据融合的地震综合数据分析系统设计

针对地震综合数据因格式、来源不同导致数据分析效率低的问题,文中开展了基于异构数据融合的地震综合数据分析系统设计研究。通过构建无监督多模态、非负相关特征融合算法,以解决多模态数据共享空间内部特征的融合规律学习和聚类分析;同时针对多模态数据的相关和不相关特征,构建共享学习机制,将私有特征分离后得到具有可靠鲁棒性的模态共享特征;利用深度置信网络在网络平滑约束下将融合后的特征进行学习与分类,以提高数据分析能力。通过设置对照组进行对比测试,使用基于无监督多模态、非负相关特征融合算法的地震综合数据分析模型可以显著提高预测精度和纯度,纯度与精度分别提高了0.05%和0.06%,具有良好的可行性及优越性。     

智能语音新闻的挑战与应对路径

文章深入探讨了智能语音新闻在语音识别、语义理解以及语音合成方面面临的挑战,并提出切实可行的解决路径。对于语音识别准确率不一致的问题,建议引入预训练语言模型来提升整体性能。针对语义理解能力有限的问题,强调发展多模态理解技术,综合不同感官输入提供更丰富的上下文信息。针对语音合成质量问题,提出训练个性化语音和应用生成对抗网络的策略。通过这些创新性的方法,智能语音新闻应用有望实现更高水平的语音交互和信息传递。     

基于帧间相关性的最大后验估计语音增强算法

通过讨论纯净语音分量的概率分布特征以及相邻分量间的统计相关特性,在自适应K-L变换(KLT,Karhunen-Loève Transform)域给出了一种新的语音信号统计模型,然后基于该信号模型,利用最大后验(MAP,Maximum a Posterior)估计理论提出了一种新型的单通道语音增强算法.该算法充分考虑到在KLT域相邻时刻语音分量间存在的相关信息,利用信号的高斯模型假设条件,以联合概率密度函数的形式将这种相关信息融合到MAP中,获得纯净语音分量的估计.算法不仅结构简单利于实现,且有效地避免了传统算法对语音分量估计的不足.仿真结果表明本文算法在客观和主观测试中都具有较好的语音增强效果.     

基于RoBERTa改进的多模态情绪识别关键技术研究

针对当前多模态情绪识别技术的识别稳定性差,导致识别精准度低的问题,提出了基于RoBERTa改进的多模态情绪识别关键技术研究。建立了基于RoBERTa改进的多模式情绪识别模型,对输入文本进行量化表示,并采用BIO标注的方法,对RoBERTa模型进行识别。通过计算RoBERTa语言模型学习节点间的相位锁定值,保证识别过程的稳定性,获得相应的连接权值,计算K-阶传播数的结构熵和权值,得到每个节点的排名。融合RoBERTa语言模型拓扑结构和节点排名,利用F-score算法选择融合后特征,以此识别多模态情绪。实验结果表明,该技术与实际结果存在0.005的误差,能够有效提高识别准确率。     

基于总错误率和特征关联的自适应融合多模态生物特征识别

针对单生物特征识别准确率和鲁棒性差的问题, 提出了一种基于总错误率(TER)和特征关联自适应融合多模态生物特 征识别方法。首先将TER作为判别特征引入到多模态识别,以代替传统的匹配分 数;其次在不确定度量理论的基 础上,考虑人脸特征和语音特征之间的时空关联性,提出了一种基于特征关联的多特征 自适应融合策略,利用特征关联 系数自适应调节不同识别特征对识别结果的贡献。仿真实验表明,与几种代表性的融合算法 相比,本文所 提出的融合模式可以有效提高多生物特征识别系统的准确性和鲁棒性。