基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

面向驾驶员的个性化健康导航

为了减少因驾驶员的生理和心理健康状况变化引发的交通事故,实现对驾驶员健康状态的自动监测和实时优化,提出以控制论的基本理论为基础的驾驶员健康状态闭环反馈系统框架.首先基于驾驶员日志建立个性化健康模型;然后结合各种传感器实时采集的驾驶员、车辆和道路环境等多模态数据,对驾驶员当前健康状态进行估计;最后针对预设健康目标,为驾驶员提供可执行的行为建议,实现对驾驶员健康状态的导航优化.在最关键的实时监测环节,提出基于注意力的卷积神经网络(convolutional neural network,CNN)-长短期记忆网络(long short term memory,LSTM)的多模态融合模型,实现对驾驶员压力、情绪和疲劳3个方面的健康状态估计.在私有数据集和公开数据集上分别开展的实验验证均获得高于90％的检测准确率.实验结果表明,提出的模型和方法可以实时准确监测驾驶员的压力、情绪和疲劳状态,为实现驾驶员的个性化健康导航系统提供有力支撑.     

基于多模态的音乐推荐系统

使用传统协同过滤的方式进行推荐往往会忽视音乐底层特征.通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息作为协同过滤推荐的补充,提出了一种基于多模态的音乐推荐系统.主要探讨了音频特征与歌词信息的提取,并在提取歌词信息时利用LDA主题模型进行特征降维.针对多模态融合问题,使用一种特征级联早融合法(EFFC)融合方式,并将多模态融合后的结果与单模态结果进行了比较.对于结果的推荐,以多模态特征信息为依据建立用户兴趣模型,并将该模型通过LSTM神经网络,以过滤与优化协同推荐的用户组.结果表明,基于多模态的音乐推荐系统将推荐结果的误差项平方和(SSE)由传统的2. 009降至0. 388 6,验证了该方法的有效性.     

一种基于多模态特征融合的骨质疏松评估方法

针对现有骨质疏松评估中诊断依据单一、准确率低的问题,综合考虑骨骼图像数据和问卷数据,首先提出一种基于深度神经网络的多模态特征融合骨质疏松评估方法;然后,针对骨骼图像特征较浅、结构固定的特点,使用Unet进行图像分割预处理,去除冗余信息以提升分类准确性;最后,针对普通卷积操作在把握全局信息方面的不足,提出采用基于non-local模块的卷积神经网络来进一步丰富特征信息.交叉验证结果表明,提出的多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比具有明显的优势,分类准确率分别提升了3.2%和22.3%.     

多模态多维信息融合的鼻咽癌MR图像肿瘤深度分割方法

收集421名鼻咽癌患者头颈部水平位T1加权（T1W）、T2加权（T2W）以及T1增强（T1C）三种模态MR图像,并由2名经验丰富的临床医生对图像中的肿瘤区域进行勾画,将其中346位患者的多模态图像及其标签作为训练集,将剩余75位患者的多模态图像及其标签作为独立测试集;分别构建单模态多维信息融合、两模态多维信息融合以及多模态多维信息融合（MMMDF）的卷积神经网络（CNN）,并对模型进行训练和测试;使用Dice、豪斯多夫距离（HD）与面积差占比（PAD）评估3种模型的性能,结果表明,多模态多维融合模型的性能最优,两模态多维信息融合模型性能次之,单模态多维信息融合模型性能最差. 结果证明,多模态二维与三维特征融合的深度卷积网络能够准确有效地分割鼻咽癌MR图像中的肿瘤.     

基于数字水印的人脸与声纹融合识别算法

提出远程多模态的生物特征数字水印算法,将声音特征作为水印加入到人脸图像中.运用文献[1]提出的改进型量化索引调制(QIM)方法,算法加入一个脆弱型的水印用于篡改检测,同时加入一个鲁棒型水印用于隐藏声音的高斯混合模型(GMM)参数.利用人脸、声纹和多模态识别算法,提出的方法能够实现对篡改的检测,对常见的攻击,例如图片缩放、高斯噪声、模糊化、伽马校正和JPEG压缩等具有鲁棒性.在由295人组成的XM2VTS数据库上,该多模态系统能够获得95.93%的识别率,同时获得3.19%的等错误率.     

结合PCM和MIE的多模态图像配准方法

针多模态图像配准问题,提出了一种基于相位一致性模型（PCM）和互信息熵（MIE）的配准方法.通过相位一致性模型同时提取多模态图像的角点和边缘特征,在边缘图上取角点的邻域,依据邻域间互信息熵的最小值在估计区域搜索匹配特征,利用RANSAC算法去除错配,进而确定待配准图像间的变换参数.实验表明：该方法达到了像素级配准精度、求解稳定,对多模态引起的非线性灰度变化、光照变化、噪声等都具有较强的鲁棒性;计算精度较基于同类特征的配准方法高,角点、边缘等几何特征综合运用在多模态图像配准中效果良好.     

支持泛洪攻击检测的命名数据网PIT

针对命名数据网待定兴趣转发表中高效的变长名称数据索引、硬件可支持的存储消耗以及兴趣包泛洪攻击检测等问题，提出了基于字符卷积神经网络的认知索引模型（C&I），该模型能够支持路由名称数据的分类、聚合，降低名称数据的存储消耗.同时，基于C&I提出了支持兴趣包泛洪攻击检测的待定兴趣转发表（PIT）存储结构C&I-PIT及其数据检索算法，通过多级存储器部署方式，分别在片上和片下的存储器中部署索引结构及存储空间.实验结果表明，C&I-PIT在名称数据聚合、存储消耗、泛洪攻击检测等方面具有良好的性能.     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性，提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制，利用双重注意力建立文本与图像之间的关联以增强文本语义；在图像语义增强模块引入保留强度和更新强度，控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估，实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。     

多特征神经网络微博转发预测

随着社交网络的快速发展,微博已成为一种信息扩散传播的平台。鉴于微博信息扩散的特点,挖掘微博转发过程中的潜在规律对于舆情监控、热点话题追踪、产品营销等有着重要意义。以新浪微博作为数据源,以用户和微博内容作为特征源,引入机器学习中的神经网络预测算法建立预测模型,实现对微博的转发预测。结果表明,与传统预测方法的对比,对微博转发可以做出较高准确率的预测。     

Study on Adaptive Control with Neural Network Compensation

A scheme of adaptive control based on a recurrent neural network with a neural network compensation is presented for a class of nonlinear systems with a nonlinear prefix. The recurrent neural network is used to identify the unknown nonlinear part and compensate the difference between the real output and the identified model output. The identified model of the controlled object consists of a linear model and the neural network. The generalized minimum variance control method is used to identify parameters, which can deal with the problem of adaptive control of systems with unknown nonlinear part, which can not be controlled by traditional methods.Simulation results show that this algorithm has higher precision, faster convergent speed.     

基于卷积神经网络的高性能5G下行同步算法

为解决第5代移动通信系统(5G)下行同步在低信噪比和大频偏环境下成功率低的问题,提出一种基于卷积神经网络(CNN)的同步信号块(SSB)检测算法及改进的混合相关同步算法。在无先验信息的情况下,利用最大自相关准则和循环前缀的特性对无线信号进行分段,生成数据集。在此基础上,构建了适用于检测承载SSB信号片段的CNN,对任意一个SSB进行检测,实现了SSB目标区间的快速定位,减少了相关过程中的搜索范围。进一步使用改进的混合相关算法,在目标区间完成主同步信号定时同步及频偏估计。仿真结果表明,所提算法具有良好的SSB检测率和定时同步性能,能够有效抵抗噪声和频偏的影响。     

基于混合蒙特卡罗算法的网络隐式节点监测方法研究

为了提高动态分簇传感网络的节点转发能力,提出了一种基于混合蒙特卡罗算法的网络隐式节点监测方法.首先,采用分布式均衡控制方法进行网络节点优化设计,构建动态分簇传感网络的输出信道模型.其次,利用自适应链路转发协议进行网络的路由探测设计,构建动态分簇传感网络的隐式节点路由均衡控制模型,提取隐式节点输出信息的关联特征量.最后,利用混合蒙特卡罗算法进行特征检测和信息提取,根据网络隐式节点的特征规律性分布对网络隐式节点信息进行监测.仿真结果表明,本文方法对网络隐式节点具有较好的监测效果,对网络隐式节点监测的最高丢包率仅为0.05,显著低于蚁群算法(0.29)与PEAS算法(0.48).     

基于混合BP神经网络的原油管道电耗预测研究

原油管道电耗的准确预测能够用于控制原油管道耗能水平,充分挖掘原油管道输送系统的节能潜力。实际采集到的原油管道运行数据具有波动范围大的特点,且存在严重的噪声干扰和信息冗余,对精确预测管道电耗造成不良影响。为解决上述问题,提出一种基于混合神经网络的电耗预测模型。利用自适应噪声的完备集成经验模态分解,对原油管道日运行数据进行分解;利用主成分分析对分解后数据做降维处理;利用改进粒子群算法调节神经网络结构参数;使用该模型预测某原油管道电耗,并与常见的几种预测模型展开对比。结果表明,分解算法能够提高模型预测精度;该混合神经网络模型预测精度最高,其测试集的平均绝对误差为5.394%,较使用分解算法前降低39.200%。     

基于混合神经网络的风机性能监测模型

针对传统的RBF神经网络泛化能力差的缺点,利用RBF神经网络强大的非线性逼近能力和数学模型良好的外推能力,提出了一种将传统的RBF神经网络和用偏最小二乘法建立的通风机性能数学模型相结合的混合神经网络模型,并将该模型用于通风机的重要性能参数——流量的监测上。以实验室4-73No.8D离心风机为研究对象,用不同导流器开度下的实验数据进行拟合,研究结果表明,混合神经网络模型的泛化能力强,精度高,各项模型评价参数均优于传统的RBF神经网络模型。     

基于耦合人工神经网络的工业材料选择与决策方法研究

为了实现工业材料的快速选择和决策,提出利用以往工业产品设计方案实例来训练神经网络.通过目标产品的编码信息和索引模式实现知识推理,从而获得所需的信息.文中首先研究了工业材料选择与决策方法的耦合神经体系结构,通过ART1网络的学习规则和工作规则,解决工业材料的选择和决策问题,并给出了ART1神经网络模式的链式32位二进制工业材料编码方法.通过实例推理、神经元网络、面向对象等技术,使得基于耦合神经网络的工业材料和决策系统能够有效地实现产品的方案设计,达到了预期目的.     

城市道路混合路由算法研究

针对城市道路中车辆密度突变而导致车联网系统的信息冗余和数据丢失等问题,提出了一种基于贪婪转发（GPSR）和距离矢量转发（AODV）的自适应限制性混合路由算法（ARHP）,以适应网络环境的高速变化。ARHP将通信网络分为贪婪转发、贪婪-距离矢量转发、距离矢量转发3种模式。通过对有效节点密度和网络状态进行实时评估,可实现转发模式间的切换;通过考察链路质量和端到端的时延性能择优选取邻域节点。采用交通模拟器和离散事件模拟器比较ARHP、AODV和GPSR在改变节点密度或车辆速度时的性能表现,结果表明ARHP在数据包的投递率和端到端的时延性能等方面均优于AODV和GPSR。