面向跨模态检索的音频数据库内容匹配方法研究

跨模态检索旨在通过以某一模态的数据为查询词，使人们能够得到与之相关的其他不同模态数据的检索结果的新型检索方法，这已成为多媒体和信息检索领域中一个有趣的研究问题。但是，目前大多数的研究成果集中于文本到图像、文本到视频以及歌词到音频等跨模态相关任务上，而关于如何为特定的视频通过跨模态检索得到合适的音乐这一跨模态的相关研究却很有限。此外，大多现有的关于视频和音频跨模态的研究依赖于元数据（例如关键字，标签或描述）。本文介绍了一种基于音频和视频这两种模态数据内容的跨模态检索的方法，该方法以新型的双流处理网络为框架，并通过神经网络学习两模态数据在公共子空间的特征表达，以计算音频和视频数据之间的相似度。本文所提出的方法的创新点主要在以下三个方面:1）在原有的提取各模态特征的模型基础上引入注意力机制，以此得到了视频和音频的特征选择模型，并筛选出相应的特征表达。2）使用了样本挖掘机制，剔除了无效样本，使得数据的训练更加高效。3）从计算模态间相似性和保持模态内结构不变两方面出发，设计了相应的损失函数进行模型的训练。且所提出的模型在VEGAS数据集和自建数据集上都取得了较高的准确度。      

基于多尺度融合和投影匹配约束的跨模态哈希方法

大多数基于深度学习的跨模态哈希方法直接通过神经网络学习不同模态数据的统一哈希码。这些方法忽略了单模态数据不同尺度包含不同语义信息这一影响数据特征表示的因素以及低维特征在弥合模态鸿沟上的重要性。基于上述问题,提出一种基于多尺度融合和投影匹配约束的跨模态哈希方法（MFPMC）。通过设计图像多尺度融合网络和文本多尺度融合网络来获取不同模态数据的低维特征,引入低维特征投影匹配约束和对抗训练来保证低维特征在模态间分布的一致性,同时用包含丰富语义信息的低维特征作为哈希函数的输入,进一步构建模态内哈希码损失、模态间哈希码损失、量化损失、标签嵌入损失来约束哈希函数及哈希码的学习,以此保证生成具有判别性的离散二进制哈希码。在MIRFlickr-25K和NUS-WIDE两个基准的跨模态检索数据集上的实验表明：所提方法比现有的几种哈希方法具有更好的检索性能。     

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注。然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性。为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方法。该方法设计了一种特征金字塔融合表征网络,通过在多个层次和不同尺度上进行特征提取并融合,挖掘多个层次上不同尺度下模态特征的语义相关性,充分利用模态特有的特征,使网络输出的语义表征更具有代表性。最后设计了三重损失函数:模态间损失,模态内损失和汉明空间损失对模型进行训练学习。实验结果表明,本文所提方法在MIRFLICKR-25K和NUS-WIDE数据集上均获得了良好的跨模态检索效果。      

半配对的多模态询问哈希方法

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence, NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。     

基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法

面向构建24小时全时段视频监控系统的需要，基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而，目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征，但ImageNet与跨模态行人数据模态差异较大，且预训练过程中将颜色信息作为判别特征之一，导致预训练中学习到的共性特征并不适用于无色彩红外图像的信息表示.本文提出了一种基于灾难性遗忘及组合叠加擦除的自监督跨模态行人重识别预训练方法，首先利用提出的灾难性遗忘评分来对预训练数据进行筛选，旨在减小预训练数据与后续任务数据存在的域间差距，进一步减少模型训练时间.其次，针对传统跨模态识别中的关键区分性特征提取，本文设计了一种强通道数据增强策略，通过对R、G、B三通道的通道级擦除与组合，生成了颜色迥异的多类型样本，有利于促使模型关注于纹理信息而非颜色信息.最后基于本文提出的跨模态数据筛选指标以及通道增强策略，构建了跨模态任务的自监督学习框架.实验结果表明，本文提出的预训练方法所训练的ResNet50网络在迁移到众多跨模态行人重识别方法时优于目前主流自监督预训练方法，其中在经典方法 AGW的...     

浅谈扩频通信技术

扩频通信技术是一种信息传输方式,其信号所占有的频带宽度远大于所传信息必需的最小宽带;频带的扩展是通过一个独立的码序列来完成,用编码及调制的方法来实现的,与所传信息数据无关;在接收端则用同样的码进行相关同步接收、解扩及恢复所传信息数据。扩展频谱通信(Spread Spectrum Communication),它与光纤通信、卫星通信,一同被誉为进入信息时代的三大高技术通信传输方式。     

跨模态身份不一致的交叉分类素描行人重识别

素描行人重识别旨在从可见光行人图像库中查找与给定素描行人图像身份相同的图像。虽然已经有较多的跨模态检索算法可以应用于该类问题，但这些算法的背景设定较为单一，没有考虑到训练集中部分身份的行人仅有一个模态样本，即跨模态身份不一致，这极大限制了算法在实际场景下的应用。为此，提出了基于交叉分类的素描行人重识别网络。该网络包括交叉分类和基于距离的身份信息对齐两部分。其中，交叉分类利用单一模态数据训练的分类器引导编码器从另一模态提取到模态不变的信息。而基于距离的身份信息对齐能够将同身份不同模态间的特征距离减小，同时抑制跨模态身份不一致的影响，进而强化了特征的判别性和鲁棒性。为验证跨模态身份不一致时模型的性能表现，基于Matket-1501数据集生成了新的素描行人重识别数据集S-Market1501，并在该数据集上将Rank-1指标提升了11.0个百分点。同时模型在公开数据集Sketch Re-ID上Rank-1指标达到了60%，所设计的数据集将开源在“https：//github. com/huangdaichui/Sketch＿dataset”。     

扩展频谱通信的应用与动向

一、引言从本世纪50年代起,扩展频谱通信就已成为国防通信的一个研究课题。扩展频谱通信在传输信息时所用的信号带宽比传送此信息所需的最小带宽要宽得多;展宽频带是通过独立于传输数据的码来完成的,接收端用同步的码来解扩,恢复数据。调频、脉码调制不属于扩频通信。     

基于多模态数据分析的典型智能化军事应用

随着计算机网络与信息通信技术的发展,数据积累爆炸式增长,并越来越呈现出多源异构的特点,基于不同模态下数据的检索与融合分析成为了近年来的研究热点.通过介绍多模态数据分析的特点与技术要点,并结合军事领域需求牵引,研究提出多模态数据分析在军事智能化发展中的典型应用构想.     

试论加密技术在保密通信中的运用

保密通信是指将发射端的信息进行混沌映射处理,经过传输后在接收端进行还原处理.采取保密通信的主要目的是防止重要信息丢失.加密技术是保密通信实施的基础,为了确保通信安全,本文分析了加密技术在保密通信中的具体应用.     

FSK-FMCW雷达通信一体化信号设计与处理方法研究

在未来的智能交通系统中,车载雷达通信一体化信号可使智能车辆同时完成雷达探测和通信信息传输功能,然而现有的基于调频连续波（Frequency Modulated Continuous Wave,FMCW）的车载雷达通信一体化信号的通信数据率较低,难以满足未来智能交通的需求。为了提高雷达通信一体化系统的通信数据率,本文提出了一种频移键控（Frequency-Shift Keying,FSK）FMCW雷达通信一体化信号设计方法,该方法通过在每个线性调频（Linear Frequency Modulation,LFM）信号上调制多个通信符号,以提高一体化信号的通信数据率。此外,在雷达接收端,将差拍处理和二维快速傅里叶变换（Fast Fourier Transformation,FFT）相结合,对接收到的目标回波进行处理,以获取目标的距离与速度估计。在通信接收端,通过差拍和一维FFT处理,对接收到的FSK-FMCW雷达通信一体化信号进行通信信息解调。最后,通过仿真实验验证了所提方法的有效性。     

扩频通信技术的特点及其应用

扩展频谱通信技术是一种将信息的带宽扩展很多倍进行通信的技术。它所发射的信号带宽远大于信息信号必需的最小带宽。频带的展宽是通过编码及调制的方法来实现的,与所传信息数据无关;在接收端则用相同的扩频码进行相关的解调来解扩及恢复所传信息数据。 无线电频谱是十分宝贵的资源。长期以来,人们总是想方设法使信号所占频谱尽量窄,以使无线电频率资源能够得到充分利用。根据国际电联的建议,我国在有关标准中规定,移动通信的频道间隔为２５ｋＨｚ。而扩频通信信号带宽与信息带宽之比通常是 １００～ １０００。 一、扩频通信的实现方…     

基于限幅特性非线性三阶自治电路的混沌遮掩保密通信

设计了一种限幅特性非线性三阶自治混沌保密通信电路系统.该系统利用串联同步三阶自治混沌电路进行信号混沌遮掩保密通信.有用信号隐藏在混沌参数中,混沌复合信号作为传送信号,在发送端和接收端之间传送.利用接收端响应系统与发送端驱动系统达到同步,可无失真地将有用信息信号检出.该方法设计简单,易于实现,并且同步速度快,实现了高质量的信息保密传送,具有很好的可行性.     

基于显著特征增强的跨模态视频片段检索

随着视频获取设备和技术的不断发展,视频数量增长快速,在海量视频中精准查找目标视频片段是具有挑战的任务。跨模态视频片段检索旨在根据输入一段查询文本,模型能够从视频库中找出符合描述的视频片段。现有的研究工作多是关注文本与候选视频片段的匹配,忽略了视频上下文的“语境”信息,在视频理解时,存在对特征关系表达不足的问题。针对此,该文提出一种基于显著特征增强的跨模态视频片段检索方法,通过构建时间相邻网络学习视频的上下文信息,然后使用轻量化残差通道注意力突出视频片段的显著特征,提升神经网络对视频语义的理解能力。在公开的数据集TACoS和ActivityNet Captions的实验结果表明,该文所提方法能更好地完成视频片段检索任务,比主流的基于匹配的方法和基于视频-文本特征关系的方法取得了更好的表现。     

浏览器跨域通信安全技术研究

浏览器作为互联网的重要入口,处理服务器返回的超文本信息和各种多媒体数据。这些数据信息可能来自不同的Web系统,其间,数据通信的处理方式随着时间推移和技术的发展也在不断发展变化。不同类别浏览器、不同测试环境、不同脚本语言下,其表现结果也有所不同。首先对浏览器同源策略的基本原理和跨域技术特点进行综述,然后总结归纳了主流跨域通信的技术实现方法,最后针对主流跨域通信的方法进行了安全分析。通过跨域通信来解决资源共享,身份认证,数据交换等安全的现实问题。     

利用边信息实现数据隐藏通信的编解码技术研究

通过对信息隐藏的混合信源进行条件分割,并建立一种图像系数的局部与全局之间马尔可夫数据链结构,提出了一种稳健的数据隐藏编解码实现方法.该方法在分析信源编码的统计基础上,通过研究CDMA结构性码本的设计条件,在接收端利用边信息辅助解码,达到了在攻击信道条件下,适应于高低WNR环境的数据隐藏通信模式.实验结果表明,应用SCS和QIM(DC-DM)以及SS技术,该方法在信息嵌入量、传输码率和信道容量之间都具有很好的折中性能.     

高通量卫星网络动中通用户站越区切换技术

针对高通量卫星多点波束组网下动中通站型跨波束、跨信关站以及跨星切换中存在的影响通信质量的问题,研究了可行的切换实现方案,提升了用户使用时的质量.在动中通应用场景中,用户站基于地理位置信息发起越区切换,介绍了越区切换解决方案,采用了信关站结合信号质量和目的波束资源分配情况进行切换控制的方法,对切换过程中的通信质量保障技术...     

哈里斯推出扩频点对点数字微波

甚么是扩频技术?扩展频谱通信是一种先进的信息传输技术，它是将有用的数据信息用一组伪随机码(PN码)序列进行调制，从而将其频谱扩展后再进行传输。其信号占用带宽远大于所需的晟小带宽，因而发射到空间的无线电功率密度也大大降低。在接收端则用相同的编码(PN码)进行相关解调来解扩即可恢复出所传输的数据信息。     

m序列及其在通信中的应用

介绍了m序列的本原多项式、产生方法及m序列在通信中的应用.m序列的自相关性较好,具有伪随机性,容易产生和复制.主要应用于通信领域中的扩频和加密.频谱的展宽是通过将待传送的信息数据被高速率的伪随机序列(也称扩频序列)调制来实现的,在接收端采用相同的扩频码进行解扩.加密则是利用m序列使信号在携带原始信息的同时具有伪噪声的特点,以达到在信号传输的过程中隐藏信息的目的.     

盲速率判决技术在OFDM系统中的应用

该文借助CDMA系统中的盲速率判决技术解决交织与相位旋转(IPR-OFDM)( IPR:Interleaving and Phase Rotation),系统中接收端恢复交织序号,对接收信号进行检测的问题。IPR-OFDM系统在发送端使用了V 个交织器,接收端为了恢复数据需要知道发送端使用的交织器序号进行解交织。一种解决方法是发送辅助信息(SI:Side Information),这需要占用信道容量;该文借助于CDMA系统中速率判决的思想提出一种在接收端进行盲判的方法,它通过检测CRC(循环冗余校验码)和反转误码率(SER)信息等来获得所需要的交织序号,这种方法相对于前者提高了信道利用率。