面向6G网络的基于语义通信的端到端服务框架

未来的6G网络需支持更高的通信效率和高效的智能连接。基于AI的语义通信以传递用户意图及语义信息为目标，有望成为6G网络“内生智能”架构的技术支撑。然而，现有的语义通信框架忽略所提取的语义特征中的冗余信息。为研究高效的语义通信，提出基于语义通信的端到端服务框架，该框架将语义通信与AI的语义分析能力深度融合，可对语义特征进一步压缩后再传输，并保证AI服务质量。仿真分析表明，相比传统通信方案，所提方案在目标检测任务和图像重建均取得更优的性能，且取得与全语义特征传输方案相近的性能。     

基于联邦学习的多用户语义通信系统部署方法

语义通信是一种有发展潜力的新型通信技术,通过挖掘信源中的语义信息从而减少传输所需要的数据量。语义通信通常采用深度学习的方式建立编解码模型,在收发端共享模型参数的前提下实现端到端的数据传输,但在实际场景中,由于多用户的存在,端到端的传输具有局限性,语义通信系统的部署有更多需要考虑的问题。为了使语义通信能应用于多用户的场景,本文提出了语义通信系统模型的联邦学习部署方式,利用用户端的数据对深度学习模型进行更为有效的训练。从而在不直接使用用户数据的前提下,使模型学习到用户数据的特征,实现了多用户场景下语义通信系统的部署。仿真结果表明,通过联邦学习训练得到的模型可以达到接近于集中训练的效果,并且保护了用户隐私。     

基于AI辅助的可扩展视频语义通信系统

语义通信作为一种面向多智能体交互的新型通信范式，对未来通信实现高效传输提供了新的解决方法。由此，提出了一个AI辅助的可扩展视频语义通信系统。该系统能够基于现有的信源信道分离编码方案（如传统的高效视频编码HEVC与低密度奇偶校验编码LDPC），与AI辅助的可学习语义编解码器相结合，实现视频流与语义流的共同传输。其中可学习的语义数据流是视频帧中针对特定任务提取的语义信息，能够较好地提升接收端精确重建与下游任务的性能。实验证明，该视频语义通信框架相较于传统通信，在重建任务性能相差无几的情况下具有更好的下游任务表现；而相较于现有的端到端的基于深度学习的语义通信系统，性能相近的同时能够基于多种传统视频编解码标准进行扩展设计，具有与传统压缩方案更强的耦合性与适应更多场景的能力。     

语义通信性能评估体系及指标

鉴于语义通信系统缺乏统一的、具泛化价值的性能评估体系，对现有研究中评估方法的使用情况与不足进行分析，并提出语义通信效率指标Esc和语义通信效用指标Usc。其中，指标Esc用于衡量通信系统在给定通信资源下单位时间开销内的任务完成准确性，指标Usc用于衡量通信系统在给定通信资源下与任务性能上限的接近程度。与现有评估指标相比，这两种指标具有更好的泛用性，可为不同任务场景、模态信息下的语义通信模型横向性能对比提供指导。此外，以语义图像重建与语音重建任务为例，分别搭建端到端语义通信仿真模型，并基于所提Esc与Usc指标对仿真模型性能进行评估。     

高效融合全局和局部上下文特征的语义通信系统

采用基于深度学习的端到端一体化设计方法,提出了一种基于扩展上下文语义特征的通信系统。区别于已有研究中只关注局部上下文而忽视全局上下文的问题,所提系统有机地融合了局部和全局上下文知识,利用扩展上下文知识进行语义编码和语义译码,提升了语义通信系统的可靠性。在发送端,采用基于扩展上下文的语义编码,实现高效的语义表征。在接收端,结合历史通信文本挖掘机制、上下文语义特征学习机制和基于启发式图搜索的译码策略,提升语义推理的准确性。与现有语义通信系统仿真对比结果表明,相较于传统通信系统和现有语义通信系统,所提系统在低信噪比下显著提升了通信系统的可靠性。     

基于依存句法分析的分层语义通信系统

语义通信是一种全新的通信范式,可以从语义级别提高通信的可靠性,解决通信带宽与频谱资源受限的问题。针对语义通信中语义重要性划分这一问题,本文提出了一种基于依存句法分析的分层语义通信系统。首先,为了获取传输语句内部的依存句法关系,本文设计了一种基于图解码的依存句法分析模型,用于提取传输语句对应的依存句法树。其次,本文根据提取到的依存句法树提出了一种语义分层方法,并根据信道质量对不同层级的语义信息进行选择传输,从而保证关键语义的准确传递。此外,本文还引入了ERNIE语言模型,结合依存句法关系提高接收端的语义恢复能力。仿真结果表明：本文提出的语义分层方法可以有效提取传输语句的关键语义信息。与传统通信系统相比,本文所提系统显著提升了在低信噪比下的通信可靠性。     

基于感算通融合的语义认知通信网络

语义通信作为一种旨在传递用户意图和语义信息的全新通信范式，有望成为6G时代构建万物智联网络的创新性解决方案。然而，在实际的部署中，由于语义的多意性、个性化和异构性等特点，语义认知、解析和通信等方面仍面临着业务类型多样且异构、用户性格与习惯各异和需求随机等难题。为此，提出了一种基于感算通融合的语义认知通信网络，旨在通过语义感知、计算和通信多功能的深度融合、协作互惠，实现高效可靠的语义信息传输。初步试验结果显示，相比于传统通信网络，本文所提方案有望在提升网络语义通信效率的同时，还大幅降低了系统的资源占用率。     

面向6G的深度图像语义通信模型

目前的语义通信模型在处理图像数据方面仍有可改善的部分，包括有效的图像语义编解码、高效的语义模型训练和精准的图像语义评估。为此，提出了一种深度图像语义通信（DeepISC）模型。首先采用基于vision transformer的自编码器（ViTA）网络实现高质量的图像语义编解码；接着采用自编码器实现信道编解码，保证语义在信道上的传输；然后利用判别器网络（DSN）和ViTA的双网络架构协同训练，提高重建图像的语义精度；最后针对不同的下游视觉任务提出不同的图像语义评估指标。仿真结果表明，相较于其他方案，DeepISC可以更有效地还原传输图像的语义特征，使重建图像在各个下游任务中都展现出与原图像相同或相近的语义结果。     

DCGAN信道下的端到端通信系统设计

针对通信系统中长序列建模存在维度诅咒的问题,提出了一种基于深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks, DCGAN)信道建模的端到端通信系统改进方案。该方案将卷积神经网络(Convolutional Neural Network, CNN)和条件生成对抗网络(Conditional Generative Adversarial Network, CGAN)结合,利用CNN与全连接层(Fully Connected Layer, FC)的局部连接特性对传输长序列的信道进行建模。通过对参数重新设计及网络结构调整,获得了适应不同调制方式和信道类型的学习网络,将其应用端到端通信系统中,作为收发机之间梯度反向传播的桥梁。仿真实验表明,改进的DCGAN能够以减小的网络规模以及计算量成功地实现长序列建模,并且表现出良好的泛化能力。此外,将建模结果运用到端到端通信系统设计中,可以获得与传统数字调制系统相近的误比特率性能。     

智简语义通信的链路设计及关键技术研究

智简语义通信是一种模型驱动的语义通信新范式，融合了人工智能与通信技术，实现通信对象间高效的语义交互。提出了智简语义通信系统的链路结构和关键技术，从链路结构、语义模型增强、模型传输3个角度，实现语义通信系统的整体性能增强。提出了4种智简语义通信的关键技术，为未来6G赋能多种垂直行业和新场景应用提供了参考：语义知识图谱增强的智简通信技术通过增加语义知识这一信息维度，提升了语义知识恢复准确度和传输效率；语义知识图谱的云-边-端协同预缓存技术可以实现语义知识图谱的高效获取，辅助语义恢复性能；模型传输与部署技术可以实现模型、网络资源与终端能力的有效适配；语义模型传输与恢复级联过程的部署成功率为大规模语义模型传输及资源部署提供理论依据。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

语音信源的语义编码传输方法研究

作为一种新兴的通信范式，语义通信在有效提升端到端传输性能方面展现出巨大的潜力。语音信源的语义编码传输研究方法分为两大类：基于信号波形的语音语义编码传输和生成式语音语义编码传输。在基于信号波形的语音语义编码传输中，现有方案的语义信息无法度量，编码效率低。基于非线性变换的语音语义信源编码方案通过对语音的语义特征进行变分建模，有效衡量语义特征内容复杂度，并引入信源信道联合编码，使语义编码传输更加高效可靠。针对生成式语音语义编码传输方法，分析了其优势、挑战，以及研究前景。     

基于语义重要度的不等错误保护数据传输机制

语义通信是一种智能、简约的通信新范式。从系统组成和理论基础两方面，对语义通信和传统通信进行对比，指出其关键区别在于背景知识的引入。将基于信源信道联合设计的语义通信（JSCC-SC）分为面向数据重建和面向任务执行两类，并对其网络架构进行比较。提出一种信源信道分离设计的语义通信系统。该系统通过训练好的神经网络识别数据的语义重要度，并基于语义重要度构造不等错误保护（UEP）传输机制。通过仿真实验证明了其能够提升重要数据的传输可靠性，即降低重要数据传输的误码率，在保持复杂性的同时，进一步提升无线通信的可靠性与有效性。     

一种适用多种空时编码方案的MIMO自编码器通信系统

为提升现有端到端通信系统的适应性与信道估计的准确性,提出了一种适用于多种空时编码方案的多输入多输出(Multiple-Input Multiple-Output,MIMO)自编码器通信系统.该系统将基于卷积神经网络的自编码器引入到MIMO系统中,并结合信道估计网络实现信道均衡,通过端到端的学习方式实现各种空时编码方案下...     

面向语义感知通信网络的多维资源优化

语义通信的目的在于传输信源数据中的语义信息，通过语义提取和压缩可大幅减少网络中需要传输的数据量，降低带宽消耗和传输时延，同时在提高传输可靠性上展现出了巨大潜力。传统通信中资源分配方案都是以优化比特传输速率而设计的，并不适用于聚焦语义信息传输的语义通信网络。为利用语义通信系统优势，需要从语义层面考虑资源分配方案的设计，以进一步提高信息传输效率。首先梳理并总结了目前语义感知通信网络中资源分配技术的研究进展，然后通过分析语义感知资源分配面临的挑战，提出了一种基于任务卸载的多维资源联合优化架构，最后以面向文本的语义任务为例，给出了两种语义感知资源分配方案，通过仿真证明了方案的有效性。     

基于卷积神经网络自编码器结构的空时分组传输方案

为提高现有端到端通信系统的泛化能力和可靠性,提出了一种基于卷积神经网络的空时分组码（Space-Time Block Coding,STBC）多输入多输出通信系统物理层方案。该方案将通信系统物理层表述、调制和解调过程联合起来形成端到端自编码器系统,引入多层一维卷积层,分别构建发射机和接收机,并扩展为多天线模式。为进一步提高系统可靠性,合理规划网络结构和参数,联合信号的调制和编码方案,优化了系统模型。仿真实验表明,针对瑞利相关衰落下多输入多输出（Multiple-Input Multiple-Output,MIMO）信道应用场景,训练模型可以实现传统STBC系统的误码性能,两发两收系统在发送端相关系数为0和0.9时分别优于传统系统0.5 dB和1 dB。此外,经过优化后的系统可获得采用卷积编码的性能改善效果,其两发两收不同工作方式优于传统1/2码率卷积编码STBC系统1~3 dB。     

面向语义信息直传的通信架构

随着聚焦提升带宽和频谱效率的传统通信发展模式渐入瓶颈，越来越多的研究将智能通信的目标从语法层转向语义层，通过感知并传输语义而非完整信号来节省带宽资源。信宿端智能体只需接收可理解语义中有信息部分即可。若能在信源端从语义角度中甄别出对信宿端有信息的部分加以传输，将进一步降低带宽资源和信宿端语义信息处理的时间和功耗。为此，首先探讨了智能体的语义信息处理和理解的过程，并将信宿从信息中感知到的语义划分为冗余语义、难以理解语义（暗语义）和有信息的语义（语信）；接着，提出了面向传输语义中有信息的部分的通信范式——语信通信，并将通信范式划分为语法、语义、语信、语用四层；最后，通过仿真实验验证了语信通信的可行性和有效性。这为下一代通信范式的发展提供了新思路和技术牵引。     

基于深度卷积神经网络的多元医学信号多级上下文自编码器

多元医学信号的典型代表有多模态睡眠图和多通道脑电图等，采用无监督深度学习表征多元医学信号是目前健康信息学领域中的一个研究热点。为了解决现有模型没有充分结合医学信号多元时序结构特点的问题，该文提出了一种无监督的多级上下文深度卷积自编码器(mCtx-CAE)。首先改进传统卷积神经网络结构，提出一种多元卷积自编码模块，以提取信号片段内的多元上下文特征；其次，提出采用语义学习技术对信号片段间的时序信息进行自编码，进一步提取时序上下文特征；最后通过共享特征表示设计目标函数，训练端到端的多级上下文自编码器。实验结果表明，该文所提模型在两种应用于不同医疗场景下的多模态和多通道数据集(UCD和CHB-MIT)上表现均优于其它无监督特征学习方法，能有效提高多元医学信号的融合特征表达能力，对提高临床时序数据的分析效率有着重要意义。     

可扩展分层次编译码的语义通信系统

针对目前文本语义通信大部分研究主要依靠仿真系统进行理论验证的问题，利用分层次编译码架构在语义层次和语法层次上的分离性，提出了一种可扩展分层次的语义通信系统。该系统通过语义和语法层次相分离的模式有效兼容香农信息框架下的可靠通信技术，实现语义通信与传统通信的嵌套结合。进一步，基于软件无线电平台搭建了一个通用可扩展的验证系统，对所提语义通信系统架构进行实用化验证。该验证系统以语义通信软件平台作为硬件驱动和算法调用的驱动核心，集成了信号产生、信息发送、接收端数据采集、译码和评估的全过程，并且能够面向语义和语法层次进一步扩展。最后，基于该验证系统进行了文本语义通信的测试，验证了其相较于传统通信方式具有更高的有效性和可靠性。     

基于RGBD技术面向刑事侦查的人脸识别系统

以RGBD三维人脸模型重建技术与三维人脸特征提取技术为基础，建立基于人脸识别的系统。系统由采集端和服务器端组成，采集端利用分布在各区域的电子眼以及匹配的深度相机获取原始图像信息，通过灰度化、二值化、中值滤波、成分分析等对原图像进行预处理和特征点提取，获得的人脸图像与服务器端图像对比；服务器端采用主从结构形式的MYSQL数据库，以磁盘阵列方式存储，以实现特征对比和信息传输，保证原始图像数据的安全性和可扩容性。