面向6G网络的基于语义通信的端到端服务框架

未来的6G网络需支持更高的通信效率和高效的智能连接。基于AI的语义通信以传递用户意图及语义信息为目标，有望成为6G网络“内生智能”架构的技术支撑。然而，现有的语义通信框架忽略所提取的语义特征中的冗余信息。为研究高效的语义通信，提出基于语义通信的端到端服务框架，该框架将语义通信与AI的语义分析能力深度融合，可对语义特征进一步压缩后再传输，并保证AI服务质量。仿真分析表明，相比传统通信方案，所提方案在目标检测任务和图像重建均取得更优的性能，且取得与全语义特征传输方案相近的性能。     

基于ADV212的远程图像采集系统设计

针对彩色高清图像远程网络传输带宽需求过大的问题,提出了基于ADV212图像压缩芯片结合FP-GA的压缩、传输解决方案。设计中以彩色高清Bayer格式CMOS作为图像传感器,使用ADV212实现对图像的快速高质量压缩,通过FPGA实现整个系统的控制逻辑,实现对ADV212的配置、驱动以及压缩前图像的分配和压缩后码流数据的打包处理。实验表明该系统可以保证接收图像具有较高的峰值信噪比,能够长期稳定地工作在36Mbyte/s的图像输入条件下,且该系统具有体积小、使用灵活方便、带宽占用低和压缩率可调等优点。     

基于AI辅助的可扩展视频语义通信系统

语义通信作为一种面向多智能体交互的新型通信范式，对未来通信实现高效传输提供了新的解决方法。由此，提出了一个AI辅助的可扩展视频语义通信系统。该系统能够基于现有的信源信道分离编码方案（如传统的高效视频编码HEVC与低密度奇偶校验编码LDPC），与AI辅助的可学习语义编解码器相结合，实现视频流与语义流的共同传输。其中可学习的语义数据流是视频帧中针对特定任务提取的语义信息，能够较好地提升接收端精确重建与下游任务的性能。实验证明，该视频语义通信框架相较于传统通信，在重建任务性能相差无几的情况下具有更好的下游任务表现；而相较于现有的端到端的基于深度学习的语义通信系统，性能相近的同时能够基于多种传统视频编解码标准进行扩展设计，具有与传统压缩方案更强的耦合性与适应更多场景的能力。     

一种基于无线传感网的图像传输系统

实现了在多障碍物环境下的无线传感器网络中的图像传输。传统的图像传输均采用有线的方式。随着无线通信技术的发展,它也被用来传输图像。但是这些最初的无线传输技术只能够点对点传输、对硬件要求高、成本昂贵。在无线传感器发展成熟后,我们考虑到无线传感器网络具有自组网、对硬件要求低、成本低廉等特点,采用了无线传感器网络来传输图像。在文中所描述的图像传输系统中,首先用摄像头对图像进行采集,再用无线传感器网络来对采集到的图像进行传输,最后通过网关及计算机终端对传输的图像进行接收。实验结果表明：该系统具有组网简单,不需要特殊的设备就能够在环境恶劣的场合（如矿井下）实现图像传输。     

一种适用于无线传感网图像节点单元的彩色图像压缩方法

针对无线传感器网络节点单元的特点,提出了一种适合这种节点单元的高效、低复杂度彩色有损压缩方法,对从图像传感器采集的原始BAYER彩色阵列图像数据进行低通滤波与降采样后,再把数据从RGB空间转换到YCbCr空间,最后利用JPEG算法对该数据进行压缩.试验结果表明该压缩方法与常规先插值后压缩方法以及类似先压缩后插值的压缩方法相比,在低码率条件下有更高的压缩性能和更低的实现复杂度.     

一种基于LBT的分布式图像压缩算法

无线多媒体传感器网络(WMSNs)中传感器节点采集的数据量非常大,在传输前需对大数据量的多媒体信息进行压缩处理,但是单节点能源受限,存储、处理能力相对较弱。针对无线多媒体传感器网络应用的高效、低耗能的需求这些问题,在图像压缩双正交重叠变换(LBT)的基础上,文中提出了一种基于此变换的分布式无线多媒体传感器网络图像压缩算法。即基于簇结构,把压缩任务分配给其他节点,通过多个节点相互协作,共同完成图像的压缩编码和传输。实验结果表明,在传感器节点散布不均且较为密集的情况下,该算法在高质量、低复杂度和低功耗等方面都有了很大的性能提高。     

野外WSN监测系统数据透明传输的实现

针对在野外环境监测中点多面广、环境恶劣等问题,研究ZigBee技术能够实现野外环境数据的无线传输。而以前的传感器网络不满足ZigBee协议的要求,不能通过ZigBee网络进行传输,这里介绍一种基于Z-Stack协议栈,在ZigBee网络中实现以CC2530终端数据低功耗串口透明传输的系统,该系统能够通过终端节点将采集到的数据无线透明传输到协调器节点上,从而实现数据的无线传输,并且该设计功耗低,适合野外长期使用。     

无线传感器网络中一种协同源定位算法

针对无线传感器网络传统目标定位过程中,数据在大量传感器节点间传输使得节点能量迅速耗尽,同时远距离低信噪比节点对定位精度的影响等问题。基于分区域协同工作的思想,提出了一种协同源定位算法。对该算法进行仿真试验,结果显示,该算法明显降低了网络能耗,且具有较高的定位精度和稳健性。     

基于信息瓶颈的信道自适应语义压缩编码方法

深度神经网络被广泛用于语义压缩编码，然而所生成的语义特征是否还有冗余信息和压缩空间等难以判断。针对此问题，首先基于信息瓶颈理论给出损失函数，接着引入信道自适应压缩模块构建系统模型，然后利用vCLUB互信息估计和变分近似方法推导损失函数上界，设计互信息估计网络等结构。实验结果表明，与基线方法相比，所提出的基于信息瓶颈的信道自适应语义压缩编码方法实现了更高的智能任务性能和更低的通信开销。     

IPTV端到端组播推送网络的关键配置技术

IPTV作为一种高带宽、高质量的新型互联网多媒体业务,对电信运营商的IP城域网提出了更高要求。组播技术与传统单播技术相比,在传输效率相当的基础上具有网络带宽不随用户数量线性增长的优点,可以有效地节约视频服务器和承载网络的负载。因此,电信运营商要高效且经济地部署和实现IPTV业务,建议采用端到端组播推送,且IP组播网络的配置是关键。     

基于依存句法分析的分层语义通信系统

语义通信是一种全新的通信范式,可以从语义级别提高通信的可靠性,解决通信带宽与频谱资源受限的问题。针对语义通信中语义重要性划分这一问题,本文提出了一种基于依存句法分析的分层语义通信系统。首先,为了获取传输语句内部的依存句法关系,本文设计了一种基于图解码的依存句法分析模型,用于提取传输语句对应的依存句法树。其次,本文根据提取到的依存句法树提出了一种语义分层方法,并根据信道质量对不同层级的语义信息进行选择传输,从而保证关键语义的准确传递。此外,本文还引入了ERNIE语言模型,结合依存句法关系提高接收端的语义恢复能力。仿真结果表明：本文提出的语义分层方法可以有效提取传输语句的关键语义信息。与传统通信系统相比,本文所提系统显著提升了在低信噪比下的通信可靠性。     

基于多通道GAN的图像去噪算法

针对图像采集和传输过程中所产生噪声导致后续图像处理能力下降的问题,提出基于生成对抗网络(GAN)的多通道图像去噪算法。所提算法将含噪彩色图像分离为RGB三通道,各通道基于具有相同架构的端到端可训练的GAN实现去噪。GAN生成网络基于U-net衍生网络以及残差块构建,从而可参考低级特征信息以有效提取深度特征进而避免丢失细节信息;判别网络则基于全卷积网络构造,因而可获得像素级分类从而提升判别精确性。此外,为改善去噪能力且尽可能保留图像细节信息,所构建去噪网络基于对抗损失、视觉感知损失和均方误差损失这3类损失度量构建复合损失函数。最后,利用算术平均方法融合三通道输出信息以获得最终去噪图像。实验结果表明,与主流算法相比,所提算法可有效去除图像噪声,且可较好地恢复原始图像细节。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

基于平方加权质心特征的快速分形图像压缩编码

分形图像压缩利用自身图像具有的相似性,结合压缩仿射变换减少图像数据的冗余来实现图像数据的压缩,具有压缩比高、恢复简单的特点。然而,分形图像压缩编码也具有编码时间长、计算复杂的缺点。为了解决上述的缺点,提出了基于平方加权质心特征的快速分形图像压缩编码算法,利用平方加权质心特征可以将基本分形图像压缩编码过程中的全局搜索转化为局部搜索,限定搜索范围,减少码本数量,在巨大图像信息量传输和存储过程中,在一定程度上缩短了编码时间。将平方加权质心特征快速分形图像压缩编码算法和双交叉和算法、改进叉迹算法、规范五点和算法进行比较,仿真结果表明,所提算法在恢复质量可接受情况下,编码时间具有巨大优势。     

兴趣区域优先的多尺度压缩感知渐进编码算法

针对面向目标探测识别的无线图像传输应用,为 了解决探测识别任务对图像质量的高要求和无线信道带宽约 束之间的冲突,提出一种感兴趣区域(ROI)优先的多尺度压缩 感知(CS)渐进编码算法。首先,选取多 尺度CS测量技术进行图像压缩,在相同压缩比情况下,可以保持更多的图像的细节 信息;其次,针对目标探测识别对 重构图像纹理、边缘信息完整保持的需求,选取基于小波的轮廓变换(WBCT) 作为CS的稀疏表示方法,可更多 地提取方向信息,从而可以较完整地保持边缘轮廓信息;最后,针对重构图像 ROI与背景区过度划分、ROI周边相关信息损失 过多的问题,给出ROI边界平滑处理的方法,可有效改善重构图像的主观视觉质量。 实验结果表明:在ROI压缩率高达 0.4的情况下,总的压缩率降至0.18,既保护 了ROI信息又显著提高了压缩比,基本满足目标探测识别任务的需求。     

A no-reference perceptual image quality assessment database for learned image codecs

The drastic growth of research in image compression, especially deep learning-based image compression techniques, poses new challenges to objective image quality assessment (IQA). Typical artifacts encountered in the emerging image codecs are significantly different from that produced by traditional block-based codecs, leading to inapplicability of the existing objective IQA algorithms. Towards advancing the development of objective IQA algorithms for recent compression artifacts, we built a learning-based compressed image quality assessment (LCIQA) database involving traditional block-based image codecs, hybrid neural network based image codecs, convolutional neural network based and generative adversarial network (GAN) based end-to-end optimized image coding approaches. Our study confirms the statistical difference and human perception difference between reconstructions of learned compression and traditional block-based compression. We propose a two-step deep learning model for learning-based compressed image quality assessment. Extensive experiments on LCIQA database demonstrate that our proposed model performs better than other counterparts on learning-based compressed images, especially on GAN compressed images, and achieves competitive performance to the state-of-the-art IQA metrics on traditional compressed images.     

基于纹元森林和显著性先验的弱监督图像语义分割方法

弱监督语义分割任务常利用训练集中全体图像的超像素及其相似度建立图模型,使用图像级别标记的监督关系进行约束求解。全局建模缺少单幅图像结构信息,同时此类参数方法受到复杂度限制,无法使用大规模的弱监督训练数据。针对以上问题,该文提出一种基于纹元森林和显著性先验的弱监督图像语义分割方法。算法使用弱监督数据和图像显著性训练随机森林分类器用于语义纹元森林特征(Semantic Texton Forest, STF)的提取。测试时,先将图像进行过分割,然后提取超像素语义纹元特征,利用朴素贝叶斯法进行超像素标记的概率估计,最后在条件随机场(CRF)框架下结合图像显著性信息定义了新的能量函数表达式,将图像的标注(labeling)问题转换为能量最小化问题求解。在MSRC-21类数据库上进行了验证,完成了语义分割任务。结果表明,在并未对整个训练集建立图模型的情况下,仅利用单幅图像的显著性信息也可以得到较好的分割结果,同时非参模型有利于规模数据分析。     

一种用于图像分类的语义增强线性编码方法

针对传统编码模型中存在的编码歧义性问题,该文提出一种考虑特征上下文的语义增强线性编码方法。首先,通过学习局部邻域中特征共生关系矩阵来表示上下文信息。然后,在编码过程中同时引入学习而得的上下文信息与特征上下文匹配权重得到语义增强编码模型。由于上下文信息与上下文匹配权重的功能,使得此编码方法不仅丰富了编码的语义信息,还能够有效避免噪声带来的影响。在3个基准数据集(Scene15, Caltech101以及 Caltech256)上充分的实验验证了该方法的有效性。     

Stable self-attention adversarial learning for semi-supervised semantic image segmentation

The application of adversarial learning for semi-supervised semantic image segmentation based on convolutional neural networks can effectively reduce the number of manually generated labels required in the training process. However, the convolution operator of the generator in the generative adversarial network (GAN) has a local receptive field, so that the long-range dependencies between different image regions can only be modeled after passing through multiple convolutional layers. The present work addresses this issue by introducing a self-attention mechanism in the generator of the GAN to effectively account for relationships between widely separated spatial regions of the input image with supervision based on pixel-level ground truth data. In addition, the adjustment of the discriminator has been demonstrated to affect the stability of GAN training performance. This is addressed by applying spectral normalization to the GAN discriminator during the training process. Our method has better performance than existing full/semi-supervised semantic image segmentation techniques.