基于聚合多尺度特征的图像轮廓增强超分辨率重建算法

为了提高超分辨率重构算法对图像边缘轮廓的修复能力,消除重构图像存在伪影的问题,提出一种基于聚合多尺度特征的图像轮廓增强超分辨重建生成对抗网络。将多尺度卷积与通道注意力机制相结合,使用一次性聚合多尺度特征结构,构建多级残差模块,让生成器网络能自适应地提取特征层中的潜在关键信息,同时完成不同特征层的信息融合。定义高斯滤波卷积核与不同方向的索贝尔卷积核,构建边缘损失函数,该损失函数能加强对图像边缘轮廓信息的修复;结合全变分损失函数,减少低分辨率图像噪声对重构图像的影响,进一步提高图像轮廓信息修复能力。为了提高判别器对不同特征的自适应学习能力,在判别器中使用自适应归一化层,增强网络的收敛能力。在Set5、Set14、BSD100数据集上进行图像重构,经实验结果表明,提出的算法使重构图像的轮廓进一步加强,整体视觉质量更好。同时所提算法与超分辨率生成对抗网络(SRGAN)对比,2倍超分辨重建图像的峰值信噪比平均提高了1.696dB,结构相似性指标平均提高了0.03;4倍超分辨重建图像的峰值信噪比平均提高了1.348dB,结构相似性指标平均提高了0.033。     

基于WGAN图片去模糊的绝缘子目标检测

针对不可抗力因素造成无人机航拍绝缘子图片模糊、绝缘子目标检测率较低的问题,提出了一种基于Wasserstein距离优化的生成式对抗网络(WGAN)图片去模糊的绝缘子目标检测方法。首先在WGAN训练过程中引入残差网络,使得生成的绝缘子图片更加清晰;其次在损失函数中引入Wasserstein距离以保证训练过程的稳定性;最后通过优化模型的训练过程,使得生成的绝缘子图片细节还原度更高。绝缘子图片去模糊化实验结果表明,所提方法在结构相似性与峰值信噪比等评价指标上均高于基于卷积神经网络与深度多尺度卷积神经网络等图像去模糊算法。另外,将利用所提方法生成的绝缘子图片与模糊绝缘子图片划分为3组,采用改进的基于区域建议的卷积神经网络目标检测算法分别进行目标检测实验,精确度均值分别提高了5.77%、6.73%与5.98%,有效提高了绝缘子的目标检测率。     

基于生成对抗网络的自动装卸目标物标注数据集生成方法

针对建立无人起重装卸目标检测深度学习标注数据耗时问题,设计了货物图像检测生成对抗网络,构成准确的含语义标注和关键点标注的数据集,该数据集可用于有监督深度学习语义分割模型的训练。通过融合StyleGAN与DatasetGAN的生成对抗网络,对实际应用中存在的语义特征变形问题进行改进,将生成器的样本归一化层进行修改,去除均值操作,修改噪声模块和样式控制因子的输入方式;对纹理特征单一的物体的空间位置编码能力弱的问题,将生成网络的常数输入替换为傅里叶特征,并提出一个融合非线性上下采样的模块;最后引入WGAN-GP对目标函数进行改进。应用实验生成标签数据集,使用Deeplab-V3作为评价网络,以DatasetGAN方法作为基线,在语义标签生成任务上,Deeplab-V3输出mIOU值提高14.83%,在关键点标签生成任务上,L2损失平均降低0.4×10^(-4),PCK值平均提高5.06%,验证了改进的生成对抗网络生成语义及关键点标注数据的可行性和先进性。     

融合边缘检测的遥感图像超分辨率重建算法

针对基于生成对抗网络的遥感图像超分辨率重建存在训练不稳定,参数冗余,图片纹理细节不够清晰等问题。提出一种融合边缘检测的遥感图像超分辨率重建算法。首先,在生成器网络中引入改进后的Canny边缘检测算子用于低分辨率图像特征提取,通过在Canny算子边缘提取流程中利用双边滤波和3×3邻域梯度以检测图像的边缘信息,使网络能够更好的表达高频特征;其次,为降低网络参数和提高网络训练的稳定性,去除判别器网络中冗余的BN层,同时将Wasserstein距离定义为对抗损失以解决生成对抗网络训练出现的梯度消失现象。在NWPU RESISC45数据集上,所提方法的峰值信噪比与结构相似性较WDSR和CARN算法分别提升了1.22 dB、0.114和0.32 dB、0.013,且重建后的图像相比较WDSR、CARN等其他SR算法在图像纹理细节和主观视觉效果方面也均有提升。     

基于AMI-CycleGAN的海洋垃圾图像增强算法

针对循环生成对抗网络(CycleGAN)的海洋垃圾图像增强存在色彩失真、轮廓模糊的问题，提出一种结合自适应空间特征融合的多输入循环生成对抗网络(AMI-CycleGAN)。首先，减少生成器U-Net的网络深度和跨层连接次数以减少参数量，借助平滑扩张卷积避免网格伪影，得到多尺度感受野信息；其次，引入自适应空间特征融合来解决因垃圾尺寸不一导致不同层特征图融合时的信息冲突，得到语义信息丰富的融合特征图，通过与色彩校正网络的增强特征图融合保留了原图像的色彩信息；最后，引入边缘差损失函数和内容感知损失函数丰富细节信息。在trash＿ICRA19上，与CycleGAN相比，其结构相似性值和峰值信噪比分别提升了27.52%和20.75%。与FUnIE-GAN相比，其参数量减少了79.36%,计算速度提高了12.50%。该算法改善了CycleGAN的色彩失真和轮廓模糊问题，且能达到实时检测标准。     

基于生成对抗网络的隔离开关分合位置判别方法研究及应用

针对隔离开关状态需要双确认的问题,提出一种基于深度卷积生成对抗网络(DCGAN)的开关状态图像识别方法。该方法首先建立对抗学习模型,提取隔离开关样本特征,确定初始参数值;然后基于识别误差率最小的目标函数,采用反向传播算法更新模型层间连接权值;最后通过网络逐层计算得到隔离开关分合位置判别结果。以某地区变电站内的隔离开关图像为例进行测试,结果表明该方法对大规模图像样本具有较高的辨识准确率。     

基于边缘注意力生成对抗网络的电力设备热成像超分辨率重建

红外光电技术帮助人类超越视觉障碍,直观的看到物体表面的温度分布状况,在电力系统的状态监测中有着越来越多的需求。但高分辨率热成像仪的研制材料与技术壁垒限制了电力系统在线监测的可视化应用。超分辨率重建在满足电力物联网需求的同时降低了成本。对于电力设备热成像超分辨率重建,该文构建了边缘注意力生成对抗网络(EAGAN),该网络在基于梯度惩罚的Wasserstein生成对抗网络(WGAN-GP)的基础上,对残差网络模块进行改进,添加了边缘注意力机制,提高了网络的学习能力,并在上采样结构中添加了1×1的卷积层,提高了网络的表征能力。实验结果表明,边缘注意力生成对抗网络提高了网络的性能,在图像的整体以及图像边缘属性的恢复上,峰值信噪比以及结构相似性指标均有显著提高,主观视觉效果更为良好,并在图像处理领域中有着较高的普适性,具有较高的工程实用价值。     

基于跨连接卷积神经网络的绝缘子检测方法

针对电力设备图像中绝缘子所占比例较小和容易漏检的问题,提出了基于跨连接卷积神经网络的绝缘子检测方法。首先,通过在区域建议网络将网络后三层的卷积层分别和全连接层连接,使得这三层的卷积特征同时送入分类层和回归层,从而得到一系列高质量的绝缘子候选区域;将得到的候选区域映射绝缘子检测子网络,通过将得到的感兴趣区域特征送入级联的Adaboost分类器,实现对绝缘子的检测。对所提出跨连接卷积神经网络生成的候选区域进行了评估,并对不同的绝缘子检测方法进行了对比实验。实验结果表明,该方法得到的候选区域召回率高且更集中于绝缘子所在位置,绝缘子检测准确率比常规方法高出10%。所提方法能较好地对复杂背景图像中不同大小的绝缘子进行有效识别和精确定位。     

燃气轮机深度卷积生成对抗故障样本生成研究

针对应用深度学习进行燃气轮机故障诊断时,因故障信号数据不易获取,使得正常运行样本多、故障样本少,影响故障 诊断准确率的问题,提出了一种采用深度卷积生成对抗学习对燃气轮机故障样本进行扩充的方法。 根据燃气轮机振动信号特 点,利用快速傅里叶变换、经验模态分解、解调预处理故障信号,提取故障频域特征并选取特征值指标,将振动信号转为二维灰 度图像,通过正交梯度惩罚算法训练深度卷积生成对抗故障样本生成模型。 实例结果表明,使用所提方法获得 CWRU 轴承数 据集生成样本测试准确率为 98. 01%;某型燃气轮机生成样本测试准确率为 97. 43%,同条件下均优于其他主流故障样本生成方 法,验证了所提故障样本生成方法的有效性和优越性。     

基于生成对抗网络的车载语音增强应用

语音增强对智能车载系统和未来汽车工业的发展具有重要意义,为了解决汽车行驶过程中驾驶员语音被噪声污染的问题,提出一种基于高效通道注意力机制的最小二乘生成对抗网络模型。首先在生成网络模型中引入注意力机制,自适应选择一维卷积核大小生成通道权重,在降低模型复杂度的同时带来了明显的性能增益;然后利用最小二乘损失函数来代替Sigmoid交叉熵损失函数,使收敛速度更快,避免出现梯度消失的问题;最后经过生成对抗网络对抗博弈不断优化训练,从而实现语音增强。实验表明,该方法相较基线方法在语音质量和清晰度方面都有良好的提升,语音质量感知评估(PESQ)指标平均提升了3.79%,短时客观可懂度(STOI)指标平均提升了4.76%,因此更适合实际应用。     

基于混合非凸性二阶全变分和重叠组稀疏的非盲图像去模糊算法

为了解决凸性全变分正则化模型会使重构结果出现非闭合轮廓和非齐整边缘等缺点,设计了混合非凸性全变分耦合重叠组稀疏的图像去模糊算法.重叠组稀疏正则化项很好地考虑了相邻元素之间相互交叉的关系,非凸性二阶lp范数正则化项较好保持了图像的边缘形状信息,同时将这两个正则约束项融入到全变分函数中,可以准确地恢复边缘结构特征以及消除平滑区的阶梯效应和振铃效应.最后,为实现非凸性高阶模型的优化求解,提出了变量分裂法,将该模型分离成4个子问题,然后借助重加权l1交替方向法来完成图像去模糊的计算.测试数据显示,相比当前图像复原技术,所提算法具备更为理想的去模糊效果,复原图像表现出更高的峰值信噪比和结构相似度,可以更有效地恢复出边缘形状信息和纹理细节.     

基于卷积神经网络的深度图像超分辨率重建方法

为了更有效地提高深度图像的分辨率,构建了一种更深层次的深度图像超分辨率重建的卷积神经网络。该网络直接将低分辨率深度图像作为网络的初始输入,通过卷积神经网络学习图像的高阶表示,获得更具有表达能力的深层特征,同时在网络的输出层引入亚像素卷积层,针对提取到的特征学习不同上采样滤波器,实现上采样放大操作。为了实现网络更好地收敛,在网络中加入了残差网络结构。在4个常用数据集上的实验结果表明,与其他先进方法相比,该方法网络收敛速度更快,并可以有效地保护图像的边缘结构,解决伪影问题,且在定性和定量两方面均取得了很好的重建效果。     

基于深度学习的脊椎CT图像分割

脊椎CT图像分割是脊椎三维重建可视化的关键。针对脊椎CT图像中脊椎边缘模糊,结构复杂,形状多变等问题,基于深度学习方法提出一种双解码器网络。该网络在编码解码网络U-Net结构基础上增加了一条结构相同的并行解码分支,两个解码分支可以互补地提取图像特征。并且,在编码与解码之间加入双重特征融合模块,解决网络在下采样和上采样过程中造成的语义信息丢失问题。同时用密连混合卷积模块代替原始卷积模块,提高网络对多尺度特征的提取能力。此外加入高效注意力模块,使网络在空间上注重学习感兴趣区域,在通道上抑制无关信息。在CSI2014公开数据集上进行测试,Dice系数达到0.970,Jaccard系数达到0.945,召回率达到0.962。实验结果表明,该网络能够提高脊椎分割精度,具有较好的泛化能力,可以满足临床脊椎CT图像分割需求。     

基于改进YOLOv5的输电线路绝缘子 识别方法

针对输电线路绝缘子识别准确率低、识别花费时间长的问题,提出一种改进的YOLOv5绝缘子识别方法。首先,通过引入超分辨率卷积网络提升数据集中图像样本质量;其次,通过引入k3-Ghost结构替换原始网络BCSP模块中的普通卷积,减少模型主干网络参数量,在主干网络尾部引入SENet注意力模块,加强模型对于通道信息的关注提升目标检测性能;在颈部网络引入DC-BiFPN结构替换原始结构,对不同尺度特征赋予不同权重以使多尺度特征进行更好的融合,提升绝缘子识别效果。最后,使用CIOU作为回归损失函数,加快网络收敛速度。实验结果表明：本文提出的方法在保证绝缘子识别准确率的同时拥有更高的识别速度,检测准确率达到89.5%,检测速度达到35.7FPS,验证了改进方法的有效性。     

基于二阶梯度的暗通道先验盲图像去模糊

盲图像去模糊的目的是通过迭代在模糊核未知的情况下，从模糊图像中恢复出清晰图像。当真实图像具有较少的暗像素时，暗通道先验算法不能产生令人满意的结果。实验中发现，二阶梯度(海森矩阵)中元素的绝对值随着图像逐渐模糊而减小。利用这一特点，提出一种基于L1正则化二阶梯度的暗通道先验盲图像去模糊算法模型。首先，展示了算法相关的理论证明，通过实验说明海森矩阵在保留边缘细节以及图像细节方面的可行性，其次在暗通道去模糊模型的基础上，引入二阶梯度项并施以L1范数约束。然后采用半二次分裂策略来解决该非凸优化问题，最后，使用快速傅里叶变换求得最终的清晰图像和模糊核。实验结果表明，该算法能够在抑制噪声的同时很好地保护图像的边缘细节和消除振铃伪影，并且在合成图像和自然图像上都比现有的图像去模糊方法鲁棒性更强，并且性能良好。在自然图像数据集中SSIM值平均提高了10%以上。     

基于RL和总变分的非盲模糊图像复原算法

基于模糊退化过程的空不变卷积模型,依据跳跃边缘的不连续性在总变分最小化过程中的指导性作用,提出一种在已知模糊核情况下,基于Richardson-Lucy和总变分(Total Variation)正则化的两步非盲模糊图像复原方法.Richardson-Lucy算法得到清晰边缘的初始估计,然后以边缘的不连续性指导总变分能量...     

融合边缘监督的改进 Deeplabv3+水下鱼类分割方法

水下环境鱼类分割是实现体长测量、体重估算和群体计数等智能化测量的关键技术,为了提高分割的准确性,提出一种 融合边缘监督的改进 Deeplabv3+鱼类分割方法。 编码部分采用更少的下采样次数,浅层增加卷积块注意力机制( convolutional block attention module,CBAM),以减少信息丢失并增强浅层语义信息;通过设计混合膨胀卷积( hybrid dilated convolution,HDC) 改进空洞空间卷积池化金字塔(atrous spatial pyramid pooling,ASPP)模块,提取深层特征;在解码输出部分结合 Canny 边缘检测 算子引入边缘监督,通过边缘损失函数来获得边缘预测和边缘标签的误差以更好地学习边缘特征;最后根据不同类像素比率引 入优化的损失函数,进一步提升模型的语义分割性能。 该方法在 VOC2012 数据集上 mIoU 达到 84. 56%,较 Deeplabv3+方法提 升了 3. 27%,验证了其泛化能力。 在 DeepFish 数据集上做消融实验,mIoU 高达 93. 66%,均高于 Deeplabv3+、Unet 和 PSPNet 等 常见方法。 该研究提升了水下环境鱼类分割的精度,可为水产养殖智能化提供支持。     

改进的双阶段生成对抗数字壁画修复算法

数字壁画修复是计算机视觉在图像修复领域的一个重要应用。为解决修复过程中存在的模糊、结构紊乱、细节丢失等问题，提出了改进的双阶段生成对抗数字壁画修复模型。首先在第1阶段生成器中设计了特征优化融合策略，将编码器中不同尺度的特征进行优化并在解码器部分按比例融合，减少卷积过程中特征信息的丢失；然后在第2阶段生成器中用空洞残差模块代替空洞卷积，将小膨胀率的空洞卷积与残差模块结合，增大感受野的同时减少空洞的累积，有效缓解了修复产生的网格伪影现象。实验结果表明：与其他几种修复算法相比，该方法在敦煌壁画数据集上的视觉效果和客观指标均有明显优势，其中峰值信噪比平均提升了3～5 dB,结构相似度平均提升了2%～6%。     

Research on Fall Detection Based on Improved Human Posture Estimation Algorithm

According to recent research statistics, approximately 30% of people who experienced falls are over the age of 65. Therefore, it is meaningful research to detect it in time and take appropriate measures when falling behavior occurs. In this paper, a fall detection model based on improved human posture estimation algorithm is proposed. The improved human posture estimation algorithm is implemented on the basis of Openpose. An improved strategy based on depthwise separable convolution combined with HDC structure is proposed. The depthwise separable convolution is used to replace the convolution neural network structure, which makes the network lightweight and reduces the re-dundant layer in the network. At the same time, in order to ensure that the image features are not lost and ensure the accuracy of detecting human joint points, HDC structure is introduced. Experiments show that the improved algorithm with HDC structure has higher accuracy in joint point detection. Then, human posture estimation is applied to fall detection research, and fall event modeling is carried out through fall feature extraction. The designed convolution neural network model is used to classify and distinguish falls. The experimental results show that our method achieves 98.53%, 97.71% and 97.20% accuracy on three public fall detection data sets. Compared with the experimental results of other methods on the same data set, the model designed in this paper has a certain improvement in system accuracy. The sensitivity is also improved, which will reduce the error detection probability of the system. In addition, this paper also verifies the real-time performance of the model. Even if researchers are experimenting with low-level hardware, it can ensure a certain detection speed without too much delay.     

基于改进 YOLOX 的电铲铲齿断裂检测方法

电铲是露天采矿中广泛使用的一种大型机械挖掘设备。 在挖掘过程中,铲齿与矿石长时间的直接冲击会造成铲齿过早 的松动甚至断裂,从而导致电铲计划外的停机和生产力的损失。 针对这个问题,提出了一种基于改进 YOLOX 的电铲铲齿断裂 检测方法。 该方法以 YOLOX 为基础,首先针对受光照不均匀等影响导致检测效果差的问题,在特征金字塔网络加入扩张卷积 注意力机制增强目标在复杂背景中的显著度;其次使用 CEIOU(corner efficient intersection over union)损失函数代替原网络损失 函数优化网络的训练过程,进而提高目标的检测精度;最后考虑嵌入式设备本身的计算能力问题,利用模型压缩策略裁剪网络 中冗余通道,减少模型体积并提高检测速度。 在自主构建的 4 200 张 WK-10 型电铲数据集上进行性能测试,实验结果表明:与 YOLOX 网络模型相比,改进后模型的平均检测精度达到了 95. 37%,提高了 1. 95%,检测速度为 46. 1 fps,提升了 8. 4 fps,模型体 积为 31. 74 MB,减少到原来的 32. 9%。 对比多种其他现存方法,所设计的目标检测算法有着精度高、体积小和速度快的优势。