结合纹理特征分析的图像风格转换网络

针对图像风格转换效率不高、效果不佳的问题，提出一种结合图像纹理特征分析，并基于预训练网络的前馈残差图像风格转换算法。该算法利用预训练深层网络来提取风格图的深度特征，采用残差网络来进行深层训练以及进行图像变换；同时通过分析研究输入风格图与内容图的纹理特征对转换效果的影响，针对不同输入图像采取相应的处理方法来提升转换效果。实验结果表明，与现有深度图像风格转换算法相比，该算法的输出视觉效果更佳，归一化风格损失更小，耗时更短，并且根据输入图像的信息熵与不变矩的计算来指导网络参数的设定与调整，能够针对性地优化网络，取得了良好的效果。     

基于生成对抗网络的维语场景文字修改网络

通过对维语的场景文字检测与识别研究发现,人工采集标注自然场景文字图像是耗时耗力的,因此人工合成的数据是作为训练数据的主要来源。为获得更加真实的数据,本文提出一种基于生成对抗网络的维语场景文字修改网络,利用高效的Transformer模块构建网络,充分提取图像全局与局部特征来完成维语场景文字图像修改,并添加微调模块,对最终结果进行微调。采用WGAN思想策略训练模型,可有效应对模型崩溃以及梯度爆炸等问题。通过在英文-英文,英文-维文的文字修改实验来验证模型的泛化能力和鲁棒性,无论在客观评价指标（SSIM、PSNR）还是视觉上均取得不错效果,并在真实场景数据集SVT以及ICDAR 2013上进行了验证。     

基于视觉显著性的航拍车辆检测

航拍图像与普通图像相比,具有以下特殊性:分辨率较低,细节不充分;检测目标体积小,难检测;背景的纹理干扰较大。这些特殊性使得直接应用经典的显著性检测方法在航拍图像上不能取得理想的效果。针对这个问题,根据人类视觉系统的特点,提出了一种通过特征显著性分析确定目标候选区域的车辆检测算法。首先,用车辆底层边条信息对输入图像卷积,得到特征响应图。然后计算不同尺度下的特征响应图的谱残差,得到显著性响应图。最后,通过融合多尺度下的显著性响应图,并进行时域和空域增强处理,得到最终的显著性地图。对真实场景下的图像进行仿真实验,结果表明该算法能取得较好的检测效果。     

单幅图像训练深度神经网络的编辑传播方法

针对编辑传播技术中存在的需要选择合适图像特征、手动调整图像特征权重等问题,提出一种单幅图像训练深度神经网络的编辑传播方法.首先将用户交互转换成距离图并与输入图像级联生成多通道图像,有效地结合图像的视觉和空间特征;其次以多通道图像子块作为深度神经网络的输入,抽取符合用户交互的深度特征,并对深度神经网络进行端到端的训练,从而自动分配图像特征的权重;最后将学习的网络模型作为分类器,估计图像像素属于每类用户交互的概率值,进一步后处理获得高质量的图像编辑.采用MARA 1k数据的实验结果表明,该方法能够很好地响应用户交互以进行编辑传播.     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

基于平行图像与深度学习的绝缘子目标检测法

绝缘子是输电线路中最易发生故障的部件之一,需及时从大量图像中检测出绝缘子,为检修提供可靠依据.为解决传统方法和深度学习各自存在的局限性,提出一种基于平行图像与深度学习的绝缘子检测方法.首先,建立人工绝缘子图像数据集,并对待测的真实绝缘子图像进行颜色预选处理;然后,构建卷积神经网络进行特征提取和分类,利用正常训练和迁移学...     

基于深度学习的图像分类搜索系统

图像分类是根据图像的信息将不同类别的图像区分开来,是计算机视觉中重要的基本问题,也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像、声音和文本。该系统基于Caffe深度学习框架,首先对数据集进行训练分析构建深度学习网络,提取数据集图像特征信息,得到数据对应的分类模型,然后以bvlc-imagenet训练集模型为基础,对目标图像进行扩展应用,实现"以图搜图"Web应用。     

基于循环神经网络的散焦图像去模糊算法

近年来,基于深度学习的运动模糊去除算法得到了广泛关注,然而单幅散焦图像去模糊算法鲜有研究。为针对性地解决单幅图像的散焦模糊问题,提出一种基于循环神经网络的散焦图像去模糊算法。首先级联两个残差网络,分别完成散焦图估计和图像去模糊;随后,为了保证散焦图和清晰图像的深度特征可以更好地跨阶段传播以及阶段内相互作用,在残差网络中引入LSTM（long short-term memory）循环层;最后,整个残差网络进行了多次迭代,迭代过程中网络参数共享。为了训练网络,制作了一个合成散焦图像数据集,每一张散焦图像都包含对应的清晰图像和散焦图。实验结果表明,该算法相较于对比算法在主客观图像质量评价上均有显著优势,在复原结果中具有更锐利的边缘和清晰的细节。对于真实双像素图像散焦模糊数据集DPD,该算法相比DPDNet-Single在峰值信噪比（PSNR）和结构相似性（SSIM）上分别提高了0.77 dB、5.6%,因此所提方法可以有效处理真实场景散焦模糊。     

基于MFF-GAN的图像集视觉总结

现有图像集视觉总结方法主要使用浅层视觉特征,或者直接应用已训练的卷积神经网络模型提取图像深层特征,选取的图像不具代表性。为此,分析并研究图像集视觉总结的图像特征表示方法,提出多特征图融合生成对抗网络(MFF-GAN)模型。该模型中的判别器通过多特征图融合的方式提取图像特征,使提取的特征能表示图像细节和高层语义信息,并在多特征图融合层后添加自编码网络对特征进行降维,避免特征维度灾难问题。NUS-WIDE数据集上的实验结果验证了M FF-GAN模型的有效性,并表明其能有效提升图像集视觉总结多样性。     

基于深度学习特征字典的单帧图像超分辨率重建

在基于字典的单帧图像超分辨率重建算法中,依赖人工浅层特征设计的字典表达图像特征能力有限。为此,提出基于深度学习特征字典的超分辨重建方法。该算法首先利用深度网络进行高、低分辨率训练样本图像深层次特征学习;然后,在稀疏字典超分辨框架下联合训练特征字典;最后,输入单帧低分辨率图像并利用该字典实现超分辨率重建。理论分析表明,引入深度网络提取图像深层次特征并用于字典训练,对低分辨率图像的高频信息补充更加有利。实验证明,与双三次插值以及基于一般人工特征字典的超分辨重建算法相比,本文算法的主观视觉和客观评价指标均高于对比算法。     

基于多尺度特征映射匹配的图像表示方法

在卷积神经网络模型中,空间金字塔池化方法将空间信息融入到深度特征的生成过程中,最终生成的图像表示可以有效地用于提高图像检索性能,但是此方法会导致生成的图像表示中不同维度之间描述的信息存在重复且相同维度描述的图像内容不匹配。为此提出了一种基于多尺度特征映射匹配（multi-scale feature map matching,MFMM）的图像表示方法,此方法首先利用深度特征的方差与协方差矩阵提出了一种特征映射选择算法,用于增强图像表示中不同维度特征的独立性。其次,依据相同通道特征映射中高响应值位置有较高匹配性的特点,结合激活映射中最大响应位置的深度特征提出了一种优化的特征映射中心点选择方法。最后,按照不同的中心点通过多尺度窗口采样的方式,从特征映射中提取出带有空间信息的深度特征用于表示图像内容。实验结果表明,提出的方法在图像检索任务中能够取得良好的效果。     

基于MATLAB的BP神经网络在猪等级评定中的应用研究

为了客观评估猪肉各项指标和猪肉等级,采用MATLAB神经网络工具箱中的BP人工神经网络,利用猪胴体图像特征参数和活体猪图像特征参数建立BP神经网络模型。分别用猪胴体图像特征参数样本60个和活体猪图像特征参数样本80个进行了网络训练,并采用不同的BP神经网络隐含层的传递函数和隐含层神经元数量,得到 BP神经网络模型。通过仿真,将仿真结果与人工评估结果进行对比,结果表明BP人工神经网络模型可以评估猪肉各项指标和等级识别。在猪肉胴体图像特征指标下评价猪肉等级准确率达到98%,在活体猪图像特征参数评价猪肉等级准确率达到80%。说明猪肉胴体图像特征比活体猪图像特征参数更能代表猪肉质量品质也符合客观现实;同时也表明MATLAB神经网络工具箱中的BP人工神经网络可以应用在猪的等级评定中。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于人类视觉感知特性的一种纹理图象分割方法

在纹理图象分割的研究领域中,基于人类视觉感知特性的图象分割方法是一个重要的新方向,本文给出了一种纹理图象分割的方法,设计了一组参数不同的2D最佳正交极可分方向滤波器来提取图象特征,然后经过四叉树平滑,用模糊C－均值聚类对图象进行分类,最后进行边缘确定,实验结果表明,这种方法能获得较好的分割效果。     

基于改进上采样技术的图像超分辨率重建

图像超分辨率重建技术一直是计算机视觉领域的热门研究方向. 为了提高重建后图像的质量, 本文提出一种基于内容感知的上采样技术用于图像的重建. 将稠密残差网络作为骨干网络, 用基于内容感知上采样取代传统的亚像素卷积上采样技术, 即在特征重建阶段, 卷积核不会在整个特征图中共享参数, 而是神经网络可以根据特征图的内容在每个像...     

基于端到端双网络的低照度图像增强方法

由于环境的不确定性,捕获的图像存在亮度低、对比度低和信息丢失严重等问题,且利用现存算法增强后的图像存在曝光过度问题,不能满足计算机视觉任务的输入要求。针对此问题,提出了基于端到端双网络的低照度图像增强方法,该网络由Inception网络模块与URes-Net模块组成。首先利用Retinex理论合成低照度图像样本;然后运用双网络模型进行特征提取、特征融合与重建,根据测试集的损失不断调整参数以优化模型,最终使双网络模型具有较高的低照度图像增强能力。实验结果表明,所提方法的PSNR和SSIM的均值分别为28.659 8 dB和0.896 6,亮度、对比度显著提高,获得的图像更加符合人类视觉,优于其他先进的低照度图像增强方法。     

一种基于功用性图的目标推抓技能自监督学习方法

提出了一种基于功用性图的目标推抓技能自监督学习方法。首先,给出了杂乱环境下面向目标推抓任务的机器人技能自监督学习问题描述,将工作空间中机器人推抓操作的决策过程定义为一个全新的马尔可夫决策过程（MDP）,分别训练视觉机制模块与动作机制模块。其次,在视觉机制模块中融合自适应参数与分组拆分注意力模块设计了特征提取网络RGSA-Net,可由输入网络的原始状态图像生成功用性图,为目标推抓操作提供良好的前提。然后,在动作机制模块中搭建了基于演员－评论家（actor-critic）框架的深度强化学习自监督训练框架DQAC,机器人根据功用性图执行动作后利用该框架进行动作评判,更好地实现了推、抓之间的协同。最后,进行了实验对比与分析,验证了本文方法的有效性。     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

基于金字塔场景分析网络改进的语义分割算法

图像语义分割是图像识别中的一个经典难题,是机器视觉研究的一个热点。但在实际应用中,会出现语义标签预测不准确、所分割对象与背景之间边缘信息损失问题,这已逐渐成为了图像理解的瓶颈。据此,提出了一种基于金字塔场景分析网络（PSPNet）的网络改进结构,在特征学习模块中将输入图在原残差网络（ResNet）的基础上通过在网络内部增加卷积、池化操作,进一步学习各个层次特征,将所学习到的多个低层次特征图与高层次特征图相加,得到新的具有更多空间位置信息的特征图;为得到丰富的上下文信息,利用PSPNet的金字塔池化结构,将特征图中全局上下文信息与不同尺度局部上下文信息相结合,进行卷积和上采样,得到最终预测图。仿真实验结果表明,所改进的方法在PASCAL VOC 2012测试集中平均交并比（Mean Intersection over Union,MIoU）达到78.5%,较基准算法提升了1.7%。