基于深度特征提取和图神经网络匹配的图像复制粘贴篡改检测

针对图像中特征提取不均匀、单尺度超像素划分对伪造定位结果影响较大的问题,提出一种基于深度特征提取和图神经网络(graph neural network,GNN) 匹配的图像复制粘贴篡改检测(cope-move forgery detection,CMFD) 算法。首先将图像进行多尺度超像素分割并提取深度特征,为保证特征点数目充足,以超像素为单位计算特征点分布的均匀度,自适应降低特征提取阈值;随后引入新的基于注意力机制的GNN特征匹配器,进行超像素间的迭代匹配,且用随机采样一致性(random sample consensus,RANSAC) 算法消除误匹配;最后将多尺度匹配结果进行融合,精确定位篡改区域。实验表明,所提算法具有良好的性能,也证明了GNN在图像篡改检测领域的可用性。     

基于区域与深度残差网络的图像语义分割

该文提出了一种结合区域和深度残差网络的语义分割模型。基于区域的语义分割方法使用多尺度提取相互重叠的区域,可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络(CNN)自主学习特征,可以针对逐像素分类任务进行端到端训练,但是这种方法通常会产生粗糙的分割边界。该文将两种方法的优点结合起来:首先使用区域生成网络在图像中生成候选区域,然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图,结合候选区域以及特征图得到区域的特征,并将其映射到区域中每个像素上;最后使用全局平均池化层进行逐像素分类。该文还使用了多模型融合的方法,在相同的网络模型中设置不同的输入进行训练得到多个模型,然后在分类层进行特征融合,得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明该文方法具有较高的平均准确率。     

基于深度卷积神经网络的红外场景理解算法

采用深度学习的方法实现红外图像场景语义理解。首先,建立含有4类别前景目标和1个类别背景的用于语义分割研究的红外图像数据集。其次,以深度卷积神经网络为基础,结合条件随机场后处理优化模型,搭建端到端的红外语义分割算法框架并进行训练。最后,在可见光和红外测试集上对算法框架的输出结果进行评估分析。实验结果表明,采用深度学习的方法对红外图像进行语义分割能实现图像的像素级分类,并获得较高的预测精度。从而可以获得红外图像中景物的形状、种类、位置分布等信息,实现红外场景的语义理解。     

利用多尺度卷积神经网络的图像超分辨率算法

单幅图像超分辨率问题是典型的图像反问题。近年来深度学习广泛应用于图像超分辨率重建。为提高超分辨率算法的性能,本文利用多尺度和残差训练的思想,提出一种利用多尺度卷积神经网络的图像超分辨率算法。该算法采用多尺度的卷积核及收缩--扩展的网络结构来提取图像多尺度的信息,并在网络结构中使用跳跃连接,以便更好的传递信息并弥补由于使用下采样和上采样而造成的图像细节信息的损失,来提高图像的重建质量。通过与其它算法的对比实验表明了本文算法不仅可以取得更好的性能,并且训练的收敛速度较快。      

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

基于超像素和DTCWT的火焰检测

结合超像素和双树复小波变换(DTCWT)给出了一种基于图像的火焰检测算法。该算法使用简单线性迭代聚类(SLIC)方法对图像进行超像素分割,并采用RGB-HSV混合颜色空间对超像素进行处理,分割出疑似火焰区域;然后利用DTCWT对疑似火焰区域图像进行多尺度多方向分解,分别对高低频系数提取HOG特征和圆形度特征;最后通过特征融合,并使用交叉网络搜查法的SVM实现火焰的识别。大量实验结果表明该算法火焰识别的精度较高。     

基于改进的SLIC的岩心颗粒图像边缘分割算法

在岩心颗粒图像进行目标提取的过程中,由于颗粒颜色丰富,类别和大小不一,且存在边界模糊等情况,导致颗粒分割很困难.针对以上问题,本文提出一种基于改进的简单线性迭代聚类(SLIC)算法,首先对图像进行预处理,增强目标区域同时模糊背景部分,消除孤立的噪声点且保护边缘信息;其次,结合LBP纹理特征对图像进行超像素分割;最后,结合区域之间的颜色特征进行超像素合并.实验表明,与现有的其它算法相比,该算法能准确地分割颗粒的边界,更有效地提取目标颗粒,极大地降低了后续对提取目标进行分析的复杂度.     

基于多尺度上下文语义信息的图像场景分类算法

传统视觉词典模型没有考虑图像的多尺度和上下文语义共生关系.本文提出一种基于多尺度上下文语义信息的图像场景分类算法.首先,对图像进行多尺度分解,从多个尺度提取不同粒度的视觉信息;其次利用基于密度的自适应选择算法确定最优概率潜在语义分析模型主题数;然后,结合Markov随机场共同挖掘图像块的上下文语义共生信息,得到图像的多尺度直方图表示;最后结合支持向量机实现场景分类.实验结果表明,本文算法能有效利用图像的多尺度和上下文语义信息,提高视觉单词的语义准确性,从而改善场景分类性能.     

基于多条件随机场模型的图像3D空间布局理解

图像3D空间布局理解在自动驾驶系统以及目标识别中扮演着重要的角色.本文提出一种基于多条件随机场模型集成的图像3D空间布局理解算法.首先,基于多次图像分割生成多个不同尺度的超像素图像;然后,结合LBP表面纹理特征、LM滤波器组获得的方向纹理特征、颜色特征以及图像中超像素的位置和形状特征,建立各尺度的超像素图像中超像素的特征表达;最后,为各尺度的超像素图像分别构建相应的条件随机场模型,并应用D-S证据合成理论对多个条件随机场模型的推断结果进行集成,实现对图像3D空间布局的理解.在公共数据集GC和KITTI Layout上的实验结果表明,同已有算法相比,本文提出的算法提高了图像3D空间布局理解的准确率.     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明：DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明:DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

Underwater image enhancement based on conditional generative adversarial network

Underwater images play an essential role in acquiring and understanding underwater information. High-quality underwater images can guarantee the reliability of underwater intelligent systems. Unfortunately, underwater images are characterized by low contrast, color casts, blurring, low light, and uneven illumination, which severely affects the perception and processing of underwater information. To improve the quality of acquired underwater images, numerous methods have been proposed, particularly with the emergence of deep learning technologies. However, the performance of underwater image enhancement methods is still unsatisfactory due to lacking sufficient training data and effective network structures. In this paper, we solve this problem based on a conditional generative adversarial network (cGAN), where the clear underwater image is achieved by a multi-scale generator. Besides, we employ a dual discriminator to grab local and global semantic information, which enforces the generated results by the multi-scale generator realistic and natural. Experiments on real-world and synthetic underwater images demonstrate that the proposed method performs favorable against the state-of-the-art underwater image enhancement methods.     

基于空间语义对象混合学习的复杂图像场景自动分类方法研究

场景分类是将多幅图像标记为不同语义类别的过程。该文针对现有方法对复杂图像场景分类性能欠佳的不足,提出一种新的基于空间语义对象混合学习的复杂图像场景分类方法。该方法以多尺度分割得到的图像对象而非整幅图像为主体进行产生式语义建模,统计各类有效特征挖掘对象的类别分布信息,并通过空间金字塔匹配,构建包含层次数据和语义信息的中间向量,弥补语义鸿沟的缺陷,训练中还结合判别式学习提高分类器的可信性。在实验数据集上的结果表明该方法具备较高的学习性能和分类精度,适用于多种类型和复杂内容图像的解译,具有较强的实用价值。     

融入残差注意力机制的DeepLabV3+图像拼接篡改取证网络

针对现有图像拼接检测网络模型存在边缘信息关注度不够、像素级精准定位效果不够好等问题,提出一种融入残差注意力机制的DeepLabV3+图像拼接篡改取证方法,该方法利用编-解码结构实现像素级图像的拼接篡改定位。在编码阶段,将高效注意力模块融入ResNet101的残差模块中,通过残差模块的堆叠以减小不重要的特征比重,凸显拼接篡改痕迹;其次,利用带有空洞卷积的空间金字塔池化模块进行多尺度特征提取,将得到的特征图进行拼接后通过空间和通道注意力机制进行语义信息建模。在解码阶段,通过融合多尺度的浅层和深层图像特征提升图像的拼接伪造区域的定位精度。实验结果表明,在CASIA 1.0、COLUMBIA和CARVALHO数据集上的拼接篡改定位精度分别达到了0.761、0.742和0.745,所提方法的图像拼接伪造区域定位性能优于一些现有的方法,同时该方法对JPEG压缩也具有更好的鲁棒性。     

基于深度学习的单像素相机超分辨率成像优化

基于压缩感知和单像素成像的基本原理,设计了一种用于图像超分辨率重建的新型深度卷积神经网络架构.这种单像素超分辨率成像算法成功地将深度学习图像超分辨率重建技术与压缩感知单像素成像技术相结合,从而发展出一种全新的深度学习单像素成像优化方法.与传统的常规压缩感知图像重构算法相比,该算法有效提升了图像超分辨率重建精度和单像素成像质量.通过图像重建的仿真实验和单像素相机的成像实验验证,结果表明这种基于深度学习的新型单像素相机成像方式具有良好的性能表现.     

Multi-scale aware dual path network for face detection in resource-constrained edge computing environment

Aiming at the problem that face detectors with complex deep neural structures are difficult to deploy in the resource-constrained edge computing environment,to reduce the resource consumption while maintain the accuracy in complex scenes such as multi-scale face changes,occlusion,blur,and illumination,SDPN(multi-scale aware dual path network) for face detection was proposed.The Face-ResNet (face residual neural network) was improved,and a dual path shallow feature extractor was used to understand the multi-scale information of the image through parallel branches.Then the deep and shallow feature fusion module,a combination of the underlying image information and the high-level semantic feature,was used in conjunction with the multi-scale awareness training strategy to supervise the multi-branch learning discriminating features.The experimental results show that SDPN can extract more diversified features,which effectively improve the accuracy and robustness of face detection while maintaining the efficiency of the model and low inference delay.