基于跨模态对比的场景图图像生成

条件图像生成根据不同形式的输入生成符合条件的图像,其中场景图是一类具有代表性的条件输入形式。场景图将图像中的物体抽象为节点,将物体之间的关系抽象为边,是一种广泛应用在计算机视觉和跨模态领域的结构化图表示。由于场景图中包含多个物体和物体之间的关系,现有的场景图图像生成方法容易导致生成结果和条件语义不一致,例如物体缺失和关系错误等。本文提出基于跨模态对比的生成方法解决上述问题。首先,本文提出关系一致性对比使生成的物体关系和输入的边保持一致。我们设计了联合特征代表图像中的物体的关系,并拉近联合特征和与其相关的边特征的距离,使其相比于不相关的边特征距离更接近。本文引入物体一致性对比使的生成的物体区域和输入的节点保持对应。在这个部分我们使用注意力机制获得节点对应的物体特征,然后拉近相关的节点特征于物体特征的距离。最后,本文提出全局一致性对比使的生成的图像整体和输入的场景图保持一致, 该对比损失将相关联的图像和场景图特征拉近,同时将不相关的样本特征相互远离。我们COCO-stuff和VG数据集上进行了详细的实验,实验结果表明我们的方法相比当前最佳性能分别在两个数据集上提升8.33%和8.87%的FID。消融实验表明每个对比损失模块都能够提升图像的生成质量,可视化结果展示了方法对于解决上述问题的有效性。从实验结果可知,我们的方法不仅能够提升图像的生成质量,并能够有效缓解物体缺失和关系错误等语义不一致问题。      

基于图像数据库的动态场景生成系统

实现各类目标和背景下动态场景的计算机编辑和生成，首先应对组成动态场景的要素进行分析，即目标，目标运动规律和特殊事件四个要素，然后通过编程由四个模块完成相应功能。目标，背景编辑模块可对目标，背景图像进行各种处理，并对重要特征量进行计算，运动路径模块可指定目标的运行规律，包括路线，大小和角度变化等。特殊事件模块可加入独立目标的各类典型事件，如运动的干扰物等。最后通过动态场景合成由计算机自动生成所需的动态场景图像。所需的原始目标，背景图像来源于图像数据库管理系统，通过索引项可便携地找到。     

基于图像合成的红外辐射场景生成缮

根据当前目标特性建模的特点,利用数字图像处理技术和红外成像原理,采用简单的图像合成算法实现了目标与环境特性场景的快速生成,对于实现武器红外探测识别跟踪的动态仿真有一定的参考价值.     

结合场景描述的文本生成图像方法

研究基于场景描述文本生成对应图像的方法,针对生成图像常常出现的对象重叠和缺失问题,提出了一种结合场景描述的生成对抗网络模型.首先,利用掩模生成网络对数据集进行预处理,为数据集中的对象提供分割掩模向量.然后,将生成的对象分割掩模向量作为约束,通过描述文本训练布局预测网络,得到各个对象在场景布局中的具体位置和大小,并将结果...     

基于生成对抗网络的图像转换技术

针对不同谱段图像获取代价不同的问题,提出一种基于生成对抗网络的图像转换方法。转换过程以肉眼可分辨范围内图像轮廓不变为出发点。首先,通过成对的训练数据对生成器和判别器进行交替训练,不断对损失函数进行优化,直到模型达到纳什平衡。然后用测试数据对上述训练好的模型进行检测,查看转换效果,并从主观观察和客观上计算平均绝对误差和均方误差角度评价转换效果。通过上述过程最终实现不同谱段图像之间的转换。其中,生成器借鉴U-Net架构;判别器采用传统卷积神经网络架构;损失函数方面增加L1损失来保证图像转换前后高、低频特征的完整性。以红外图像与可见光图像之间的转换为例进行实验,结果表明,通过本文设计的生成对抗网络,可以较好地实现红外图像与可见光图像之间的转换。     

图嵌入方法与应用:研究综述

图模型越来越广泛地应用于数据管理、知识发现和信息服务等问题中,图嵌入作为图分析和应用的重要技术手段,成为了人工智能领域研究的热点之一.本文从图嵌入研究中面临的挑战出发,主要介绍了基于矩阵分解、基于随机游走和基于深度学习的图嵌入方法.接着,介绍了图嵌入方法常用的测试数据集、评测标准和典型应用.最后,总结了图嵌入未来研究的趋势和方向.     

基于异构图嵌入的恶意软件检测

和同构图相比,异构图包含多种节点类型和关系类型,可以表征更丰富更复杂的内容。文中提出了一种基于异构图嵌入的恶意软件检测方法,从威胁情报平台得到恶意样本的基本信息和行为报告,提取出报告中的函数调用行为、文件行为和注册表行为,构造出包含软件及其动静态特征的异构图;根据设计的元模式在图上随机游走生成语料库,通过嵌入模型得到特征向量;将嵌入降维后的特征向量送入分类器进行分类完成检测。实验筛选了4 902个样本用于验证方法效果,结果表明提出的方法检测准确率达到99.1%,可以有效检测恶意软件。     

基于自适应近邻图嵌入的局部鉴别投影算法

针对局部Fisher鉴别分析(LFDA)中样本近邻点个数对于最优投影方向的影响以及在度量类间离差度时未考虑不同类别样本近邻点的两点不足之处,该文提出一种基于自适应近邻图嵌入的局部鉴别投影算法,根据样本分布以及样本间的相似度自适应计算类内和类间近邻点,依据类内类间近邻点的个数定义局部类内与类间离差矩阵中的权值矩阵,通过最大化局部类间离差度最小化局部类内离差度,得到最优低维子空间。该算法不仅能够保持样本的局部信息,而且能够保持样本的鉴别信息,在人工数据以及标准数据库上的实验表明该方法是有效的。     

多模态特征融合的网络安全态势评估

针对网络安全监测设备信息来源单一以及预警质量较低等问题,文中提出了融合多种数据来源的网络安全态势评估方法。通过引入Endsley模型和Agent理论,构建了网络安全态势的NSSA框架。利用径向基神经网络的思想,通过消除多余噪声与无关信号实现多源异构数据的融合,从而提出具有多模态特征融合的网络安全态势评估方法。MATLAB仿真结果表明,与传统的BP神经网络相比,文中提出的网络安全态势评估方法具有更好的学习能力和泛化能力。     

基于汉字拆分嵌入和二部图的残损碑文识别

古籍碑刻承载着丰富的历史文化信息,但是由于自然风化浸蚀和人为破坏使得碑石上的文字信息残缺不全。古碑文语义信息多样化且样例不足,使得学习行文语义补全识别残损文字变得十分困难。该文试图从字形空间语义建模解决补全残损汉字进行识别理解这一挑战性任务。该文在层级拆分嵌入(HDE)编码方法的基础上使用动态图修补嵌入(DynamicGrape),对待识别汉字的图像进行特征映射并判别是否残损。如未残损直接转化为层级拆分编码,输入二部图推理字节点到部件节点的边权重,比对字库编码识别理解;如残损需要在字库里检索可能字和部件,对汉字编码的特征维度进行选择,输入二部图推理预测可能的汉字结果。在自建的数据集以及中文自然文本(CTW)数据集中进行验证,结果表明二部图网络可以有效迁移和推理出残损文字字形信息,该文方法可以有效对残损汉字进行识别理解,为残损结构信息处理开拓出了新的思路和途径。     

基于尺度不变特征变换的快速景象匹配方法

传统基于特征的景象匹配方法存在冗余点多、匹配精度低等问题,难以同时满足实时性及鲁棒性要求,对此,论文提出一种基于尺度不变特征变换(SIFT)的快速景象匹配方法。在特征提取阶段,采用高速分段特征检测器(FAST)在多尺度检测角点作为初始特征,经过高斯差分(DOG)算子在尺度空间中进行特征的2次筛选,简化原有遍历式的特征搜索过程;在特征匹配阶段,采用仿射模型模拟变换关系建立几何约束条件,克服SIFT算法由于忽略几何信息而产生的误匹配。实验表明：该方法在匹配精度和实时性方面均优于SIFT算法,且对光照、模糊、尺度等变换具有良好的鲁棒性,能够更好地实现景象匹配。

     

基于全局特征图的半监督微博文本情感分类

网络社交的流行与普及,使得微博等短文本区别于以往传统文章,具有了独有的文学表达形式和情感发泄方式,导致基于短文本的机器学习情感分析工作难度逐渐增大.针对微博短文本的语言表达新特性,爬取收集大量无情感标记微博数据,建立微博短文本语料库,基于全局语料库构建词与短文本的全局关系图,使用BERT(Bidirectional E...     

Copy-Paste Detection Based on a SIFT Marked Graph Feature Vector

To detect copy-paste tampering, an im-proved SIFT (Scale invariant feature transform)-based al-gorithm was proposed. Maximum angle is defined and a maximum angle-based marked graph is constructed. The m arked graph feature vector is provided to each SIFT key point via discrete polar coordinate transformation. Key points are matched to detect the copy-paste tamper-ing regions. The experimental results show that the pro-posed algorithm can effectively identify and detect the ro-tated or scaled copy-paste regions, and in comparison with the methods reported previously, it is resistant to post-processing, such as blurring, Gaussian white noise and JPEG recompression. The proposed algorithm performs better than the existing algorithm to dealing with scaling transformation.     

Robust Multimodal Biometric System Based on Feature Level Fusion of Optimiseddeepnet Features

Wireless Personal Communications - Multimodal biometric systems combine feature knowledge from multiple traits to overcome shortcomings of unimodal systems. However, most of the traditional...     

基于函数调用的路径覆盖生成技术研究

 针对目前路径覆盖方法所存在的缺陷,提出了一种新的基于函数调用的路径覆盖生成方法.根据控制结构与函数调用语法,获取全部的静态函数调用路径,依据程序执行后的动态路径信息,判断测试用例是否覆盖了程序变更部分及受影响部分.该方法既能避免路径数目的急剧增长,又可以保证测试完全.     

基于电阻阵拼接的红外场景生成方法研究

针对基于电阻阵拼接的红外场景方法进行研究,先利用边缘融合进行图像拼接处理,得到一幅在重合部分存在亮度偏大的图像。对重叠部分每个像素的亮度进行加权处理,在此基础上进行各像素点的亮度叠加。使重合部分的像素点的亮度能够与非重叠部分较好融合过渡。电阻阵列的非均匀性问题也会使得拼接效果大打折扣,利用分段线性化的方法进行灰度非均匀性处理,得到最终的拼接效果图。经仿真验证,该方法简单快速,有效地校正了图像灰度非均匀性,并且能在保持图像清晰度的前提下,消除拼接缝,提高拼接图像的质量。