融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

面向屏幕拍摄的端到端鲁棒图像水印算法

目的 在抗屏摄鲁棒图像水印算法的研究中,如何在保证含水印图像视觉质量的同时提高算法的鲁棒性是存在的主要挑战。为此,提出一种基于深度学习的端到端网络框架以用于鲁棒水印的嵌入与提取。方法 在该网络框架中,本文设计了包含摩尔纹在内的噪声层用以模拟真实屏摄噪声造成的失真,并通过网络训练来学习到抵抗屏摄噪声的能力,增强网络生成的含水印图像的鲁棒性;同时引入了最小可察觉失真（just noticeable distortion,JND）损失函数,旨在通过监督图像的JND系数图与含有水印信息的残差图之间的感知差异来自适应控制鲁棒水印的嵌入强度,以提高生成的含水印图像的视觉质量。此外,还提出了两种图像区域自动定位方法,分别用于解决：拍摄图像中前景与背景分割即含水印图像区域的定位矫正问题,以及含水印图像经过数字裁剪攻击后的解码问题。结果 实验结果表明,引入JND损失函数后嵌入水印图像的视觉质量得到了提高,平均的峰值信噪比（peak signalto-noise ratio,PSNR）、结构相似性（structural similarity,SSIM）可分别达到30.937 1 dB和0.942 4。加入摩尔纹的噪声模拟层后,所提算法的误码率可下降1%～3%,具有抵抗屏摄噪声的能力。另外,将图像的R通道嵌入用于抗裁剪的模板,使得算法可有效抵抗较大程度的数字裁剪攻击。本文算法的计算复杂度较低,对单幅图像进行嵌入时,定位与提取操作的总耗时小于0.1 s,可满足实际应用场景的实时性需求。结论 本文算法的嵌入容量和生成的含水印图像视觉质量较为理想,且在不同拍摄距离、角度以及不同拍摄和显示设备条件下的鲁棒性优于已报道的主流算法。     

图像块的不可见性与鲁棒性均衡水印算法

目的 为协调水印算法不可见性与鲁棒性之间的矛盾,提高水印算法抵抗几何攻击的能力,提出一种图像块的不可见性与鲁棒性均衡水印算法。方法 将宿主图像分成互不重叠的图像块,利用人类视觉系统的掩蔽特性对每个图像块的纹理特征和边缘特征进行分析,选择掩蔽性好的图像块作为嵌入子块。对嵌入子块作2级离散小波变换,将其低频子带进行奇异值分解,通过修改U矩阵第1列元素间的大小关系嵌入Arnold置乱后的水印信息。在水印提取前,对几何失真含水印图像利用图像尺度不变特征变换（SIFT）特征点的坐标关系和尺度特征进行几何校正,恢复水印的同步性。结果 对标准灰度图像进行实验,含水印图像的峰值信噪比都可以达到44 dB以上。对含水印图像进行常规攻击和几何攻击,提取出的水印图像与原始水印图像的归一化互相关系数大部分都能达到0.99以上,说明该算法不仅具有良好的不可见性,对常见攻击和几何攻击都具有较强的鲁棒性。结论 选择掩蔽性好的图像块作为水印嵌入位置能够充分保证水印算法的不可见性,特别是水印提取前利用SIFT特征点具有旋转、缩放和平移不变性对几何失真含水印图像实现有效校正,提高了含水印图像抵抗几何攻击的能力,较好地协调水印算法不可见性与鲁棒性之间的矛盾。     

视觉信息损失先验的图像分层去雾方法

目的 针对自然场景下含雾图像呈现出低对比度和色彩失真的问题,提出一种基于视觉信息损失先验的图像去雾算法,将透射图预估转化成求解信息损失函数最小值的目标规划问题。方法 首先通过输入图像的视觉特性将图像划分成含雾浓度不同的3个视觉区域。然后根据含雾图像的视觉先验知识构造视觉信息损失函数,通过像素值溢出映射规律对透射率取值范围进行约束,采用随机梯度下降法求解局部最小透射率图。最后将细化后的全局透射率图代入大气散射模型求解去雾结果。结果 结合现有的典型去雾算法进行仿真实验,本文算法能够有效地复原退化场景的对比度和清晰度,相比于传统算法,本文算法在算法实时性方面提升约20%。结论 本文算法在改善中、浓雾区域去雾效果的同时,提升了透射图预估的效率,对改善雾霾天气下视觉成像系统的能见度和鲁棒性具有重要意义。     

实时立体视觉系统中的深度映射

目的 为减少立体图像中由于水平视差过大引起的视觉疲劳。针对实时渲染的立体视觉系统,给出了一种非均匀深度压缩方法。方法 该方法在单一相机空间内,通过不同的投影变换矩阵生成双眼图像,水平视差由投影变换来控制。为减少深度压缩造成的模型变形而带来的瑕疵,将不同深度区域内物体施以不同的压缩比例;将相机轴距表示为深度的连续函数,通过相机轴距推导出在单一相机空间内获取双眼图像的坐标变换,将深度压缩转换为模型的坐标变换,从而保证压缩比例的连续变化。结果 实验结果表明,该方法能有效提高立体图像的质量。结论 该方法简单、高效,可应用于游戏、虚拟现实等实时立体视觉系统。     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

结合自底向上注意力机制和记忆网络的视觉问答模型

目的 现有大多数视觉问答模型均采用自上而下的视觉注意力机制,对图像内容无加权统一处理,无法更好地表征图像信息,且因为缺乏长期记忆模块,无法对信息进行长时间记忆存储,在推理答案过程中会造成有效信息丢失,从而预测出错误答案。为此,提出一种结合自底向上注意力机制和记忆网络的视觉问答模型,通过增强对图像内容的表示和记忆,提高视觉问答的准确率。方法 预训练一个目标检测模型提取图像中的目标和显著性区域作为图像特征,联合问题表示输入到记忆网络,记忆网络根据问题检索输入图像特征中的有用信息,并结合输入图像信息和问题表示进行多次迭代、更新,以生成最终的信息表示,最后融合记忆网络记忆的最终信息和问题表示,推测出正确答案。结果 在公开的大规模数据集VQA （visual question answering）v2.0上与现有主流算法进行比较实验和消融实验,结果表明,提出的模型在视觉问答任务中的准确率有显著提升,总体准确率为64.0%。与MCB（multimodal compact bilinear）算法相比,总体准确率提升了1.7%;与性能较好的VQA machine算法相比,总体准确率提升了1%,其中回答是/否、计数和其他类型问题的准确率分别提升了1.1%、3.4%和0.6%。整体性能优于其他对比算法,验证了提出算法的有效性。结论 本文提出的结合自底向上注意力机制和记忆网络的视觉问答模型,更符合人类的视觉注意力机制,并且在推理答案的过程中减少了信息丢失,有效提升了视觉问答的准确率。     

用于盗版追踪的格雷码加密域可逆水印研究

目的 现有水印算法大多是基于明文域的,很容易被入侵、窃取。为了保护用户隐私、提高安全性,本文提出了一种用于盗版追踪的基于格雷码加密域的可逆水印方法,该方法支持对密文直接操作。方法 首先提出了基于格雷码的同态加密系统（HESGC）,并以此加密载体图像;然后依据整数小波变换（IWT）和人类视觉系统（HVS）特性,将图像分区并合理分类;再依据新提出的算法完成嵌入、可逆恢复及提取工作;最后利用首次提出的水印追踪联合策略（JWT）来进行盗版追踪。结果 为了验证本文方法,选取USC-SIPI图像库中的6幅经典图像作为标准测试图像,与其他可逆水印算法相比,本文方法具有更高的PSNR值,PSNR高达50 dB,而且SSIM值均为1,实现了可逆功能;本文新提出的HESGC将使原始载体图像膨胀为原来的8倍,故容量较大。理论上,本文最大容量为3.75 bit/像素,目前大多可逆水印算法的最大容量不足1 bit/像素;本文方法不仅实现了盗版追踪功能,而且能够抵抗一些常见的攻击,如随机噪声、中值滤波、图像平滑和JPEG编码、LZW编码和卷积模糊等。通过比较原始追踪证明与攻击后图像的追踪证明可知,相似度在1左右的即为盗版,其他非盗版的相似度都远远低于1,大部分在0.6左右。结论 本文提出了一种基于密文域的可逆水印方案,首次提出了HESGC和JWT,实现了密文域可逆水印技术和盗版追踪功能。该方案直接采用灰度图像作为水印图像,解除了以往以二值图像作为水印图像,或者将灰度图像二值化后作为水印图像的限制,而且采用基于级联混沌技术提高了灰度水印图像的安全性。此外,本文成功消除了图像分区分类中纹理/平滑区域中的平滑/纹理孤岛,使分类结果更加准确、合理。实验结果表明,本方案不仅能够抵抗一些常见攻击,而且容量大、安全性高,很好地保护了用户隐私。本文实现了密文域可逆水印技术,适用于隐私保护要求高的医学、军事等领域。     

空时形状预测与高效编码

目的 形状是视觉对象的关键特征,形状编码是对象基图像和视频处理中的关键技术,但现有无损形状编码方法压缩效率普遍不高.为此,提出一种基于链码表示和空时预测的高效无损形状编码新算法.方法 首先逐帧提取视觉对象的形状轮廓并转化为链码表示;然后基于对象轮廓的帧间活动性将形状视频序列分成帧内预测编码帧和帧间预测编码帧,并基于轮廓链码的空域相关性和时域相关性对二者分别进行空域和时域补偿与预测;最后基于链码的方向约束特性对预测后的位移矢量和预测残差进行高效编码压缩.结果 为了检验所提算法的性能,基于MPEG-4标准形状测试序列进行了编码实验测试.与现有主要方法相比本文算法能提高压缩效率6%到71.6%不等.结论 本文算法可广泛应用于对象基编码、基于内容的图像检索、图像分析与理解等领域.     

基于无损水印的医学图像篡改检测和高质量恢复

目的 采用无损数字水印算法对医学图像进行篡改检测和恢复是一个重要的研究领域。针对现有方法在区域划分和块特征值选取上的不足,提出一种新的基于四叉树分解和线性加权插值技术的无损水印算法。方法 首先对原始的医学图像进行四叉树分解,得到非固定尺寸且具有高同质性的图像块;然后利用线性加权插值方法计算每个图像块的特征值作为水印信息,最后采用基于混沌的简单可逆整数变换进行水印嵌入。结果 在提取端当水印图像没有受到篡改时,原始的图像能被无损恢复;当受到篡改时,算法能精确定位篡改区域并能高质量恢复,采用本文算法恢复的图像质量较现有方法高出20 dB左右。另外,在水印图像遭到较大程度篡改时,本文算法的正检率和负检率均优于现有方法。结论 实验结果表明,本文算法相比现有方法具有更高的嵌入容量、篡改检测精确性、恢复图像质量。算法适用于医学图像的完整性认证和篡改检测中。     

基于信噪比的自适应双彩色图像水印算法

不可见性是图像隐形水印最基本的要求之一,它的客观标准是水印图像的信噪比。根据这个标准,提出了一种基于小波的以彩色图像为水印的自适应水印算法：根据需要的水印图像三基色的信噪比,对于不同的彩色宿主图像和彩色水印,都能够完全自适应地选择三基色各自的水印嵌入强度值训。试验结果表明该算法能够自动实现所要求的水印图像信噪比,水印具有较强的稳健性。该算法可以使每幅图像在不可见性（PSNR）和鲁棒性（参数训）间都能自然地达到最大程度的平衡,实用性较强。     

顾及目标关联的自然场景文本检测

目的 目前基于卷积神经网络（CNN）的文本检测方法对自然场景中小尺度文本的定位非常困难。但自然场景图像中文本目标与其他目标存在很强的关联性,即自然场景中的文本通常伴随特定物体如广告牌、路牌等同时出现,基于此本文提出了一种顾及目标关联的级联CNN自然场景文本检测方法。方法 首先利用CNN检测文本目标及包含文本的关联物体目标,得到文本候选框及包含文本的关联物体候选框;再扩大包含文本的关联物体候选框区域,并从原始图像中裁剪,然后以该裁剪图像作为CNN的输入再精确检测文本候选框;最后采用非极大值抑制方法融合上述两步生成的文本候选框,得到文本检测结果。结果 本文方法能够有效地检测小尺度文本,在ICDAR-2013数据集上召回率、准确率和F值分别为0.817、0.880和0.847。结论 本文方法顾及自然场景中文本目标与包含文本的物体目标的强关联性,提高了自然场景图像中小尺度文本检测的召回率。     

一种基于模糊粗糙集理论的算法及其在医学影像中的应用*

提出一种基于模糊粗糙集理论的属性约简算法,并且应用于医学影像领域。通过辅助诊疗系统,比较了运用此算法前后的分类效果,得出运用此算法约简后的分类正确率明显提高,并且运算时间明显减少的结论。试验表明通过此算法约简掉的属性确实是影响分类效果的冗余属性。     

基于模糊聚类分析和HVS的自适应彩色图像水印算法

结合模糊C均值聚类算法和人眼视觉特性,提出了一种新的自适应彩色图像水印算法。首先,将彩色图像经模糊聚类分析,选取出适合于水印嵌入的位置;然后,分别在R、G、B 3个通道中利用小波域的视觉掩蔽特性自适应地修改水印嵌入强度,提取时,不需要用到原始图像。实验结果证明,含水印的彩色图像没有出现任何可感知的视觉失真,同时,该算法对一定的图像处理操作具有较强的鲁棒性。     

基于色调优化的图像视频细节增强

目的 针对已有的细节增强方法难以保持输入图像帧的色调分布的缺点,提出一种基于色调优化的图像视频细节增强算法。方法 首先,为了避免颜色通道的相关性所带来的偏色现象并提高算法效率,对输入图像帧进行颜色空间的转换,提取亮度信息。然后,采用基于局部极值的边缘保持图像滤波方法,快速地将亮度通道图像分解成一幅含有大尺度边缘信息的基图像和多幅含有小尺度细节信息的细节层图像。接着,在用户期望的细节增强系数和输入图像的颜色场的约束下,提出基于梯度域上能量优化的细节增强算法,获得色调一致的细节增强亮度图像。最后,通过颜色空间的逆转换得到最终的细节凸显效果。结果 实验结果表明,本文算法不但能够显著地增强输入图像帧的细节内容,而且能够有效地保持其原有的色调分布,显得更加真实生动。结论 本文算法基本满足科学观察、视频监控和数字视觉特效等领域的技术要求,具有很大的应用潜力。     

视觉密码的彩色栅格地图分存算法

目的 现有栅格地图安全保护技术主要有：基于混沌理论的图像加密技术、数字图像置乱技术和图像信息隐藏技术,这些技术不适用于丢失容忍、解密简单、共享份图像顺序可交换、权限控制等应用场合。图像分存技术可应用于上述场合,其中基于视觉密码的图像分存技术秘密图像恢复时运算简单,仅利用人眼视觉系统或借助简单计算设备,便可以获得恢复图像的信息。但运用于彩色栅格地图分存的彩色视觉密码方案,存在像素扩展度较大、秘密图像颜色受限等问题。为解决该问题,基于异或运算给出了概率型彩色视觉密码方案定义,并构造了一种概率型（k,n）彩色视觉密码方案。方法 在方案设计前,首先给出RGB颜色集合、彩色像素异或运算、共享份异或运算和基于异或运算的概率型（k,n）彩色视觉密码方案等定义。基于异或运算的概率型（k,n）彩色视觉密码方案定义包括对比条件、安全性条件和防串扰条件3个部分。根据定义,给出概率型（k,n）-CVCS（color visual cryptography scheme）的详细构造方法,该方法以（k,k）彩色视觉密码方案为基础,通过设计扩展变换算子f,将k个共享份随机等概地扩充到n个共享份,实现了（k,n）彩色栅格地图分存算法,解决了彩色栅格地图分存算法存在像素扩展度大、恢复图像视觉效果差的问题。随后,从定义的对比条件、安全性条件和防串扰条件3个方面,对本文方案有效性进行了理论证明。结果 为验证方案的有效性,利用本文算法构造出的（3,4）方案对具体的栅格地图进行分存,随机选择3个共享份XOR（exclusive or异或）后可以得到原栅格地图,而任意单个、两个共享份XOR只能得到杂乱无章的噪声图像,无法获取原栅格地图的任何信息。同时,运用其他彩色视觉密码方案对相同栅格地图进行分存,实验结果表明,本文方案像素不扩展,在视觉效果上具有更优的结果,计算得到的恢复图像峰值信噪比也优于其他相关方案。结论 本文方案无像素扩展,在减小系统开销的同时,改善了栅格地图的视觉效果,且无需对栅格地图进行半色调处理。     

模糊自适应的彩色图像数字水印算法*

提出了一种基于离散余弦变换 (DCT)域的模糊自适应彩色图像水印算法.采用YUV彩色空间,以人类视觉系统(HVS)为基础,结合原始图像的特点,设计了模糊控制器,建立了合理的模糊规则,将水印信号以不同强度嵌入到彩色图像的Y、U、V分量的DCT系数中,实现了水印的自适应嵌入以及水印强度的动态调度.实验结果表明,该算法不仅具有很好的不可感知性,而且对剪切、滤波、噪声等攻击均具有较好的鲁棒性.     

小波域视觉密码零水印算法

目的传统零水印算法需要构造包含图像特征的水印数据,这样构造的水印往往是无意义的。在已有视觉密码鲁棒水印算法基础上,结合零水印思想,提出小波域视觉密码零水印算法。方法零水印不仅仅是由载体图像生成的,而是其与水印信息共同制造的视觉秘密图份。算法产生2幅图份:主图份(图像特征信息)和所有权图份(零水印)。首先,将载体图像通过合理置乱,去除像素相关性;其次,对置乱后的图像做小波变换,再将小波低频子带分块并对各块做奇异值分解,通过比较块特征值与块特征值均值生成过渡矩阵;然后,将生成的过渡矩阵结合2×2视觉秘密图份算法生成主图份;最后,结合主图份和秘密水印信息产生所有权图份,同时将其保存到认证中心。结果针对零水印信息不够直观,在不对载体进行任何改动的情况下,将有意义二值图像作为零水印嵌入到载体图像中去。即使在很强的鲁棒干扰环境中,本文方法仍然比传统的零水印算法表现出色。结论提出了一种可靠的图像版权认证零水印算法。实验结果表明,算法具有良好的安全性,同时对多种图像处理具有很好的鲁棒性。     

Automated event clustering and quality screening of consumer pictures for digital albuming

In this paper, algorithms for automatic albuming of consumer photographs are described. Specifically, two core algorithms namely event clustering and screening of low-quality images, are introduced and their performance is evaluated. Event clustering and image quality screening have many applications including albuming services, image management and organization, and digital photofinishing. These are difficult tasks because there is, in general, none (or very limited) contextual information about picture content, and the final interpretation could be subjective. A novel event-clustering algorithm is created to automatically segment pictures into events and subevents for albuming, based on date/time metadata information, as well as color content of the pictures. A block-based color histogram correlation technique is developed for image content comparison of general consumer pictures. A new quality-screening algorithm is developed based on object quality measures, to detect problematic images caused by underexposure, low contrast, and camera defocus or movement.