多模态特征融合与多任务学习的特种视频分类

特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题,本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先,提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征;然后,构建具有语义保持的共享特征子空间,以实现音视频多种模态特征的融合;最后,提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架,设计了对应的损失函数,实现了端到端的特种视频智能识别。实验结果表明,本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%,优于已有研究。结果证明了该算法的有效性,有助于提升特种视频监控的智能化水平。     

A Database System to Advance Subsurface Sensing and Imaging

The CenSSIS Image Database System is a scientific database that enables effective collaboration, scientific data sharing and accelerates fundamental research. We describe a state-of-the-art system that uses the Oracle RDBMS and J2EE technologies to provide remote, Internet-based data access. The system incorporates efficient submission and retrieval of images and metadata, indexing of metadata for efficient searching, and complex relational query capabilities.     

元数据驱动在试验数据管理系统中的应用

针对试验数据多变性和专业性的特点,论文将元数据驱动技术引入到试验数据的管理中。在管理试验数据时,将与业务相关的元素从系统中剥离出来,利用元数据来对其进行描述并在元数据库中进行定义,系统运行时,读取元数据库中定义的相应内容并自动对数据库进行操作,从而确定当前的业务规则。当业务发生变化时,由于业务规则是在元数据库中定义的,所以,只需要修改元数据库中相应的元数据描述信息就可以改变业务规则,为系统提供了强大的灵活性和适应性。     

MRT letter: Visual attention driven framework for hysteroscopy video abstraction

Diagnostic hysteroscopy is a popular method for investigating the regions in the female reproductive system. The videos generated by hysteroscopy sessions of patients are recurrently archived in medical libraries. Gynecologists often need to browse these libraries in search of similar cases or for reviewing old videos of a patient. Diagnostic hysteroscopy videos contain a lot of information with abundant redundancy. Key frame extraction‐based video summarization can be used to reduce this huge amount of data. Moreover, key frames can be used for browsing and indexing of hysteroscopy videos. In this article, a domain specific visual attention driven framework for summarization of hysteroscopy videos is proposed. The visual attention model is materialized by computing saliency based on color, texture, and motion. The experimental results, in comparison with other techniques, demonstrate the efficacy of the proposed framework. Microsc. Res. Tech. 76:559–563, 2013. © 2013 Wiley Periodicals, Inc.     

基于相机溯源的潜在不良视频通话预警

目前主流的不良视频检测大多基于视频内容分析,属于计算密集型任务,不利于巨量视频通话流的实时检测。为此,本文试图从新的视角来阻断潜在不良视频的传播,即实时视频流相机溯源。和传统检测内容的方法不同,本文试图通过检测产生不良视频的相机源来阻断潜在不良视频的传播,即一旦发现某个正在视频通话的手机产生过不良视频,就发出安全警告进行阻断。该思路的基本假设是拍摄过不良视频的手机拥有者有更大概率利用同一部手机拍摄不良视频。该思路的核心问题是寻找一种实时、可靠的相机溯源方法。为此,本文主要聚焦以下三方面工作:建立了一个包含100部视频的数据库用于算法评估,数据库中的视频来自25部不同型号、不同品牌的相机,每一部视频注明了相机来源;建立了一种简单、有效的视频相机溯源机制,实现相机的在线实时溯源;提出了一种多相机指纹特征集成决策模型,实现可靠的相机溯源。实验结果显示,所提相机溯源机制能满足相机溯源的实时性要求,并且所提多相机指纹特征集成决策模型显著优于现有的单一模型,对于安卓手机,其视频相机溯源准确率达到98.161%,验证了该思路的可行性。     

基于标签的垂直搜索研究及在视频搜索中的应用

分析了针对视频资源进行标签抽取的信息抽取机制,以及利用垂直搜索引擎的特点进行数据处理的方法,对于农业视频资源搜索准确度难以提高等问题进行了优化,并应用于农业搜索中,对搜索结果进行了测试以及与通用视频搜索进行了对比。实验结果表明,在农业领域的视频垂直搜索结果更加精准清晰,用户友好度更高。     

结合人眼对比度敏感视觉特性的视频质量客观评价

结合人眼对亮度、色度、对比度以及运动目标的感知特性,提出了一种基于人眼对视频内容感知的视频质量客观评价方法。该方法将视频分为空域和时域信息分别描述,并利用人眼感知特性,从视频的亮度、色度、对比度以及目标运动4个方面提取特征,计算其强度。然后以人眼对比度敏感值作为强度的权重因子求和,构建人眼感知视频内容模型。最后,分别以此模型模拟人眼感知源视频和失真后的视频,计算每对应单元的所有像素之间和运动矢量之间的强度差;以强度差作为视频质量评价的分数,构建视频质量客观评价模型。采用LIVE数据库中的6个源视频和48个测试视频进行了质量评价实验,并与视频质量专家组(VQEG)推荐的5个较好的视频质量客观评价模型进行了对比分析。结果表明:提出模型的视频质量评价结果与主观评价结果之间的线性相关性系数达到0.8705,显示了较好的一致性,评价效果优于5个典型的模型。     

A system for aligning video-recorded visual data and high-quality multichannel recordings of simultaneously occurring signals

An electronic circuit is described which provides a unique number for each video frame, and which is superimposed on the frame as a 4-digit light-emitting diode display using a second camera and videomixer. The number is also encoded as a simple voltage waveform which is recorded separately together with electrical signals giving information about events related to, and coincident with, the visual data, for example nerve spike trains. Sophisticated computer analysis of signals can thus be related accurately to microscopical visual information processed by video analysis.     

基于元数据的通用查询系统初探

本文把通常用于文献编目的元数据应用在表示数据源信息上,描述了一种基于元数据的通用查询系统模型,详细介绍了其重点部分—配置文件,并对其应用领域和扩展性进行了探讨。     

基于时间和空间冗余的视频隐写分析方法

为了实现对视频隐写的有效检测,提出一种使用支持向量机(SVMs)的视频隐写盲检测方法.该方法利用时间和空间冗余,用帧间共谋的方式获取帧估计数据,提取视频帧的融合马尔科夫和DCT特征,构造SVMs分类器对待测视频进行检测,从而达到视频隐写检测的目的.实验结果表明,该方法能够准确地区分载密视频和原始视频.     

Design and implementation of digital content metadata system

Today＇s multimedia services are far beyond just the voice and data services：they have been diversified tremendously after fueled by the advancement of network infrastructures as well as the sudden surge of multimedia data itself.Currently,researches on metadata insertion,management and transfer keep going very well in order to provide a variety of services to users.In this paper,we propose the design and implementation methods of digital contents metadata system for insertion,storage and retrieval of metadata.The performance evaluation shows that the proposed method performs better than the existing method.     

Analysis‐aware microscopy video compression

This article introduces an analysis‐aware microscopy video compression method designed for microscopy videos that are consumed by analysis algorithms rather than by the human visual system. We define the quality of a microscopy video based on the level of preservation of analysis results. We evaluated our method with a bead tracking analysis program. For the same error level in the analysis result, our method can achieve 1,000× compression on certain test microscopy videos. Compared with a previous technique that yields exactly the exact same results by analysis algorithms, our method gives more flexibility for a user to control the quality. A modification to the new method also provides faster compression speed.     

企业质量元数据标准研究与制定

如何使质量管理人员在现代质量管理环境下有效应用和管理质量数据是提高企业质量管理水平面临的首要问题.提出质量元数据的概念,通过它可使质管人员对质量数据的各种属性有更加深入的了解,为进一步使用和管理质量数据打下坚实的基础.同时,重点阐述质量元数据标准的制定过程,给出元数据标准的内容结构和置标方案.     

射频识别在物品跟踪与追溯系统中的应用

针对供应链全过程的物品跟踪和追溯需求,提出了基于射频识别语义事件的物品跟踪模型和追溯方法;定义了五种射频识别业务事件,使用可扩展标记语言元素描述产品物流信息。通过缓存优先级排队策略处理并发射频识别复杂事件,实现了射频识别事件与业务单据的自动匹配和集成。设计了物品跟踪与追溯系统的功能架构、网络结构和安全体系,通过Web Service和手机短信等多种方式查询追溯信息。将基于射频识别的跟踪与追溯方法应用于大型酒厂的综合管理,可以有效实现高档酒防伪、经销商防窜货管理和库存管理。     

冲压线油液监测参数关联度分析及对比研究

采用典型相关系数和灰色关联度计算,分析了油液监测参数中与磨损相关的元素、油液添加剂元素以及油液粘度之间的关系,从而根据它们的相关程度并结合部分成分变化有助于故障分析、异常状况的确认,或者为了节省成本和时间,可以根据指标的相关性省去一些指标的检验。通过计算对比,得出在贫信息的情况下灰色关联度比典型关联度更能说明因素间的关系。     

基于循环一致性对抗网络的室内火焰图像场景迁移

基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据,即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火,导致该场景下的火灾视频样本不足。本文基于生成对抗网络,将其他相似场景下录制的火焰迁移到指定场景,以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息,再通过添加烟雾和地面反射等风格信息,完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量,采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明,与现有多模态图像转换相比,本文方法可以保证场景中火焰形态的多样性,迁移后的场景具有较高的视觉真实性,所得结果的FID与LPIPS值最小,分别为119.6和0.134 2。     

一种基于XML Schema的异构资源数据库整合中间件

将异构资源数据库整合到数字图书馆系统中所面对的首要问题是异构问题 ,主要包括系统异构、语法异构和语义异构三个方面。本文以W3C的XMLSchema标准作为异构数据源的全局模式 ,借助XMLSchema强的数据描述能力 ,通过实现关系模式的提取、关系模式到XMLSchema的转化和附加语义约束 ,实现了异构资源数据库数据的整合     

Analysis‐preserving video microscopy compression via correlation and mathematical morphology

The large amount video data produced by multi‐channel, high‐resolution microscopy system drives the need for a new high‐performance domain‐specific video compression technique. We describe a novel compression method for video microscopy data. The method is based on Pearson's correlation and mathematical morphology. The method makes use of the point‐spread function (PSF) in the microscopy video acquisition phase. We compare our method to other lossless compression methods and to lossy JPEG, JPEG2000, and H.264 compression for various kinds of video microscopy data including fluorescence video and brightfield video. We find that for certain data sets, the new method compresses much better than lossless compression with no impact on analysis results. It achieved a best compressed size of 0.77% of the original size, 25× smaller than the best lossless technique (which yields 20% for the same video). The compressed size scales with the video's scientific data content. Further testing showed that existing lossy algorithms greatly impacted data analysis at similar compression sizes. Microsc. Res. Tech. 78:1055–1061, 2015. © 2015 Wiley Periodicals, Inc.