Towards effective video annotation: An approach to automatically link notes with video content

The characteristics of annotations, such as highlighting, context-based notes, and organization are difficult to translate from the traditional paper-based medium to the digital format. An added challenge is how to facilitate annotations on a digital video in a collaborative distance learning environment. To explore issues in video annotation, we developed a tool called Interactive Shared Education Environment (ISEE). ISEE automatically generates hyperlinked timestamps, which we called Smartlinks, to associate the notes with their video contents. A usability study with 59 participants, following up by a small-scale eye-tracking study, was conducted to explore users’ video note-taking behaviors and to examine the effect of the new Smartlink design. Our results showed that participants with Smartlink took fewer notes, focused less on video controls and more on video content than those without Smartlink. We believe the main benefit of Smartlink is that it may offload non-learning related cognitive loads and allow users to take better notes. Findings from this study on users’ video annotation behaviors shed light on the future design of video annotation systems in both individual and collaborative environments.     

Large scale automatic image annotation based on convolutional neural network

Automatic image annotation is one of the most important challenges in computer vision, which is critical to many real-world researches and applications. In this paper, we focus on the issue of large scale image annotation with deep learning. Firstly, considering the existing image data, especially the network images, most of the labels of themselves are inaccurate or imprecise. We propose a Multitask Voting (MV) method, which can improve the accuracy of original annotation to a certain extent, thereby enhancing the training effect of the model. Secondly, the MV method can also achieve the adaptive label, whereas most existing methods pre-specify the number of tags to be selected. Additionally, based on convolutional neural network, a large scale image annotation model MVAIACNN is constructed. Finally, we evaluate the performance with experiments on the MIRFlickr25K and NUS-WIDE datasets, and compare with other methods, demonstrating the effectiveness of the MVAIACNN.     

基于深度学习的变电站硬压板状态检测与识别算法

针对变电站的一键顺控停、送电操作不当将导致投退操作的问题,提出了一种基于深度学习的变电站硬压板状态检测与识别算法.使用一个共享网络提取图像特征,基于多任务学习方法建立3个分支联合解决硬压板位置检测、投切状态检测和标识检测这3个任务;采集标注了8 000张硬压板图片数据用于训练和测试.结果表明,所提出的方法能够在提升硬压板状态识别精度的同时,也提升一键顺控操作的安全性.     

试议科技论文参考文献的标注与著录

参考文献是科技文的重要组成部分，是学术期刊引文进行数据统计和分析的重要信息源之一，通过对“CAJ－CD B／T1－1998中国学术期刊（光盘版）检索与评价数据规范（试行）”的执行，针对目前科技论文来稿的诸多存在问题进行了评议。为国家相关规范的进一步实施与贯彻作一些基础工作，以期更好地提高期刊的质量和水平。     

基于语义分类的文物图像标注研究

由于图像数据中普遍存在的“语义鸿沟”问题，传统的基于内容的图像检索技术对于数字图书馆中的图像检索往往力不从心。而图像标注能有效地弥补语义的缺失。文中分析了图像语义标注的现状以及存在的问题，提出了基于语义分类的文物语义标注方法。算法首先通过构建一个Bayes语义分类器对待标注图像进行语义分类，进而通过在语义类内部建立基于统计的标注模型，实现了图像的语义标注。在针对文物图像进行标注的实验中，该方法获得了较好的标注准确率和效率。     

基于语义分类的文物图像标注研究

由于图像数据中普遍存在的“语义鸿沟”问题,传统的基于内容的图像检索技术对于数字图书馆中的图像检索往往力不从心。而图像标注能有效地弥补语义的缺失。文中分析了图像语义标注的现状以及存在的问题,提出了基于语义分类的文物语义标注方法。算法首先通过构建一个Bayes语义分类器对待标注图像进行语义分类,进而通过在语义类内部建立基于统计的标注模型,实现了图像的语义标注。在针对文物图像进行标注的实验中,该方法获得了较好的标注准确率和效率。     

奇异数据类型的编译支持

专用处理器，如DSP等，因主要支持特定应用，其指令集往往只支持有限的数据类型。在采用高级语言为其编程时，若采用了处理器不支持的奇异数据类型，编译器必须在保持语义的前提下将其转化为处理器支持的一段指令。该文提出了一种在VLIW DSP编译器中实现对奇异数据类型的处理的方法，包括对含有奇异数据类型的中间代码的注释、调度依赖关系的计算、寄存器分配的改进。该类方法对编译器的改动相对较小，效率较高。     

使用Annotation标识Java程序中的设计模式信息

提出一种基于标注（Annotation）的Java程序中设计模式信息的表示方法．通过定义相关的标注，在程序中标识被实例化的模式信息，如模式名、角色名等．同时，提取程序中的Annotation信息后，根据需要可以对它们作进一步的格式化处理．该方法有效地解决了模式实例的文档化问题，有助于程序的理解和逆向工程中模式的识别．     

基于贝叶斯通用背景模型的图像标注

在高斯图特征提取过程中,通用背景模型(Universal background model, UBM) 方法常用于根据总体分布估计每一幅图像中特征点分布的高斯混合模型(Gaussian mixture model, GMM)参数. 然而UBM估计的GMM权重参数中有很多接近零的数值,它们所对应的高斯分量对分布估计贡献小却又都参与了计算, 因此UBM的时间复杂度较高. 为解决这个问题,本文提出Bayes UBM方法. 通过引入受限的对称Dirichlet分布来描述GMM权重参数的先验分布,利用Bayes最大后验概率对GMM参数集进行估计. 实验表明Bayes UBM方法不仅有效地降低了时间复杂度,而且提高了Corel数据集上的图像标注精度.     

基于CCA子空间和GMM的自动图像标注

为了避免图像分割,并提高图像标注精度,提出一种基于典型相关分析(CCA)和高斯混合模型(GMM)的自动图像标注方法.利用CCA对图像的全局颜色特征与全局局部二值模式(LBP)纹理特征进行特征融合.使用融合后的语义特征,对每一个关键词建立GMM模型来估计单词类密度,从而在特征子空间中得到每个单词的概率分布.采用贝叶斯分类器确定每个标注词和测试图像的联合概率,运用词间语义关系优化标注结果.实验结果表明,使用该方法后的图像标注性能有了较大程度的改善.