Interactive Paper as a Mobile Client for a Multi-channel Web Information System

We describe how interactive paper can be used together with a multi-channel web information system to build a platform for experimenting with multi-modal context-aware mobile information services. As an application, we present a tourist guide for visitors to an international festival that was developed to investigate alternative modes of information delivery and interaction in mobile environments. The guide is based around a set of interactive paper documents—an event brochure, map and bookmark. The brochure and map are augmented with digital services by using a digital pen to activate links and a text-to-speech engine for information delivery. The digital pen is also used for data capture of event ratings and reviews. The bookmark provides access to advanced searches and ticket reservations. We describe the architecture and operation of the system, highlighting the challenges of extending a web information system to support both the generation of the paper documents and the interaction from these documents, alongside more traditional access channels. Finally, we discuss the range of context-aware interactions that is supported by our platform.     

基于语义学习的图像多模态检索

针对语义鸿沟问题,在语义学习的基础上设计图像的多模态检索系统。该系统结合3种查询方式进行图像检索。基于视觉特征的查询通过特征提取与相似度匹配进行排位。基于标签的查询建立在图像自动标注的基础上,但在语义空间之外的泛化能力较差。基于语义图例的查询能够在很大程度上克服这个缺陷,通过在显式或隐式的语义空间上进行查询,使检索结果更符合人类感知。实验结果表明,与基于纹理特征的图像检索相比,基于语义图例的检索具有更高的精度及召回率。     

基于传感器特征可信度的多信息融合模态研究

信息融合关键在于如何控制信息的数量,处理各种信息之间的关系以及优先级别。提出一种基于信息特征可信度的信息融合方法运用于信息融合的模态构建之中。通过预先优化信息特征的可信度进行信息的一次融合,再通过多信息模态中的特征关联进行信息的二次融合。找到最佳的多信息的模态构建方法,提高信息融合的质量和可信度。     

拥抱融合的多模态灾害分析算法

融合文本和图像的多模态信息相对于单模态可以提升灾害事件分析准确率。但是已有的工作多数将文本特征和图片特征进行简单的融合,在提取、融合特征的时候造成特征的冗余,同时忽略了模态之间的联系,没有考虑到图像和文本之间特征的相关性。为此,本文分析和研究目前流行的多模态融合算法,提出一种拥抱融合的多模态灾害事件分析算法。首先将文本特征和图像的特征向量互相对比,考虑文本和图像特征之间的相关性。然后基于多项抽样,剔除冗余的特征,融合文本特征和图像特征。实验结果表明,拥抱融合在Crisis MMD2.0数据集上实验1的2个任务的分类效果准确率分别高达88.2%、85.1%,都明显优于其他多模态融合模型,表明了该模型的有效性。同时第2个实验也验证了拥抱模型对于不同文本和图像深度学习模型的适用性。     

一种具有多模态索引结构的XML查询算法

将编码方案、路径索引和名字外延思想相结合,提出一种针对XML数据检索的多模态索引结构.它既可支持结构连接计算,用以判断任意结点之间的子孙后代关系,也可支持基于名字外延的路径连接算法,用以判断任意结点之间的父子关系,同时可支持包含拥有关系的小枝查询;进而给出基于该结构的外延连接算法,使得对于长度为n的Xpath绝对路径查询,最多只需n/2-1次外延连接.实验结果表明,本文提出的索引结构可有效提高查询处理性能.     

基于自适应联合字典学习的脑部多模态图像融合方法

针对目前全局训练字典对于脑部医学图像的自适应性不强,以及使用稀疏表示系数的L₁范数取极大的融合方式易造成图像的灰度不连续效应进而导致图像融合效果欠佳的问题,提出一种基于自适应联合字典学习的脑部多模态图像融合方法。该方法首先使用改进的K奇异值分解（K-SVD）算法自适应地从已配准的源图像中学习得到子字典并组合成自适应联合字典,在自适应联合字典的作用下由系数重用正交匹配追踪（CoefROMP）算法计算得到稀疏表示系数;然后将稀疏表示系数的"多范数"作为源图像块的活跃度测量,并提出"自适应加权平均"与"选择最大"相结合的无偏规则,根据稀疏表示系数的"多范数"的相似度选择融合规则,当"多范数"的相似度大于阈值时,使用"自适应加权平均"的规则,反之则使用"选择最大"的规则融合稀疏表示系数;最后根据融合系数与自适应联合字典重构融合图像。实验结果表明,与其他三种基于多尺度变换的方法和五种基于稀疏表示的方法相比,所提方法的融合图像能够保留更多的图像细节信息,对比度和清晰度较好,病灶边缘清晰,客观参数标准差、空间频率、互信息、基于梯度指标、基于通用图像质量指标和平均结构相似指标在三组实验条件下的均值分别为：71.0783、21.9708、3.6790、0.6603、0.7352和0.7339。该方法可以应用于临床诊断和辅助治疗。     

适用于复杂函数优化的多群体遗传算法

提出一种适合于复杂函数寻优的多群体遗传算法。该方法对搜索区域进行划分，使每个子区域具有简单的函数形态，而对每个子区域安排一个子群体进行搜索。这个过程可并行进行。仿真表明该方法速度快，可同时获得多个局部极值点。     

带有精英保留机制的混合差分化学反应算法

传统智能算法在求解复杂的带有多峰特点的优化问题时, 由于其计算量和变异方式的限制很容易陷入局部最优, 并且不具备跳出局部最优进行二次搜索等能力。针对这一问题, 本文提出了混合差分的化学反应算法, 在利用化学反应算法(CRO)良好的全局搜索能力的同时, 使用差分变异策略来加强算法的计算精度。对于优秀分子可能在反应中被消耗掉的现象, 有针对性地加入了精英保留机制来保持种群的优良。本文选取了CEC2005中的测试函数, 特别是几个带有多峰特点的复杂测试函数来分析改进算法的各项性能, 并与几个改进的智能算法进行了对比实验。最终验证改进算法在提高计算精度和全局搜索能力两方面具有良好的效果。     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

基于边缘特征的异质图像目标配准方法

目标检测作为计算机视觉的重要研究课题,在视频监控和智能导航方面有重要应用.图像配准技术是刚体目标检测方法之一.异质图像间目标的纹理差异极大,为此,对于目标的可见光俯视图像与机载红外摄像机观测异质图像,通过研究基于边缘特征的配准技术,实现对地面平面目标的配准检测.笔者首先通过建立机载运动摄像机空间模型,解决了红外观测图像的视角变换问题,将其换到与参考图像一致的视角,提出一种新颖的基于稳定区域轮廓合成的边缘提取方法,更好地控制异质图像的边缘提取效果,边缘特征匹配是在距离变换的基础上实现的,提出了一种基于稳定区域距离图像互相关的匹配度量准则.实验表明,算法能有效地实现异质图像间的目标配准检测.