视频与音频特征融合生成动作指令组的方法研究

为了提高人与机器人的语音交互能力,提出一个基于视频特征与音频特征融合的动作三元组分类的神经网络框架,其本质是从音视频中提取高度概括动作的指令组。该框架包含三个模块,分别是视频特征提取网络模块、音频特征提取网络模块、特征融合模块。视频特征提取网络模块使用I3D网络结构提取视频特征;音频特征提取网络模块使用卷积神经网络以及双向长短期记忆网络提取音频特征;特征融合模块将视频特征和音频特征进行融合并输出动作三元组的分类。通过在制作的动作音视频数据集上的实验证明,所提出的音视频特征融合网络能达到74.92%的准确率,且具有较强的鲁棒性。     

基于双向条目注意网络的推荐系统

提出了一个基于双向条目注意网络(Dual-aspect Item Attention Network, DIAN)的推荐系统, DIAN由2个主要模块组成, 分别是用于建模历史条目和目标条目之间的条目相似性的神经关注模型(Neural Attentive Item Similarity Model, NAIS)和用于建模历史条目之间相似性的双归一化自注意力条目相似性模型(Dual Normalization Self-attention Item Similarity, SAIS)。一方面, 引入神经注意模型来区分用户配置文件中历史项对目标项的影响。另一方面, 为了更好地表达用户的兴趣, 引入自注意力网络, 从用户的历史交互项中推断出条目与条目之间的关系。提出的SAIS模型能够估计用户交互轨迹中每个条目对用户兴趣的相对权重。用双重归一化机制改进了标准的自注意力网络, 并且在2个公共基准上进行大量实验证明所提出的方法优于最先进的推荐模型。     

基于多Agent的恶意环境下的控制系统任务分配方法

为了保证控制系统的执行,研究了恶意节点环境下分簇控制系统的任务分配.首先采用多Agent方法对分簇控制系统进行建模分析,将系统中节点的不同功能组件建模为自治Agent,采用Agent联盟子系统对簇进行建模;然后在多Agent建模分析的基础上提出簇信誉的概念,通过簇信誉度量每个簇执行任务的可靠性和能力;最后提出基于簇信誉和控制单元信誉的多Agent分簇控制系统的安全任务分配方法,该方法可以有效提高任务执行的安全可靠性.     

即时交互式问答系统的设计与实现

提出一种即时的、基于用户交互的问答系统设计方案.该系统依照客户服务器(C/S)结构进行搭建,通过互助模式解答人们提出的问题,利用问题推荐机制将松散的用户群组织成为高效的协作网.推荐问题时,通过用户建模技术准确评估用户对各个知识领域的信誉度、权威性以及工作能力以保证将问题推荐至合适用户;采用调度技术依照重要性依次推荐问题,并在保证拥有较高回答率的前提下,将所有问题均匀的推荐至不同用户处进行回答.实验展示了依照该方案所实现的原型系统的服务器端和客户端的运行情况并展现了推荐的精确度.     

应用对象过程图扩展UML建模环境

统一建模语言UML存在着面向对象建模的不足,例如,用多个模型表示系统,模型的一致性难以保证.UML的工作主要集中于面向对象的分析和设计阶段,在实现阶段并没有做过多的努力等等,给系统设计带来了不便.提出了在UML建模环境中引入对象过程图(object-process diagram,简称OPD),为多个模型的一致性提供了统一的标准,提高了程序文档的可理解性和可维护性,使得扩展后的UML具备从面向对象分析到程序设计的完全可视化的描述能力.     

iFind: 一个结合语义和视觉特征的图像相关反馈检索系统

给出了一个结合语义与视觉特征信息的图像相关反馈检索系统－－iFind。系统通过图像的标注信息构造语义网络，并在相关反馈中与图像的视觉特征相结合，有效地实现了在两个层次上的相关反馈，在基于内容的图像检索中取得了较为理想的效果，具有一定的应用价值。     

语义保持哈希在跨模态检索中的应用

哈希表示能够节省存储空间,加快检索速度,所以基于哈希表示的跨模态检索已经引起广泛关注。多数有监督的跨模态哈希方法以一种回归或图约束的方式使哈希编码具有语义鉴别性,然而这种方式忽略了哈希函数的语义鉴别性,从而导致新样本不能获得语义保持的哈希编码,限制了检索准确率的提升。为了同时学习具有语义保持的哈希编码和哈希函数,提出一种语义保持哈希方法用于跨模态检索。通过引入两个不同模态的哈希函数,将不同模态空间的样本映射到共同的汉明空间。为使哈希编码和哈希函数均具有较好的语义鉴别性,引入了语义结构图,并结合局部结构保持的思想,将哈希编码和哈希函数的学习融合到同一个框架,使两者同时优化。三个多模态数据集上的大量实验证明了该方法在跨模态检索任务的有效性和优越性。     

结合增量学习的物体抓取检测框架

为了解决未知类别物体的抓取问题,提出了一种结合增量学习的物体抓取检测框架,该框架分为抓取学习和增量学习两个阶段.在第1阶段,对已知的物体使用密集注意力网络进行训练,该网络利用注意力机制对特征通道和密集残差连接之间的关系进行建模.在第2阶段,引入了聚类优先样本选择策略,该策略会挑选出那些与其聚类质心距离相近的样本,用这些新样本替换掉示例集中的部分旧样本进行训练.此外在未知类别物体上训练网络时,还引入了蒸馏损失,以保留之前在已知类中学到的知识.通过在Jacquard数据集和UR10e机器人上进行的实验,表明了该方法在抓取未知类别物体方面有一定的可行性和有效性,克服了机器人在抓取未知类别物体上的缺陷.     

基于多重因素的个性化学习推荐系统

为解决现有学习推荐算法中存在的忽略对学生知识点掌握情况的分析、不能将知识掌握程度概率化等问题,提出一种基于多重因素的学习推荐方法。该方法综合考虑知识点的综合权重、错误率和失分率多个因素构建知识点掌握概率模型,并应用所提出的策略实现一个在线的个性化学习推荐系统。系统评估上对200名高中生进行了一项调查,本系统推荐top-8知识点的准确率达到91.2％,◢F◣▼1▽达到78.4％。系统调查的结果显示了提出策略的有效性和可靠性。     

基于多尺度特征融合的恶意HTTP请求检测方法

针对当前网络环境中恶意HTTP请求攻击泛滥的问题,提出了一种多尺度特征融合的检测方法。首先从单词级和字符级两个尺度对HTTP请求进行建模,然后使用卷积神经网络提取其高阶语义特征;再借助多尺度特征融合技术,学习HTTP请求的多尺度公共向量表示;最后使用线性分类器进行分类。实验结果表明该方法性能在HTTP CSIC 2010数据集和WAF真实数据集上优于现有方法。