基于混合现实的远程协同式装配维修引导

提出一种基于混合现实设备 HoloLens 头盔的一种远程协同装配维修系统。利用 HoloLens 的深 度摄像头和摄像头对空间的感知能力,通过改进手势识别算法将专家端的二维手势操作转换为用户端的三维动 画标识。这种简洁生动的三维动画标识通过空间锚点固定在相应的空间位置上,为操作人员开展下一步操作提 供清晰的指引,且无需放下手头工作与计算机进行手势交互,实现了专家-用户模式的远程协同工作。相对于 传统的协同式系统,实验验证了该文开发的协同式装配维修引导系统的友好性和实用性。     

基于混合现实的矿用设备维修指导系统

针对矿用设备现场维修知识和专业指导不足导致维修效率低、周期长,虚拟现实和增强现实技术实现平台一般为头戴式设备、手机等,设备的移动性很好,但用户只能依赖交互手柄、触摸屏进行交互,视觉体验缺乏真实性,设计了一种基于混合现实的矿用设备维修指导系统。该系统基于Unity3D虚拟现实平台,采用混合现实设备HoloLens实时显示维修指导方案,实现了矿用设备原理虚拟仿真、基于二维码的设备管理、设备维修指导和远程专家协作等功能。HoloLens通过虚拟文字、虚拟设备模型、动画及语音提示等方式将维修指导信息直观地呈现给维修人员,维修人员可通过视线跟踪、语音交互、手势识别等方式与HoloLens交互。采煤机齿轮磨损故障维修指导应用实例验证了该系统的实用性和有效性。     

一种基于PDF动态标注的远程维修指导系统

针对短波低速通信条件下船舶远程维修指导效率低下的问题,提出了一种新的基于PDF动态标注技术的远程维修指导信息交互手段。基于Acrobat SDK实现了PDF文档所见即所得方式的动态标注,其中重点解决了PDF文档动态加载、基于Windows钩子技术的PDF文档鼠标响应处理、PDF标注动态添加中的坐标空间变换以及PDF标注文本的动态修改等问题。实际应用表明,通过应用PDF动态标注技术,实现了窄带低速通信条件下的所见即所得的维修信息描述,为无视频通信辅助条件下的高效远程维修指导提供了一种可行手段。     

领域科研项目评审专家推荐算法

为提高领域科研项目评审质量,提出一种基于领域标签体系的推荐算法.进行数据采集与处理,构建专家库;采用命名实体识别模型识别专业领域名词,用于构建领域标签体系;设计基于关键词抽取算法与专业实体识别模型相结合的项目申请文档标签标注算法,提出基于三元组的专家标签标注模型,构建推荐专家候选集;基于专家社会关系网络进行专家回避筛选,实现推荐.通过实际应用情况反馈,该算法以领域标签体系的形式,有效解决了技术名词命名不统一等问题,融入专家社会关系规避的推荐模型,为项目评审公平性提供了保障.     

支持背景知识的多维端到端短语识别算法研究

目前,实体识别与依存关系分析,采用的主要是基于监督学习的深度端到端方法.这种方法存在两个问题:不能引入背景知识;不能识别出自然语言的多粒度、嵌套特征.为了解决以上问题,提出了基于短语窗口的依存句法标注规则,并标注了中文短语窗口数据集(CPWD),同时设计了配套的多维端到端短语识别模型(MDM模型).该标注规则以短语为最...     

多点触控手势识别算法的研究

本文针对当下流行的多点触控设备,对多点触控手势识别算法进行了研究,通过类比计算机中的快捷键设计出了一系列的触控手势,并结合曲线识别算法提出了一种多点触控手势识别算法。实验在当下流行的Android设备上进行,手势检测成功表明了识别算法的有效性。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于轮廓PCA的字母手势识别算法研究

提出了一种改进的手势检测识别算法。首先对采集的手势图像综合运用Krisch算子的背景差分与肤色分割等算法进行预处理,然后根据手势的方向去除胳膊等非目标,截取手型区域。最后对手型图像进行轮廓检测,根据手型轮廓的二值图像进行PCA降维,并与投影降维后的样本计算空间距离,从而进行手势分类。通过此方法可以快速、准确地检测到手型区域,识别手型含义,且具有实时性。     

电视剧语音识别中的半监督自动语音分割算法

针对具有大段连续文本标注、但无时间标签的电视剧语音提出了一种半监督自动语音分割算法。首先采用原始的标注文本构建一个有偏的语言模型,然后将该语言模型以一种半监督的方式用于电视剧语音识别中,最后利用自动语音识别的解码结果对传统的基于距离度量、模型分类以及基于音素识别的语音分割算法进行改进。在英国科幻电视剧“神秘博士”数据集合上的实验结果表明,提出的半监督自动语音分割算法能够取得明显优于传统语音分割算法的性能,不仅有效解决了电视剧语音识别中大段连续音频的自动分割问题,还能对相应的大段连续文本标注进行分段,保证分割后各语音段时间标签及其对应文本的准确性。     

基于多尺度上下文的图像标注算法

提出了一种在层次化分割框架下,通过结合图像的底层局部特征以及高层的上下文特征,进行图像自动语义标注的新算法. 该算法的核心思想在于对较大的图像区域的识别结果有利于对其包含的较小图像区域进行识别.算法首先对每层分割后的图像区域进行识别, 然后利用贝叶斯定理将各层区域识别的结果通过线性加权的方式进行融合,从而达到对整幅图像进行自动语义标注的目的.与现有的图像标注算法相比,仿真实验表明本文算法获得了最好的标注精度以及最快的标注速度.     

基于RGB-D信息的动态手势识别方法*

针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低,实时性差等问题进行了研究,提出一种的动态手势识别方法。该方法首先利用K均值聚类算法和YCr''Cb''（由YCrCb变换得到）椭圆肤色模型对RGB-D图像完成手势分割;然后将深度信息引入到传统卡尔曼滤波算法中,作为其跟踪参数之一,并在跟踪过程中对检测范围进行加窗处理;最后结合快速动态时间规整算法和突出关键特征点的思想,改进传统动态时间规整算法,并利用改进后的动态时间规整算法完成手势识别。实验表明：提出的手势识别方法,在复杂背景下的识别率较高（96.8±1.5%）,实时性较好（识别时间1.86±0.02ms）。     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类（CNN-Softmax-SVM）的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.     

基于混合现实技术的变电站智能运检辅助系统的设计与实现

针对变电站运检现场工作智能化等业务的需求,开发了一套基于混合现实技术的变电站智能运检辅助系统。该系统基于智能穿戴设备HoloLens,提供了变电站智能辅助运检的一整套解决方案。系统包括电力设备识别与虚拟拆装、设备运行状态实时三维可视化、远程专家视频辅助等模块。该系统在国内某110kV变电站进行了部署,现场应用表明该系统切实优化了传统运检现场工作方式,提升了运检效率,在行业内具备实用性和推广性。     

基于相关视觉关键词的图像自动标注方法研究

图像自动标注是计算机视觉与模式识别等领域中的重要问题.针对现有模型未对文本关键词的视觉描述形式进行建模,导致标注结果中大量出现与图像视觉内容无关的标注词等问题,提出了基于相关视觉关键词的图像自动标注模型VKRAM.该模型将标注词分为非抽象标注词与抽象标注词.首先建立非抽象标注词的视觉关键词种子,并提出了一个新方法抽取非抽象标注词对应的视觉关键词集合;接着根据抽象关键词的特点,运用提出的基于减区域的算法抽取抽象关键词对应的视觉关键词种子与视觉关键词集合;然后提出一个自适应参数方法与快速求解算法用于确定不同视觉关键词的相似度阈值;最后将上述方法相结合并用于图像自动标注中.该模型能从一定程度上解决标注结果中出现的大量无关标注词问题.实验结果表明,该模型在大多数指标上相比以往模型均有所提高.     

手势特征提取与图像分割的优化研究

手势识别的关键是手势分割。在现实应用中,手势图像因光照强度和复杂背景会存在不同程度的畸变,致使手势分割的精确程度降低以及分割消耗的时间增长。针对这一弊端,提出改进传统手势识别的思路。对手势进行主要特征点的提取,将多个先验图像减至单个先验图像,缩短了手势分割所需的时间;将YCBCR色度空间和粒子滤波跟踪算法相融合,更新参数阈值,优化边缘去噪。该方法将手势分割的准确度提升至96%以上,用时降至2ms以内,精准程度高,所耗时间短,在复杂环境下的识别效率高。     

基于改进Live-Wire算法的无人机遥感影像标注

标签的制作是深度学习应用的关键步骤,为了克服无人机平台的复杂运动、光照条件不足、地物轮廓复杂等导致遥感影像的地物轮廓提取和标注的难点,文中提出一种改进的Live-wire算法并用于无人机遥感影像的典型地物的标签标注;通过改进模糊隶属度函数克服了Pal-King隶属函数灰度覆盖空间不足的缺陷并结合双阈值方法实现边缘点的提取,以改进的Pal-King的模糊边缘检测方法替代Live-Wire算法的拉普拉斯边缘提取方法;通过增加节点之间梯度幅值的变化特征优化代价函数,以提高Live-Wire算法的轮廓跟踪的连续性;大量的对比实验证明,相较于传统方法,改进的Live-Wire方法的轮廓提取和跟踪的稳健性、效率更高.     

HEGM: A hierarchical elastic graph matching for hand gesture recognition

A hierarchical scheme for elastic graph matching applied to hand gesture recognition is proposed. The proposed algorithm exploits the relative discriminatory capabilities of visual features scattered on the images, assigning the corresponding weights to each feature. A boosting algorithm is used to determine the structure of the hierarchy of a given graph. The graph is expressed by annotating the nodes of interest over the target object to form a bunch graph. Three annotation techniques, manual, semi-automatic, and automatic annotation are used to determine the position of the nodes. The scheme and the annotation approaches are applied to explore the hand gesture recognition performance. A number of filter banks are applied to hand gestures images to investigate the effect of using different feature representation approaches. Experimental results show that the hierarchical elastic graph matching (HEGM) approach classified the hand posture with a gesture recognition accuracy of 99.85% when visual features were extracted by utilizing the Histogram of Oriented Gradient (HOG) representation. The results also provide the performance measures from the aspect of recognition accuracy to matching benefits, node positions correlation and consistency on three annotation approaches, showing that the semi-automatic annotation method is more efficient and accurate than the other two methods.     

显著图和多特征结合的遥感图像飞机目标识别

目的 遥感图像飞机目标的检测与识别是近年来国内外研究的热点之一。传统的飞机目标识别算法一般是先通过目标分割,然后提取不变特征进行训练来完成目标的识别。在干扰较少的情况下,传统算法的识别效果较好。但遥感图像存在着大量的干扰因素,如光照变化、复杂背景及噪声等,因此传统算法识别精度较低,耗时量较大。为快速、准确识别遥感图像中飞机目标,提出一种基于显著图和全局特征、局部特征结合的飞机目标识别算法。方法 首先使用改进的Itti显著算法提取遥感图像中的显著目标;接着使用基于区域增长和线标记算法寻找连通区域来确定候选目标的数量和位置;然后提取MSA（multi-scale autoconvolution）、Pseudo-Zernike矩和Harris-Laplace特征描述子,并使用标准差和均值的比值来评估特征的稳定性,再把提取的特征结合成特征向量;最后应用支持向量机的方法完成对候选目标的识别。结果 实验结果表明,本文算法检测率和识别率分别为97.2%和94.9%,均高于现有算法,并且耗时少,虚警率低（为0.03）,对噪声干扰、背景影响以及光照变化和仿射变化均具有良好的鲁棒性。结论 本文算法使用了图像的3种特征信息,包括MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子,有效克服单一特征的缺点,提高了遥感图像飞机目标的识别率和抗干扰能力。