面向视频感知的静电力触觉渲染方法

针对视觉障碍的人获取视频等数字媒体信息受限的问题, 为扩展视频等数字媒体信息的触觉感知通道,提出一种面向视频感知的静电力触觉渲染方法。首先,采用基于像素点的视频帧处理算法,根据手指触摸位置获取当前视频帧的目标像素点,然后将目标像素点彩色信息从RGB模型转换为HSI模型,利用像素点色调分量来映射静电力激励信号频率参量,结合像素点亮度和饱和度分量来映射静电力激励信号幅度参量,合成静电力触觉激励信号,实现对实时视频的触觉渲染和感知。最后,设计动态色彩感知实验和亮度辨识感知实验,结果表明,该方法可实现对视频中物体信息的触觉感知,动态识别平均正确率达90.6%,色彩辨识平均正确率达69.4%,亮度辨识平均正确率达80.0%,所提方法能有效提取视频中的动态特征信息,增强视频触觉渲染的实时性。     

彩色图像的纹理力/触觉渲染方法

针对图像纹理力/触觉再现技术中用灰度变化表征纹理所导致的彩色图像在灰度变换后丢失纹理信息的缺点,用颜色变化表征纹理,提出彩色图像的纹理力/触觉渲染方法.该方法中,切向力的计算基于像素力场算法,法向力的计算基于惩罚算法,根据颜色和空间感的心理学效应提出由亮度和色调决定约束空间,合力通过手控器反馈给操作者.实验结果表明,文中方法能够有效地对彩色图像纹理进行力/触觉渲染.     

结合面料属性和触觉感测的织物识别

目的 织物识别是提高纺织业竞争力的重要计算机辅助技术。与通用图像相比,织物图像通常只在纹理和形状特征方面呈现细微差异。目前常见的织物识别算法仅考虑图像特征,未结合织物面料的视觉和触觉特征,不能反映出织物本身面料属性,导致识别准确率较低。本文以常见服用织物为例,针对目前常见织物面料识别准确率不高的问题,提出一种结合面料属性和触觉感测的织物图像识别算法。方法 针对输入的织物样本,建立织物图像的几何测量方法,量化分析影响织物面料属性的3个关键因素,即恢复性、拉伸性和弯曲性,并进行面料属性的参数化建模,得到面料属性的几何度量。通过传感器设置对织物进行触感测量,采用卷积神经网络（convolutional neural network,CNN）提取测量后的织物触感图像的底层特征。将面料属性几何度量与提取的底层特征进行匹配,通过CNN训练得到织物面料识别模型,学习织物面料属性的不同参数,实现织物面料的识别并输出识别结果。结果 在构建的常见服用织物样本上验证了本文方法,与同任务的方法比较,本文方法识别率更高,平均识别率达到89.5%。结论 提出了一种基于面料属性和触觉感测的织物图像识别方法,能准确识别常用的服装织物面料,有效提高了织物识别的准确率,能较好地满足实际应用需求。     

振动触觉纹理再现技术研究综述

纹理力触觉再现是通过特定的硬件装置模拟产生与物体纹理表面接触时的触感，使用户能感受到物体的粗糙度、软硬度等纹理特征信息。振动刺激作为再现物体触觉信息的一种刺激方式，在纹理触觉再现中被广泛运用，产生了不同的振动触觉表达装置和纹理触觉表达方法。从纹理触觉认知的角度，阐述了人对振动刺激的触觉感知生理学基础；介绍了纹理触觉再现的原理和方法；从振动与纹理特征的映射方法以及振动刺激方式两个方面分析了目前振动触觉纹理再现技术的发展现状；最后对相关研究的发展进行了总结展望。     

用于触摸屏交互的可穿戴指端力反馈系统设计

力触觉再现技术在增强用户与触摸屏交互的真实感和沉浸感方面发挥着越来越重要的作用,设计了一种面向触摸屏图像信息感知的可穿戴指端力反馈装置。设计基于线绳牵引驱动的指端力反馈机构,将装置分为驱动和可穿戴部分,使其具备小巧、轻便、易佩戴的特点。设计测控系统,实现了输出反馈力的检测和控制。研究图像信息提取和力触觉建模算法,获取图像中物体的三维特征信息,配合力反馈装置和测控系统实现图像纹理高度、外形轮廓信息再现反馈。实验结果表明,该装置最大可以提供5.3 N的反馈力,能够帮助用户感知触摸屏中图像的高度和形状信息。     

采用金字塔纹理和边缘特征的图像烟雾检测

目的 与传统点式感烟器相比,图像烟雾检测具有响应速度快、非接触等显著优势,但烟雾形状、色彩、纹理千差万别,造成现有算法推广性能不好,亟需提高特征推广性能.为此提出了一种采用图像金字塔纹理和边缘多尺度特征的烟雾检测算法.方法 首先,该算法将图像进行金字塔分解,然后在每层图像上提取局部二元模式(LBP)和边缘方向直方图(EOH),采用不同池化方法得到金字塔局部二元模式(PLBP)和金字塔边缘方向直方图(PEOH)序列特征,分别用于表征烟雾纹理和边缘信息,首尾相连这些直方图后,采用支持向量机(SVM)进行训练、识别烟雾.结果 这金字塔纹理和边缘特征具有很好的分类性能,能够在比较大的图像库上达到94%以上的检测率和3.0%以下的误报率.结论 本文算法提取的纹理、边缘特征,对光照、尺度具有一定不变性,实验结果也表明本文特征对烟雾检测具有较好的推广性能.     

自适应多尺度分块压缩感知算法

目的 基于小波域的多尺度分块压缩感知重构算法忽略了高频信号在重构过程中的作用,丢失了大量的边缘与细节信息。针对上述问题,提出一种自适应多尺度分块压缩感知算法,不仅合理利用低频信息还充分利用图像的高频信息,在图像细节复杂度提高的情况下保证图像重构质量的提高。方法 首先进行3层小波变换,得到一个低频信号和9个高频信号,分别进行小波逆变换后分成大小相同互不重叠的块,对低频部分采用2维邻块边缘自适应加权滤波的方法进行处理,对高频部分采用纹理自适应分块采样,最后利用平滑投影Landweber（SPL）算法对其进行重构。结果 与已有的分块压缩感知算法、基于边缘和方向的分块压缩感知算法和基于纹理和方向的分块压缩感知算法相比,本文算法在不同的采样率下,性能均有所提升,代表细节信息的高频信号得到充分重建,改进的算法所得到的重建图像具有较高的分辨率,尤其对细节较为丰富的图像进行重建后具有较高的峰值信噪比;2维邻块边缘自适应加权滤波有效的去除了重建图像的块效应,且重建时间平均减少了0.3 s。结论 将三层小波变换后的高频分量作为纹理部分,利用自适应多尺度分块重建出图像的轮廓与边缘;将低频分量直接视为平坦部分,邻块边缘自适应加权滤波重建出图像细节,不仅充分利用了图像的高低频信息,还减少了平坦块检测过程,使得重建时间有效缩短。经实验验证,本文算法重建图像质量较好,尤其是对复杂图像明显消除了块效应,边缘和纹理细节较清晰。因此主要适用于纹理细节较复杂的人脸图像、建筑图像和遥感图像等。     

图像场方向导数的局部区域重建

目的 目前图像修复的研究是以人眼不能察觉为目标,注重视觉效果而不追求重建的准确性。本文提出一种能准确重建图像缺损边缘的重建算法。方法 采用稳定场作为图像局部纹理的数学物理描述,提出基于点源影响函数的图像局部区域重建模型,该模型针对每一个缺损点,计算周围各已知点对它的影响,以期较为准确地重建该点;并根据该场中的方向导数,分析各已知点与缺损点的差异性及相似性,确定一种点源影响函数的计算方法,以实现该重建模型。结果 实验结果表明所提算法与传统修复算法相比,对图像边缘及纹理细节的重建更加清晰,同时保持了较好的整体视觉效果;且重建过程无迭代计算,具有较高的效率。结论 实验结果表明,该算法在重建效率和准确重建方面均取得了较好的成果。     

自适应残差图像的分数阶全变分去噪算法

目的 全变分（TV）去噪模型具有较好的去噪效果,但对于图像的弱边缘和纹理细节的保持不够理想。自适应分数阶全变分（AFTV）模型根据图像局部信息,区分图像的纹理区域和非纹理区域,自适应计算投影算法中的软阈值,可较好地保持图像的弱边缘和纹理细节,但该方法当噪声增大时“阶梯”效应比较明显,弱边缘和纹理细节保持效果不够理想。针对该问题,提出一种改进的分数阶全变分去噪算法。方法 该算法在计算残差图像时,用分数阶全变分模型替代整数一阶全变分模型,并根据较精确的残差图像的局部方差区分图像纹理区域和平坦区域,使保真项参数的自适应选取更加合理,提高了算法的去噪性能。结果 针对3种不同类型的噪声图像,将本文模型与TV模型和AFTV模型进行对比实验,并采用峰值信噪比（PSNR）和结构相似性（SSIM）评定去噪效果和纹理保持能力。对于高斯噪声图像,本文算法在PSNR方面比TV模型和AFTV模型分别可平均提高2.72 dB和1.38 dB,SSIM分别可平均提高0.047和0.020。对于椒盐噪声图像,本文算法结合中值滤波算法在PSNR和SSIM方面比传统中值滤波算法分别可平均提高1.308 dB和0.011。对于泊松噪声图像,本文算法在PSNR、SSIM方面与AFTV较接近,比TV分别可提高1.59 dB和0.005。结论 通过对添加不同类型的噪声图像进行实验,结果表明提出的算法在去噪性能上与TV和AFTV相比均有较大提高,尤其对于噪声较大的图像效果更为显著,在去噪效率上与AFTV的时间复杂度相当,时耗接近略有降低。且本文算法普适性较好,能有效去除多种典型类型的噪声。     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。     

基于图像特征的力反馈渲染改进算法

传统基于图像特征的力反馈渲染算法在图像预处理降噪阶段容易丢失虚拟对象表面粗糙度信息。为此,提出一种改进的力反馈渲染算法。在快速矢量滤波器内置噪声检测器之前,增加一级基于图像边缘特征矢量的噪声检测器,以提高噪声检测准确率、保护图像边缘细节特征。实验结果表明,改进算法能够准确描述虚拟对象表面细微的粗糙度信息,实现更逼真的触觉与视觉融合的力反馈。     

Electrostatic tactile display with thin film slider and its application to tactile telepresentation systems

A new electrostatic tactile display is proposed to realize compact tactile display devices that can be incorporated with virtual reality systems. The tactile display of this study consists of a thin conductive film slider with stator electrodes that excite electrostatic forces. Users of the device experience tactile texture sensations by moving the slider with their fingers. The display operates by applying two-phase cyclic voltage patterns to the electrodes. The display is incorporated into a tactile telepresentation system to realize explorations of remote surface textures with real-time tactile feedback. In the system, a PVDF tactile sensor and a DSP controller automatically generate voltage patterns to present surface texture sensations through the tactile display. A sensor, in synchronization with finger motion on the tactile display, scans a texture sample and outputs information about the sample surface. The information is processed by a DSP and fed back to the tactile display in real time. The tactile telepresentation system was evaluated in texture discrimination tests and demonstrated a 79 percent correct answer ratio. A transparent electrostatic tactile display is also reported in which the tactile display is combined with an LCD to realize a visual-tactile integrated display system.     

Virtual hell: a trip through the flames

In immersive virtual environments, our eyes and ears are usually the most important channels of perception. However, you might expect that their creators would include other senses in VEs so as to represent the largest range of stimuli. After all, humans are creatures of many senses and rely upon all of them in day-to-day living. In crafting virtual worlds for exploration, VE developers usually aim for as much realism as possible given the constraints of equipment and cost. Unfortunately, force and tactile feedback still have a long way to go, although tactile feedback models can simulate local geometry, texture reproduction, and heat flux and temperature for replicating collision detection. To investigate the latter options, I developed a complete thermal feedback system, the VR Thermal Kit, which includes different components to model, control, and physically generate stimuli on the operator's skin (usually the hand and exposed parts of the body). The results of my study concentrate on interaction paradigms and haptic rendering. They also enhance the level of immersion     

Data-Driven Texture Rendering on an Electrostatic Tactile Display

In this article, we present a data-driven texture rendering method applied to a tactile display based on electrostatic attraction. The proposed method was examined in two steps. First, accelerations occurring due to sliding a tool on three different surfaces were measured, and then the collected data were replayed on an electrostatic tactile display. The proposed data-driven texture rendering method was evaluated against a conventional method in which a standard input such as a square wave was used for texture representation. Second, data from the Penn Haptic Texture Toolkit were used to generate virtual textures on the same tactile display. Psychophysical experiments were carried out for both steps, during which subjects rated similarities among the rendered virtual textures and the real samples. Confusion matrices were created, and multidimensional scaling (MDS) analysis was performed to create a perceptual space for further examination and to extract underlying dimensions of the textures. The results show that the virtual textures generated using the data-driven method were similar to the real textures. Roughness and stickiness were the primary dimensions of texture perception. Together with the supporting results from the MDS analysis, this study showed that the data-driven method is a viable solution for realistic texture rendering with electrostatic attraction.     

虚拟实验热触觉再现系统的设计与实现

针对目前虚拟实验热触觉装置缺乏的现状,设计了一种基于PTC（Positive Temperature Coefficient）加热片的热触觉感知复现系统。该系统利用HTC VIVE的红外定位,将虚拟环境下热源的空间位置映射为现实环境下制热模块的空间位置。根据虚拟实验中不同位置和不同温度的热源,使用两个步进电机控制热源的位置和方向,并提供4个自由度的热源定位方法;使用PID控制算法控制PTC加热片产生热风的温度,获得不同的热触觉感知。该系统以一种非接触式的触觉感知来呈现虚拟实验的热触觉,保证了热触觉产生的真实性。通过铝热反应虚拟实验,验证该系统的实用性,结果表明该系统的热触觉再现能够提高虚拟实验的真实感受,补偿触觉上缺失的热反馈。     

力触觉反馈装置发展概述

力触觉反馈技术起源于主从机器人领域,能够给操作者带来真实沉浸的体验,提高操作效率。近年来,随着遥操作、虚拟现实等技术的发展,力触觉反馈装置得到了研究人员的高度关注。首先,简要总结了力触觉反馈技术的发展状况;然后,对现有力触觉反馈装置进行了分类,介绍了近年来力触觉反馈装置的研究情况;最后,针对现有研究,分析和阐述了力触觉反馈装置的发展趋势,并指出了目前存在的问题,对力触觉反馈装置未来所面临的机遇与挑战提出了一些见解。     

一种新型手臂力触觉反馈装置的设计与实现

力触觉是重要的非视觉信息来源之一，通过触觉向人类传递丰富的信息被广泛应用于各个领域。为解决基于振动的力触觉反馈中所存在的振动器与皮肤之间接触力不可调和重复穿戴时接触力不一致而影响振动感知的问题，提出了一种利用气囊来调节振动器与皮肤之间的接触力的方法，并以此设计了一种新型手臂力触觉反馈装置。为验证装置的有效性，设计了不同的振动强度识别实验。实验结果表明，对于参与实验的受试者，振动器与皮肤之间的接触力对振动强度的识别的影响是显著的，在气囊内外气压差为15 mbar时，振动强度的识别率最高，为76.67%。