基于Leap Motion的手术室无干扰交互技术

在手术室中,传统人机交互技术很大程度上依赖于鼠标、键盘、触摸屏等输入设备,但这种接触式交互有导致患者感染的风险.而虚拟操作人机交互过程采用计算机视觉来获取手势信息,在交互的自然性与成本上有很大的优势,是现如今人机交互领域发展的主要趋势.本文介绍了一种基于Leap Motion的手势控制技术,利用AR技术和Leap Motion设备,使得手术过程中医生无需接触手术设备,在非接触式设备的帮助下使医生能彻底远离因接触设备给手术带来的干扰和手术风险.实验表明,相比于传统的接触式交互技术,基于Leap Motion的手术室无干扰交互技术在一定程度上减少了接触式交互所带来的手术感染风险并增加了医生操作的易用性.     

普适计算中多通道交互建模研究

计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力,其中一个重要原因就是缺少一个与之相适应的高效、自然的人机交互界面.普适计算的发展为人们提供了一个无处不在的获取服务的环境,而多通道用户界面允许用户使用自然的交互方式,如语音、手势、表情等在此环境中与系统进行协同工作,改变了传统交互手段的局限性.重点讨论了基于笔和语音的多通道交互,给出了普适环境中对多通道交互建模的框架,进一步研究了在图形信息应用中的多通道交互实例,论证了创建自然多通道交互方式的优势.     

基于HoloLens的非接触式测量方法

运用微软混合现实技术产品HoloLens,提出了一种具有交互功能的非接触测量方法.利用HoloLens深度摄像头实现测量空间的扫描,通过凝视和手势功能确定测量目标点,从而可以进行非接触式测量,自动计算目标点之间的距离、面积和体积,此外还通过语音识别功能来进行交互.相对于传统的测量工具而言,本文开发的交互测量工具使得人们可以用更自然的交互方式进行非接触式测量,所测量的范围更大更广,不仅可以测量距离,同时还可以自动计算面积和体积,有些不方便尺子测量的地方,通过本文研究的非接触式测量工具可以进行测量,具有一定的应用价值.     

基于EAIDK310和OneNET云平台的非接触式智能门禁系统

物联网时代下,智能家居作为人们日常生活中重要的一环,正在飞速发展。设计了一款基于EAIDK310和OneNET云平台的非接触式智能门禁系统,采用Arm公司与Open AI Lab联合开发的EAIDK310人工智能开发套件作为系统控制核心,在主控板内通过人脸识别、手势识别、语音交互等功能实现无接触门禁进出。系统借助人工智能中发展较为成熟的卷积神经网络并通过百度AI开放平台的领先优势进行人脸识别、手势数字识别和语音实时交互,在保证识别速度够快的同时也能够维持非常高的识别精准度,引入活体检测避免不法分子使用照片欺骗系统,使得整个门禁系统更加安全。系统通过Wi-Fi将数据上传移动OneNET云平台,与微信小程序进行数据图像交互,主人可在任何地点通过手机对门禁系统进行解锁等操作,并能监控门禁外实时图像,能够在住户安全方面提供保障。     

手持移动计算中的多通道交互

手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率.     

基于多重触控的多通道视觉界面信息传达仿真

多通道视觉界面信息操作手势多样化,为满足不同用户需求,提出一种基于多重触控的多通道视觉界面信息传达方法.使用神经网络对原子手势建模,引入逻辑、时序和空间关系描述符分析组合手势架构,运用BP网络分类器检测原子手势,触发组合手势模型转移,实现多重触控手势识别;定义交互界面与程序主体功能不同路径,划分交互设备与信息处理过程,实现多通道信息整合与交互控制;最后将初始数据材料变换成信息模式,变量删除网络界面,把所有删除变量安置在删除树内组建连接树,将观测变量似然函数进行势更新,完成视觉界面信息传达全部过程.仿真结果表明,人机交互自然性有效提高,可为用户提供更加多元化网络服务.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用. 在RGB图像的手势识别与交互过程中, 一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低, 另一方面用户对交互手势的认知与设计师设计的手势有差异, 导致用户交互体验反馈较差. 针对这两个问题我们进行了系统性的优化: 首先把用户的认知与交互手势设计原则联系起来建立手势共识集; 其次进行手势图像的色彩平衡处理, 利用椭圆肤色模型分割手势区域; 然后将二值化手势图像输入到MobileNet-V2轻量化卷积神经网络进行手势识别率的计算. 手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计, 减少用户在实际交互过程中的认知偏差, 提高交互系统的可用性和效率.     

多传感器信息融合伺服的移动机器人快速跟随

针对移动机器人快速跟随任务的需要,采取了多传感器信息融合的伺服控制,用双目摄像机对移动机器人进行视觉导航,利用激光雷达和超声波传感器完成移动机器人的避障设计,通过位于机器人轮部的光电编码器反馈信息处理实现机器人的自定位,语音交互和手势交互共同完成移动机器人的人机交互,制定了移动机器人快速跟随整体策略并提出了软硬件系统集成方案.在实验环境中通过实验和实践表明了移动机器人能够快速顺利的完成跟随任务.     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

基于游标模型的沉浸式医学可视化非接触式手势交互方法

在高度沉浸式的虚拟环境中,由于用户的整体视觉空间被渲染的可视化映射所覆盖,传统鼠标、键盘以及触控屏幕等交互方式无法直接应用到沉浸式环境下,大大影响了分析和理解3D医学数据的效率与准确性.为实现沉浸式虚拟环境下对3D医学数据的交互操作,提出一种基于游标模型的非接触式手势交互方法.首先借助游标模型快速确定手势状态,定义4种手势动作实现位移、缩放、旋转以及剖切4种医学可视化交互操作,并借助弹簧模型改善手势抖动问题;最后以HTC VIVE+Leap Motion构建沉浸式医学可视化系统,定义6项分析任务,对比鼠标、手柄等交互方式,从训练时间、完成时间、操作难度和用户反馈4个方面验证文中方法的有效性.     

基于Kinect的手术辅助系统研究

针对手术室无菌环境要求非常高的现实需求,以及传统鼠标键盘等人机交互方式存在的需要定期消毒且无法在手术过程中进行操作等客观限制,对目前手术室中人机交互存在的问题进行了分析,提出了一套基于Kinect自然人机交互技术的手术辅助系统。该系统包括一个病人资料库、一套Windows系统下基于Kinect自然人机交互技术的控制程序及一套Kinect手术辅助系统硬件。实验结果表明通过Kinect可以收集操作者的手势、动作、声音等,并将其转化为操作系统可以理解的命令,对手术辅助系统进行相关操作,从而辅助手术进行。该系统对于改善手术条件、节省手术时间、缓解病患痛苦具有一定帮助。     

Optimization of layout and path planning of surgical robotic system

Positioning a surgical robot for optimal operation in a crowded operating room is a challenging task. In the robotic-assisted surgical procedures, the surgical robot’s end-effector must reach the patient’s anatomical targets because repositioning of the patient or surgical robot requires additional time and labor. This paper proposes an optimization algorithm to determine the best layout of the operating room, combined with kinematics criteria and optical constraints applied to the surgical assistant robot system. A new method is also developed for trajectory of robot’s end-effector for path planning of the robot motion. The average deviations obtained from repeatability tests for surgical robot’s layout optimization were 1.4 and 4.2 mm for x and y coordinates, respectively. The results of this study show that the proposed optimization method successfully solves the placement problem and path planning of surgical robotic system in operating room.

     

非接触式电站高温预警系统设计

配电站中的故障电气设备的工作温度会处于高于其正常工作温度的状态,易造成火灾。设计了一种非接触式的实时高温预警系统。系统利用长波红外相机对被测试目标进行非接触式灰度成像,基于LabVIEW上位机实时采集图像并对图像数据进行处理,从而得到所拍摄电气设备实时工作温度。若此温度值高于电气设备安全工作的最高温度值,下位机报警,工作人员可根据系统所成图像确定故障位置,进而提前排除安全隐患。测试结果表明：系统运行稳定、操作简便。系统能够有效地对电站中的电气设备运行状态进行实时监测和精确预警,极大程度地降低了工作人员的安全风险,提高了工作效率。     

Steps in the development of a robotic scrub nurse

This paper describes how a robotic scrub nurse has been developed to assist human scrub nurses (also called delivery scrub nurses) during surgical interventions. The developed system in this work (nicknamed Quirubot) is equipped with a speech recognition module to recognize the requested surgical instrument; Quirubot locates this element on a storage tray using computer vision and pattern recognition and picks the element from the tray placing it on an interchange tray where the human scrub nurse can finally use this tool. Moreover, to implement the manipulation of surgical instruments, an electromagnetic gripper has been adapted to pick and place them. Fanuc LR Mate 200iB robot has been electrically modified to add a new connector devoted to control the electromagnetic gripper. Nowadays Quirubot can identify up to 27 surgical instruments and more than 82 spoken instructions; the advantages of the system have been demonstrated using a group of experienced and intermediate skilled scrub nurses in a open abdominal aortic aneurysm surgery simulation (experiments performed in a robotics lab and an operating room). After this study, the use of a robotic scrub nurse is justified in an nBio operating room to improve the system up to obtaining a more robust version to be used at the Hospital Universitario de Sant Joan d’Alacant.     

Design and implementation of a PC-based image-guided surgical system

In interactive, image-guided surgery, current physical space position in the operating room is displayed on various sets of medical images used for surgical navigation. We have developed a PC-based surgical guidance system (ORION) which synchronously displays surgical position on up to four image sets and updates them in real time. There are three essential components which must be developed for this system: (1) accurately tracked instruments; (2) accurate registration techniques to map physical space to image space; and (3) methods to display and update the image sets on a computer monitor. For each of these components, we have developed a set of dynamic link libraries in MS Visual C++ 6.0 supporting various hardware tools and software techniques. Surgical instruments are tracked in physical space using an active optical tracking system. Several of the different registration algorithms were developed with a library of robust math kernel functions, and the accuracy of all registration techniques was thoroughly investigated. Our display was developed using the Win32 API for windows management and tomographic visualization, a frame grabber for live video capture, and OpenGL for visualization of surface renderings. We have begun to use this current implementation of our system for several surgical procedures, including open and minimally invasive liver surgery.     

The computer in the consulting room: a psychological framework

Abstract

The use of an interactive computer system to aid the doctor with history taking and diagnosis is described. The system is developed for dyspepsia cases and is designed to be flexible enough to give the doctor considerable choice in the way it is used in the consulting room. We have observed and analysed its use by doctors in two very different settings; registrars and SHOs in an outpatient clinic, and GP trainers in a simulation exercise. All the doctors found individual ways of using the computer in the consultation, some chose to use it ‘conversationally’, alternating their attention between patient and computer, whilst others attempted to minimize its use while the patient was present. Patients’ reactions to the use of computers in general, and to their experience of this system specifically are described. The ways in which the computer imposes structure on the consultation and seems to influence the doctors’ decision processes are discussed. The complex dynamics of the interaction between patient, doctor and computer are outlined and are related to the cognitive load imposed. We raise ‘human factors’ issues, specific to the medical consultation environment, which need consideration in the design of future systems.     

基于注册表的计算机共用机房维护

介绍注册表的组成及结构,给出使用注册表对计算机进行维护的方法,利用这些方法,可以有效地对计算机软、硬件工作环境进行灵活配置,来维护机房中计算机系统的正常运行。     

集成手术排程和护士排班的中期决策优化研究

在手术需求增大与医护人员短缺的矛盾下如何合理安排手术和配置医护资源,解决手术室实际运作中资源负荷不均衡现象,是当前手术室运作管理中亟待解决的难题。然而手术排程和手术室护士排班作为手术室科学管理的核心决策问题,却有着不同的时间域,并且会相互影响。在考虑科室手术和手术室护士偏好等硬约束和软约束前提下,构建一个集成手术排程和护士排班的手术室中期集成决策模型,设计了具有双层嵌套路径化结构的蚁群算法。通过某三甲医院10天的实际手术室运作数据,进行算法对比和分析评价,验证了算法在解决集成决策问题上的可行性和有效性。     

下颌骨骨折虚拟手术培训系统研究

针对下颌骨骨折手术操作技能要求高的特点,使用Unity3D和HTC VIVE进行用于培训和术前模拟的虚拟手术系统的开发。将虚拟手术系统分为三维模型模块、光照系统模块、交互系统模块和手术室瞬间移动模块,对下颌骨骨折手术的场景、交互和手术过程进行模拟。结果表明此虚拟手术系统具有良好的真实感、沉浸感和交互性,能有效引导操作者完成手术流程,达成进行手术训练、模拟的目的。