“感知与人机交互”教学实践与PBL模式探索

机器人工程是在国家新工科发展战略背景下为了适应机器人专业人才需求而新近创建的专业。本文依托东南大学机器人工程专业教学体系，介绍了“感知与人机交互”课程的教学实践，探索了PBL教学模式在本门课程中的应用。具体介绍了课程教学内容设置、PBL教学方案例设计及存在问题分析等，可为自动化类机器人工程专业的相关课程教学实践提供参考。     

基于复合帕尔贴模块热触觉再现装置研究

设计了一种基于复合帕尔贴模块的改进型温度触觉感知再现装置。首先分析了手指接触复合帕尔贴装置表面时的热传导过程,并根据热网络分析法建立了基于复合帕尔贴模块的热触觉感知模型;据此设计了一种通过控制复合帕尔贴模块表面温度变化来模拟温度触觉过程的装置,复合帕尔贴装置由两个20 mm×20 mm的帕尔贴模块重叠放置构成,通过对上下层帕尔贴模块输入电流分别控制,实现了比单层帕尔贴模块更为快速的升降温速率和更大工作温度区间;最后,通过热图标辨别实验,分析了将温度触觉感知再现应用于特殊人群导航的可行性。     

数字孪生及其应用探索

数字孪生是一种集成多物理、多尺度、多学科属性,具有实时同步、忠实映射、高保真度特性,能够实现物理世界与信息世界交互与融合的技术手段。随着数字孪生车间概念的提出,数字孪生在智能制造中的应用潜力得到越来越多的关注。分析了数字孪生在企业应用和理论研究上的进展,基于前期提出的数字孪生的五维结构模型,提出数字孪生驱动的6条应用准则,探索了数字孪生驱动的14类应用设想与实施过程中所需突破的关键问题与技术,为未来开展数字孪生的进一步落地应用提供理论和方法论参考。     

固定多摄像头的视觉拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。     

基于光栅投影的多摄像机标定方法

多摄像机是解决结构光测量系统中视场小和自遮挡等问题的有效方案,但同时由于摄像机分布广、无公共视场,存在全局标定困难的问题。提出了一种基于条纹投影的多摄像机标定方法。加入辅助设备投影仪并向视场内投影大幅面的条纹图案,借助相位算法建立起全局相位场,反求景物的投影仪虚拟图像。利用平面靶标标定摄像机的内参和投影仪的外参获取靶标平面的移动信息,进而求解相邻摄像机的位置参数。最后的优化过程中,再根据相位值对相邻摄像机的图像完成亚像素匹配,通过最小化重建偏差对系统参数进行迭代优化。在搭建的多摄像机三维测量系统上进行试验,结果表明本文的多摄像机标定和测量方案切实可行。     

基于BSRGAN的集气站仪表读数识别

为解决集气站的巡检机器人采集到的仪表图像分辨率低、常伴有噪点和仪表图像畸变、不便于读数算法直接应用等问题,提出了一种基于盲超分辨率生成对抗网络(BSRGAN)的仪表读数算法。首先,利用BSRGAN提高输入仪表图像的分辨率,较传统方法能够显著增强仪表图像的视觉感知水平。自然图像质量评估(NIQE)在测试集中表现较好,结构相似性指数(SSIM)值均大于0.85。利用尺度不变特征变换(SIFT)算法对重建图像进行特征提取。特征点数量在重建后显著增加,有助于表盘图像的校正。然后,采用连通域划分和指针细化等形态学操作提取指针中心线。最后,利用角度法识别表盘读数。试验读数结果与真实值的平均相对误差为0.625%。试验结果表明,所提算法可行、有效、精准,能够提高仪表图像清晰度和视觉感知,适用于集气站及其他复杂环境的仪表读数。     

基于模糊综合评价的电梯安全运行状态评估

为有效地评估电梯运行状态的安全性,提出一种综合了层次分析法、熵权法、劣化度分析法和模糊综合评价法的电梯安全运行状态评估模型。从电梯各个子系统的主要指标出发,建立电梯运行状态评估指标体系。采用层次分析法和熵权法确定指标的权重,针对指标的特性,应用相应的赋权方法,得到客观的指标权重。采用劣化度分析法对指标参数进行归一化,根据隶属度函数得到评估矩阵。以南京市某电梯为例,利用模糊综合评价法,对电梯运行状态进行评估,结果为"一般",与实际情况相符。     

上肢康复机器人实时安全控制

针对上肢辅助康复机器人临床使用中的安全性和平稳性问题,提出基于模糊逻辑的实时在线安全监测控制方法.机器人对患肢进行康复训练时,患肢状态对控制效果会产生影响;通过设计智能安全监控模糊控制器(SSFC)改善系统运动平稳性以及突发情况下的安全性.首先提取相关运动特征评估受训患肢状态稳定情况,安全监控模糊控制器智能实现正常扰动情况下的控制期望力调节以及突发情况下的紧急响应.其次通过基于位置的阻抗控制策略实现患肢与机器人末端的柔顺性.实验结果验证了该控制方法能够有效地实现康复机器人的安全性和平稳性.     

基于多目标跟踪的车流量统计算法研究

作为智能交通系统的重要数据来源,实时准确的车流量数据统计一直以来都是一个重要的课题。大多数现有的基于视频的车流量统计算法在复杂光照条件下,算法准确率难以保证。以道路监控视频为数据,选择了多目标跟踪作为问题的解决思路,以DeepSORT算法思路为基础,并进一步改进,平衡了检测精度与速度,针对交通监控视频实现了对车流量的准确计数。实验表明该方案在各类光照条件下均有相对良好的统计准确率。     

基于MEMS传感器的脊柱形态检测系统设计

鉴于传统的脊柱检测普遍具有放射性,设计出基于MEMS传感器的无放射性脊柱形态检测系统。检测系统使用MEMS姿态传感器测量被测人背部脊柱姿态角度,由微处理器STM32进行数据读取、分析、处理后,在显示模块上显示检测结果,并将检测结果发送到上位机。检测系统可以分析被测人脊柱的Cobb角和轴向躯干旋转角度ATR,判断被测人脊柱是否畸形。