基于混合现实的机器人遥操作实验平台

　　摘要：混合现实技术由于具有良好的沉浸感和交互体验，在高校实践教学领域有着广阔的应用前景。根据人才培养需求，设计并开发了基于混合现实技术的机器人遥操作实验平台。该平台采用LeapMotion检测跟踪操作者手部运动并转换成机器人控制命令，同时由混合现实显示装置获取具有机器人现场场景和虚拟手部动画模型的实时视像反馈，通过机器人书写汉字应用验证了系统的有效性。该平台采用混合现实技术保证了操作的安全性和高效性，增强了人机交互体验，其通用性和综合实践性强，可为机器人工程专业相关实践教学提供创新实验平台。

　　关键词：机器人;混合现实;遥操作;人机交互

　　混合现实(mixedreality,MR)技术结合了虚拟现实(virtualreality,VR)和增强现实(augmentedreality,AR)技术的优势，能够将虚拟环境引入到现实场景中，同时在现实世界、虚拟世界和操作者之间建立起信息回路，从而增强操作者的沉浸感和交互体验[1-2]，已经在工业制造、建筑设计、医疗卫生等多个领域得到应用[3-5]，在高校教学领域如虚拟实验室、虚拟课堂等方面也有着广阔的应用前景[6-7]。

　　近年来机器人技术得到快速发展，社会对该领域人才尤其是拔尖创新人才的需求不断增加。机器人技术是一门综合性实践性很强的交叉学科，建立机器人工程专业创新实践平台并开展相关实践教学对高校人才的培养至关重要[8-9]。本文将混合现实技术与机器人控制相结合，开发了虚拟现实场景下的机器人遥操作控制实验平台，一方面保证了操作的安全性、增强了操作体验感，另一方面学生可根据兴趣开展不同的应用实验，促进了学生探索研究能力和创新能力的培养。

　　1平台整体方案设计

　　主要包括操作者、LeapMotion手势传感器、混合现实显示装置、机器人、计算机5部分。LeapMotion是由MagicLeap公司于2013年推出的一款无接触式的手势交互设备，内置有3个红外发光二极管和2个深度摄像机，能够捕捉到操作者手部运动时手指和掌心位置坐标信息并通过USB接口与计算机通信[10]。该实验平台中的机器人可以是工业机械臂、双臂协作机器人等，算法采用C++编程语言进行开发，具有一定的通用性。

　　平台实施流程如下：首先定义手掌开合作为遥操作触发信号，采用LeapMotion检测操作者的手势，当检测到操作者手掌闭合时即对其掌心位置进行跟踪;将其采集的位置数据进行处理，计算机根据所设计的运动映射算法转换为机器人坐标系下末端执行器坐标并生成相应控制命令，通过UDP通信方式实时传输至机器人下位机。

　　利用LeapMotion的API接口和游戏引擎(如Unity3D、Unreal等)可开发并生成操作者手部虚拟模型，同时借助常见的混合现实显示装置(如微软HoloLens等)，操作者可实时获取由机器人工作现场场景和手部虚拟模型动画组成的混合现实视像反馈，保证了操作的安全性和高效性，增强了人机交互体验。

　　2主要功能模块设计

　　2.1混合现实场景生成模块

　　结合混合现实显示装置、LeapMotion控制器以及Unity3D游戏引擎设计并搭建混合现实环境。在Unity中通过调用LeapMotion的Assets组件，导入并生成操作者的手部虚拟模型，由相关功能实现混合现实显示装置与Unity软件之间的通信，将在Unity中生成的混合现实影像流信号实时传输至混合现实显示装置。此外，可通过设置最快传输速度、调整虚拟物件与操作者之间的距离、相机背景颜色等以保证更好的实时反馈效果。通过混合现实设备，操作者不仅可以观察到机器人的运动以及现场场景，同时由Unity生成的虚拟手部模型也将呈现于操作者的视野之中。该虚拟模型与操作者的手部运动保持一致，这也为操作者在操作过程中提供重要的引导性帮助，从而实现更好的人机交互体验。

　　2.2运动映射算法模块

　　考虑到LeapMotion控制器与工业机器人的坐标系并不一致，为了使得操作者的动作能够正确映射到机器人工作空间保证机器人做出合乎预期的正确运动，本文提出了一种运动映射算法，用于将LeapMotion控制器的坐标系转化为机器人的坐标系，实现操作者动作到机器人末端动作的同步映射。

　　3实验示例

　　采用微软头戴式HoloLens混合现实显示装置、华数6自由度工业机器人、LeapMotion手势控制器构建了机器人遥操作控制实验平台。本实验通过设计特定任务，即遥操作机器人书写简单中国汉字来验证上述平台的有效性。实验中定义“是否握紧拳头”为启动遥操作程序的触发事件，当LeapMotion控制器检测到操作者拳头握紧时，将启动遥操作程序，此时LeapMotion开始跟踪记录操作者的手部掌心位置，上位机由相关位置信息和运动映射算法生成控制命令并实时传输给华数机器人执行命令。遥操作过程中操作者利用LeapMotion控制器，实现通过手势远程控制华数机器人，同时，操作者通过HoloLens可以获取实时视像反馈。

　　不仅可以观察到华数机器人和周围场景，还能够看到跟随自身手部运动的虚拟手部动画模型。对于操作者来说，结合混合现实技术的视像反馈使得操作过程更加直观，操作难度也大大降低。上述实验中，操作者通过手部运动顺利完成遥操作华数机器人书写汉字“王”的任务，为机器人在实际环境中书写汉字情况。实验结果验证了所设计的基于混合现实技术的机器人遥操作控制平台的有效性。

　　机器人论文范例： 我国凿岩机器人发展机遇与挑战研究

　　4结语

　　本文结合混合现实技术开发了机器人遥操作实验平台，该平台具有通用性强、综合实践性强等特点，可应用于不同机器人平台并开展多种应用研究，能够为机器人技术相关实践教学提供创新实验平台。随着混合现实技术的不断发展和逐步普及，混合现实技术在高校实践教学尤其是虚拟实验室的建设和应用方面将发挥重要作用，充分发挥混合现实优势、构建实验场景、开发相关应用案例，将为学生提供更好的交互式体验平台，进一步促进机器人工程专业拔尖创新人才的培养。

　　参考文献(References)

　　[1]黄进，韩冬奇，陈毅能，等.混合现实中的人机交互综述[J].计算机辅助设计与图形学学报，2016,28(6):869–880.

　　[2]周忠，周颐，肖江剑.虚拟现实增强技术综述[J].中国科学：信息科学，2015,45(2):157–180.

　　[3]刘敏洋，李博功.基于混合现实技术的工业智能运维系统设计[J].制造技术与机床，2020(9):80–82,87.

　　[4]龚赤兵.HoloLens混合现实技术在建筑行业中的应用研究[J].现代信息科技，2019,3(4):147–149.

　　[5]李晋芳，陈基荣，李二芳，等.远程协同手术指导平台的研究[J].实验室研究与探索，2019,38(6):96–102.

　　[6]孔玺，孟祥增，徐振国，等.混合现实技术及其教育应用现状与展望[J].现代远距离教育，2019(3):82–89.

　　作者：占宏，梁聪垣，杨辰光