增强现实技术最新进展及其在电网的应用前景

 0 引言

增强现实理念可以追溯到1968年哈佛大学伊万·萨瑟兰（Ivan Sutherland）研发的头戴式显示设备“达摩克利斯之剑”^[1]。1992年,波音公司提出了增强现实的概念,并尝试利用该技术提高飞机布线的工作效率^[2]。随着光电子和微电子技术的飞速发展,增强现实技术及其软硬件产品也迎来了发展机遇。自2012年起,谷歌先后推出多款软硬件增强现实产品,如首个轻巧便携的Google Glass、集成了景深摄像头的Project Tango,以及通用的增强现实软件ARCore。微软发布了HoloLens眼镜及其Holographic软件平台,能够实现混合现实（Mixed Reality,MR）的效果。

波音公司作为增强现实概念的提出者,持续研究并创新应用增强现实提升飞机制造和维修的效率,如增强现实工具BARK可用于大型生产线的装配指导,其他的工业企业也都纷纷投身该技术领域以提升工作效率。在电力企业中,随着电网规模的扩大和新型智能化设备的投产,电网设备的制造安装、运维检修面临人少任务重、操作步骤繁琐等情况,现有作业指导书采用文字描述方式,不能直观地为操作人员提供指导,也无法结合作业环境和进展状况实时地提供所需信息,电网作业人员由于业务范围和能力不一,在执行任务、查找资料、理解信息和相互沟通时效率低下,甚至会因疏忽而导致严重的人员伤亡事故。鉴于增强现实技术在操作指导、信息沟通方面具有信息直观性强、与物理实体关联紧密等优势,本文将梳理增强现实技术的最新进展,并探讨性地提出其在电网中的各类应用。

 1 增强现实技术介绍

1.1 基本概念

增强现实是一种将虚拟信息叠加在物理现实上形成虚实融合的效果,用户可自由地感知并实时交互的技术^[3-5]。被叠加的虚拟信息多种多样,可以是二维平面的标签、三维立体的模型、立体环绕的声音等,用于增强视觉、听觉及触觉等各种人类的感知交互能力。Milgram等提出了目前被广泛接受的现实虚拟连续体的概念^[3],以区分虚拟现实（Virtual Reality,VR）和混合现实MR（见图1）。根据虚拟信息占所有信息的0%、50%、100%,图1中从左至右分为物理现实、增强现实、增强虚拟和虚拟现实,混合现实则介于物理现实与虚拟现实之间。在技术实现上,增强现实与混合现实没有区别。

图1 现实虚拟连续体Fig.1 Reality virtual continuum

笔者认为增强现实具备以下3个基本特征。

1）基于现实。虚拟信息选取现实环境的某一物体或位置为锚（Anchor）,锚可以变更,但必须存在。

2）紧密关联。虚拟信息随锚及周边现实环境的变化而改变,例如位置关系、旋转角度、光照、阴影与遮挡等,使得虚拟信息与现实环境融为一体。

3）实时互动。通过用户与虚拟信息、锚和周边环境的交互,虚拟信息实时响应并反馈给用户。

1.2 参考模型

国际标准化组织（ISO）自2014年8月启动混合增强现实（Mixed and Augmented Reality,MAR）参考模型的标准制定项目以来,已提出了通用的参考模型草案^[6]。

增强现实系统通常由物理实体的感知、虚拟信息在物理实体上的注册跟踪、虚拟信息的适配与渲染、虚拟信息的展示与交互等部分组成。典型的混合增强现实系统架构如图2所示,其中粉色框的内容指明了混合增强现实的范围,蓝色的组件负责计算处理相应内容,虚线框的组件为预设的场景信息,箭头代表信息流向。

图2 混合增强现实系统架构Fig.2 MAR system architecture

各组件功能如下。

1）传感器组件（Sensors）负责测量物理实体的参数,并将其转化为数字信号。

2）情景分析器组件（Context Analyzer）可分为跟踪器（Tracker）和识别器（Recognizer）两部分,识别器负责分析传感器采集的信号并与目标信号作对比,实时生成事件信息,而跟踪器则负责监测目标信号的变化,如位置、方向等。

3）MAR执行引擎（MAR Execution Engine）为核心组件,通常包括空间适配器（Spatial Mapper）、事件适配器（Event Mapper）、仿真器（Simulator）以及渲染器（Renderer）,主要负责物理传感器位置与虚拟信息位置的转换、事件的触发处理、用户交互信息的处理、多种感知方式的效果展示以及外部服务的通信传输等。

4）展示交互由展示和用户界面组成。展示（Display）模块是向用户实际展示内容的硬件组件,用户界面（UI）则是一套可满足触摸、点击等用户交互需求的硬件。

美国电科院（EPRI）基于ISO的MAR参考模型,面向电力系统的实际应用,结合工人作业环境,提出了如图3所示的增强现实互操作框架^[7]。该互操作框架将组件划分成3层,上层面向用户和物理环境,中间层定义了本地实现增强现实功能必须的中间件,下层对混合增强现实参考模型进行了补充,给出了支撑中间层和上层组件运行的本地或远程资源。连线指明了信息流向和组件之间的接口关系。

图3 增强现实互操作框架Fig.3 AR interoperability framework

 2 增强现实关键技术

2.1 注册跟踪

注册跟踪的核心是建立并保持与锚的关联关系,通常分为注册和跟踪两部分。注册部分负责确定真实世界中锚的视图,跟踪部分则根据用户位置、锚位置等变化情况持续更新视图。

用于注册跟踪的传感器主要分为以下3类。

1）光学传感器^[8-9]。如可见光摄像头、景深摄像头、红外成像仪、激光成像仪等,精度可达10 mm,适用于室内外环境,但传感器价格、性能、功耗差异
巨大。

2）惯性传感器^[10-11]。惯性测量单元（Inertial Measurement Unit,IMU）精度可达1 mm,不受磁、声、光等干扰,但存在累计误差。

3）混合传感器^[12-14]。混合传感器将光学与惯性结合,通常以光学传感器的数据为主,惯性测量单元数据作为辅助修正。

此外还包括磁 ^[15]、超声波 ^[16]、GPS ^[17]等多种类型传感器。

由于可见光摄像头、景深摄像头成本较低且易普及,业界研究成果较多。总体思路是利用图像处理方法,根据拍摄到的图片计算摄像头在物理世界中的位置^[18]。早期研究多集中在有标签（又称为基准跟踪）的注册跟踪方面^[19],如ARToolKit工具。之后的研究主要集中在无标签注册跟踪技术方面,如自然特征跟踪（Natural Feature Tracking）^[20]、基于模型的跟踪（Model-Based Tracking）^[21]。其基本思想为：通过Harris、FAST、SUSAN等方法检测图片中的特征点或边,再利用SIFT、SURF、ORB、BRIEF等特征算子描述多维的向量值,在搜索到匹配的二维向量后估计出相机在三维空间的位置,完成注册跟踪功能。目前的研究热点是面向移动、可穿戴方式的即时定位与地图构建（Simultaneous Localization And Mapping,SLAM）技术,该技术初期被应用于机器人在未知环境下的二维地图构建和定位。在增强现实应用中,通常利用单目、双目、景深摄像头实现对所处环境的建模和跟踪定位^[22-24]。ORB-SLAM2提供了一套完整的功能实现,使用ORB特征算子及DBoW2进行跟踪和闭环检测^[25]。此外,业界开始研究利用深度学习技术优化SLAM的注册跟踪结果^[26]。

利用注册跟踪技术,使得用户在电力应用场景中能精准地识别和追踪设备、用户及其相互位置关系。如采用标签的注册跟踪方法,用户可直接扫描设备铭牌获取作业任务信息,在变电、配电作业时采用SLAM技术,用户可实时获取其所处位置、作业目标设备位置,进而提供3D作业导航,如路线、操作步骤指导等。

2.2 人机交互

在增强现实操作环境下,尤其是可穿戴的增强现实方式,二维的内容展示变成了三维的内容,人机交互也需在三维立体空间内实现。如手指的前后移动,可以实现虚拟信息拉近、推远的效果,还有研究提出了面向物理实体的增强现实操作界面Ubii^[27]。尽管传统的交互方式仍然可以满足交互需要,但更便捷、更自然的人机交互方式越来越受到研究人员的重视和在实际应用中的青睐,这些交互技术主要如下。

1）手势识别。一种实现方式是分析佩戴在手上的传感器采集的数据,进行模式匹配,转换成相应命令^[28]。另一种实现方式则是对RGB摄像头或景深摄像头采集的手势数据,通过图像处理方式进行轮廓和动作路径的模式匹配,进而转换成相应命令^[29]。目前手势识别还存在一定局限性,主要体现在系统鲁棒性、计算资源占用、环境光噪声干扰等方面。

2）头部运动控制^[30]。在可穿戴的眼镜或头盔上集成了惯性测量单元,因此利用这一传感器可以跟踪头部运动,实现类似鼠标移动的效果,甚至利用停留时间实现点击效果。但头部运动控制功能简单,复杂命令无法便捷地表达。

3）语音识别。自然语言处理技术已完全可以处理用户的命令式短语,但语音识别在实际应用中面临各种噪声干扰问题。有研究采用分布式麦克风阵列的多通道增强方法,用来降低外界干扰,加强用户语音信号^[31]。

4）眼球追踪^[30]。主要采用计算机视觉算法进行眼球跟踪,如模式识别方法、角膜反射点分析方法、眼球形状分析方法、用眼模式分析方法等。但算法易受眼睛的张开程度、尺寸变化等因素影响。

由于各类交互技术自身的局限性,一套有效的人机交互技术通常综合采用多种方式,互为补充和辅助^[32]。Hololens设备提供了以头部运动、手势结合的方法模拟鼠标点击和拖拽的效果,同时还提供了语音识别方法,基本可满足穿戴式交互的需要。

人机交互技术使得用户可在电力作业场景中以适宜的方式与系统交互信息。作业人员由于双手被占用,不便于使用手机、PDA等设备,智能头盔是最佳选择,如用户可在完成设备各部分巡视的同时,采用头部运动控制方式完成巡视结果的确认。

 3 增强现实发展趋势

3.1 基于增强现实的协作

增强现实技术扩展了人与物理世界交互的通道,不仅体现在用户个体操作方面,还体现在用户与用户之间、甚至与机器人之间的协作方面^[33]。通过实时更新本地与远端的相机位置和姿态以及人机交互信号,可以实现虚拟现实用户、增强现实用户之间的信息同步,在将本地场景和虚拟信息共享给其他用户时,也将其他用户的操作反馈给虚拟信息^[34]。如VIPAR将高清的图像在可控的延迟范围内传输给对方,实现了远程的医疗手术协作^[35]。实际上,这一技术还存在诸多需要研究的内容,包括基于增强现实协作的概念和交互模型、高效的协作界面、系统的鲁棒性、用户存在感及体验感的强化、协作系统的评估方法等。

3.2 基于情景感知的普适增强现实

美国电科院（EPRI）认为未来增强现实的工作场景应该是自动根据用户的角色、权限和工作内容,主动推送所需的准确信息^[7]。这一设想描绘了以物联网为数据和通信基础、以人工智能为信息处理核心、以增强现实为展示交互中心的技术框架。用户在工作中可随时获得培训和帮助,使工作更安全、更高效。如在设备维修时,一个增强现实助手和多用户协助系统综合采用物联网和图数据库技术,分析各用户的工作流程、当前状态及相互之间的关联关系等,可实现多人之间工作的高效沟通和协同^[36]。Jens等人提出的普适增强现实概念,是持续关注并响应用户所处情景的增强现实,这类系统是信息主动匹配用户,而非用户寻找信息,因此能感知用户需求并根据约束辅助用户完成多目标任务^[37]。

 4 增强现实在电网中的应用研究

在增强现实技术提出后,即有许多探索性应用纷纷出现,如医疗、制造、维修、军事训练等^[2,4,35]。在电力行业,也正逐步开展增强现实技术的研究与应用,提出了其在单兵作业、实时通信、电力工程设计等业务领域的应用设计和模拟效果^[38,40]。实质上,增强现实可交叉应用于电力复杂业务流程的多个环节,下文按应用目的将其分为实主虚辅、虚主实辅2类分别阐述。

4.1 实主虚辅类应用

实主虚辅类应用是指以物理实体交互为目的,虚拟信息作为辅助提示、引导,解决用户在交互过程中信息缺失的问题。电力行业可实现以下应用。

1）技术培训。电力作业任务常常面临高空、高压等高风险情况,电力设备的差异性和操作的复杂性是对作业人员的一项挑战。一名合格的作业人员需要经过较长时间的技术培训,增强现场技术能加快这一过程。在实训站,将信息注册跟踪在真实设备上,可以为培训人员展示该设备的三维模型及内部构造,以了解工作原理,展示电流、辐射量、温度等不可见的信息,同时还可以展示操作的顺序,以及模拟误操作带来的影响和处理方案。

2）设备巡视。变电站、数据中心等场所设备众多,在巡视过程中,一方面查看设备本体外部及周边环境状态,如外力造成的变形、变压器漏油等,另一方面还需要关注设备内部运行情况,如变压器绕组温度、局放等,随着各类传感器的部署和物联网的建设,更多的信息可以被获取。通过佩戴的增强现实工业智能头盔,巡视人员可基于SLAM的注册跟踪技术,按巡视顺序的提示检查设备状态,针对每个检查项可以查看到融合在物理实体上的传感器数据、历史趋势、状态评估结果等各类虚拟信息,并利用人机交互信息完成巡视信息的实时上报。这种工作方式充分结合了终端传感能力和后端分析能力,可帮助巡检人员更全面、直观地掌握设备的状态,同时提高了巡视工作效率。变电站设备巡视如图4所示。

图4 变电站设备巡视Fig.4 Substation inspection

3）设备检修。检修人员面对种类、样式繁多的设备,需要提前开展大量的资料查询准备工作。采用注册跟踪技术,将三维模型的检修操作指导贴合于设备上,检修人员可以直接在物理设备上查看并遵循指导,按步骤快速完成检修工作。在检修过程中,如基本的指导内容无法解决现场实际问题需咨询相应专家时,可采用增强现实的远程协助方式与远端专家共享作业现场视角,专家圈选、划线等虚拟的指导信息也可贴合在物理设备上,展现给现场检修人员,可避免语言描述易出错的情况,提高沟通效率^[39]。设备检修模拟如图5所示。

图5 设备检修模拟Fig. 5 Equipment maintenance simulation

4）设备安装。在器件及设备之间连接关系繁杂的情况下,如机房布线、直流换流阀设备组装等,安装人员往往需要花费大量时间寻找对应接口,采用增强现实技术,将接口方式、连接关系等虚拟信息跟踪定位在设备上,安装人员可以根据指导信息快速无误地完成器件和设备的对接安装。

5）可视化安全作业。在现场作业过程中,作业人员在面对线路、管道掩埋于墙体中或地下的情况时,需要花费精力测量、确定位置等信息,采用SLAM的注册跟踪技术,作业人员可以具备“透视”能力,根据外部看到掩埋的线路、管道的模型等虚拟信息,方便作业人员完成工作。电力作业现场常采用栅栏等设备进行安全提醒,在高压、高空等作业现场采用SLAM的注册跟踪技术进行可视化提醒,可使佩戴工业智能头盔的作业人员能时刻保持警惕。

6）作业导航。利用SLAM技术为作业人员在室内外环境下提供更精准的综合导航指引（见图6）,在作业人员接收到作业任务时,一方面可以规划并实时显示准确到达具体设备的路径,这使得作业人员在步行前往目的地时更安全高效,尤其是面向建筑地形复杂的配网作业环境,如山城重庆市楼宇依山而建,楼层关系错综复杂,室内导航尤为重要;另一方面,在现场依据作业人员位置服务的基础上,可结合作业任务进展、设备部件结构关系、所需工器具等,主动推送三维的作业引导信息,进一步提高工作效率。

图6 作业导航模拟Fig.6 Work navigation simulation

4.2 虚主实辅类应用

虚主实辅是指以虚拟信息交互为目的,物理实体提供基础的辅助服务,解决用户在交互过程中的认知协同问题。在电力行业,可实现以下应用。

1）电力工程设计。电厂、变电站等电力工程设计工作复杂,沟通成本大。采用注册跟踪技术,可以将设计的电厂和变电站三维模型以缩小、原始尺寸等比例固定在会议室、工程现场,用户通过佩戴智能眼镜等终端设备,利用手势识别交互方式可对设计进行深入直观的交流,还可对模型进行替换、调整等操作,即使参与者不在研讨现场,也可以远程的方式加入设计讨论。这一直观的展示交互方式使各参与方对方案的认知和理解不再局限于平面的图纸之上,并将最终效果固化在现有的模型之中,避免了各参与方的想象力差异。

2）电力工程施工。设计模型在工程施工时具有重要的指导意义,采用注册跟踪技术,将原始尺寸的三维模型贴合于实际施工现场,可充分发挥设计模型的指导作用（见图7）。一方面,工程施工过程的管控是一项繁杂且重要的任务,每一道工序的完成与验收、设备设施的部署与安装都需掌握,项目管理人员通过现场实际施工情况与设计模型进行对比,能更好地了解现场的工程进度,及时发现缺陷和问题;另一方面,由于分工不同,各作业人员在施工过程中对工序要求、设备设施部署要求理解不一,最终效果图将有助于统一认识,提高沟通协调效率。

图7 建筑施工模拟Fig.7 Construction work simulation

4.3 需解决的问题

增强现实技术在电网应用中尚未普及,主要面临以下问题需要解决。

1）产品有待优化。智能头盔、智能眼镜能彻底解放双手,但其舒适性、操作的便捷性和准确性、续航能力等方面还需进一步优化,价格也偏高。

2）功能有待优化。电网应用场景多且分散,需要高效地准确识别和理解作业环境、电力设备,按需提供给作业人员适合的信息,实现电力普适增强现实。

此外,还需考虑电网的特定需求,如作业现场的安全通信与电力设备运行数据的实时获取,多个作业任务间的相互影响和现场协调等。

 5 结语

本文对增强现实技术的概念和架构进行了简介,梳理了注册跟踪和人机交互两种关键技术,明确了基于增强现实的协作和基于情景感知的普适增强现实两个重要发展趋势,结合电力特点按实主虚辅和虚主实辅分别介绍了设备巡视、检修、安装以及变电站设计、基建等应用场景。通过梳理增强现实技术在电力行业的应用,表明了该技术将给设备制造安装、巡视检修等现场作业场景带来直观的人与物、人与人间的沟通方式以及高效的新型工作模式,同时也可进一步提高安全作业水平。

增强现实技术开启了人类认识物理世界的“第三只眼睛”,借助虚拟信息的通道,电力人将“看到”不能看到的,理解不能理解的,信息的交互也从二维提升到了三维,结合物联网、大数据、人工智能等技术,未来的电力工作场景充满了想象的空间,一场带动技术创新、业务创新、能效提升的变革正在到来。

(编辑:邹海彬)

参考文献

[1] SUTHERLAND I E.A head-mounted three dimensional display[C]// Fall Joint Computer Conference, Washington, D. C, USA, 1968.

[2] CAUDELL T P, MIZELL D W.Augmented reality: An application of heads-up display technology to manual manufacturing processes[C]// Proceedings of the Twenty-fifth Hawaii International Conference on System Sciences, Kauai, HI, USA, 1992.

[3] MILGRAM P, KISHINO F.A taxonomy of mixed reality visual displays[J]. IEICE Transactions on Information and Systems, 1994, 77(12): 1321-1329.

[4] AZUMA R T.A survey of augmented reality[J]. Presence: Teleoperators and Virtual Environments, 1997,6(4): 355-385.

[5] RABBI I, ULLAH S.A survey on augmented reality challenges and tracking[J]. Acta Graph, 2013, 24(1-2): 29-46.

[6] ISO/IEC DIS 18039. Information technology: Mixed and augmented reality(MAR) reference model[S].

[7] EPRI. Program on technology innovation: Enterprise augmented reality vision, interoperability requirements, and standards landscape[R]. 2017.

[8] RADKOWSKI R, OLIVER J.Natural feature tracking augmented reality for on-site assembly assistance systems[C]// International Conference on Virtual, Augmented and Mixed Reality, Las Vegas, NV, USA, 2013.

[9] DOU M, FUCHS H, FRAHM J M.Scanning and tracking dynamic objects with commodity depth cameras[C]// 2013 IEEE International Symposium on Mixed and Augmented Reality(ISMAR 2013), Adelaide, SA,Australia, 2013.

[10] FOXLIN E.Inertial head-tracker sensor fusion by a complementary separate-bias Kalman filter[C]// IEEE 1996 Virtual Reality Annual International Symposium, Santa Clara, CA, USA, 1996.

[11] FOXLIN E, ALTSHULER Y, NAIMARK L, et al.Flighttracker: A novel optical/inertial tracker for cockpit enhanced vision[C]// 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality(ISMAR 2004), Arlington, Virginia, USA, 2004.

[12] SCHALL G, MULLONI A, REITMAYR G.North-centred orientation tracking on mobile phones[C]// 9th IEEE International Symposium on Mixed and Augmented Reality(ISMAR 2010), Seoul, Korea, 2010.

[13] BLESER G, HENDEBY G, MIEZAL M.Using egocentric vision to achieve robust inertial body tracking under magnetic disturbances[C]// 10th IEEE International Symposium on Mixed and Augmented Reality(ISMAR 2011), Basel, Switzerland, 2011.

[14] WAEGEL K, BROOKS F P.Filling the gaps: Hybrid vision and inertial tracking[C]// 2013 IEEE International Symposium on Mixed and Augmented Reality(ISMAR 2013), Adelaide, SA, Australia, 2013.

[15] FEINER S, MACINTYRE B, HAUPT M, et al.Windows on the world: 2D windows for 3D augmented reality[C]// Proceedings of the 6th Annual ACM Symposium on User Interface Software and Technology, San Jose, CA, USA, 1993.

[16] FOXLIN E, HARRINGTON M, PFEIFER G.Constellation: A wide-range wireless motion-tracking system for augmented reality and virtual set applications[C]// Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques, Orlando, FL, USA, 1998.

[17] FEINER S, MACINTYRE B, HOLLERER T, et al.A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment[C]// 1st IEEE International Symposium on Wearable Computers, Digest of Papers, Boston, MA, USA, 1997.

[18] ZHOU F, DUH H B L, BILLINGHURST M. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR[C]// 7th IEEE/ACM International Symposium on Mixed and Augmented Reality(ISMAR 2008), Cambridge, UK, 2008.

[19] KATO H, BILLINGHURST M.Marker tracking and hmd calibration for a video-based augmented reality conferencing system[C]// 2nd IEEE and ACM International Workshop on Augmented Reality(IWAR'99), San Francisco, CA, USA, 1999.

[20] BEIER D, BILLERT R, BRUDERLIN B, et al.Marker-less vision based tracking for mobile augmented reality[C]// 2nd IEEE/ACM International Symposium on Mixed and Augmented Reality(ISMAR 2003), Tokyo,Japan, 2003.

[21] WUEST H, VIAL F, STRICKER D.Adaptive line tracking with multiple hypotheses for augmented reality[C]// 4th IEEE/ACM International Symposium on Mixed and Augmented Reality(ISMAR 2005), Vienna,Austria, 2005.

[22] LIU H, ZHANG G, BAO H.Robust keyframe-based monocular SLAM for augmented reality[C]// 2016 IEEE International Symposium on Mixed and Augmented Reality(ISMAR 2016), Merida, Yucatan, Mexico, 2016.

[23] TAKETOMI T, UCHIYAMA H, IKEDA S.Visual SLAM algorithms: a survey from 2010 to 2016[J].IPSJ Transactions on Computer Vision and Applications, 2017, 9(1): 16-26.

[24] HENRY P, KRAININ M, HERBST E, et al.RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments[C]// The 14th International Symposium on Experimental Robotics, Marrakech and Essaouira, Morocco, 2014.

[25] MUR-ARTAL R, TARDÓS J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.

[26] TATENO K, TOMBARI F, LAINA I, et al.CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR), Hawaii, USA, 2017.

[27] LIN S, CHENG H F, LI W, et al.Ubii: Physical world interaction through augmented reality[J]. IEEE Transactions on Mobile Computing, 2017, 16(3): 872-885.

[28] KIM J H, THANG N D, KIM T S.3-D hand motion tracking and gesture recognition using a data glove[C]// 2009 IEEE International Symposium on Industrial Electronics(ISIE 2009), Lausanne, Switzerland, 2009.

[29] CHENG H, YANG L, LIU Z.Survey on 3D hand gesture recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(9): 1659-1673.

[30] AL-RAHAYFEH A, FAEZIPOUR M.Eye tracking and head movement detection: A state-of-art survey[J]. IEEE journal of Translational Engineering in Health and Medicine, 2013, 1(1): 11-22.

[31] MIRSAMADI S, HANSEN J H L. Multichannel feature enhancement in distributed microphone arrays for robust distant speech recognition in smart rooms[C]// 2014 IEEE Spoken Language Technology Workshop(SLT), South Lake Tahoe, NV, USA, 2014.

[32] HE Z M, CHANG T, LU S Y, et al.Research on human-computer interaction technology of wearable devices such as augmented reality supporting grid work[J]. Procedia Computer Science, 2017(107): 170-175.