增强现实AR

增强现实技术的研究现状及发展趋势

增强现实(AR)技术是一种新兴技术,它将计算机生成的虚拟信息叠加到用户所在的现实世界中。 它是虚拟现实技术的一个重要分支。 它提高了用户对现实世界的感知,为人类与世界沟通提供了新的方式。 近年来受到研究者的广泛关注。

增强现实有两种定义。 一种是Milgram P和Kishino F提出的:将真实环境和虚拟环境放在两端,其中接近真实环境的称为增强现实,接近虚拟环境的称为增强虚拟,即位于中间。 一种称为混合现实;另一种称为混合现实。 另一种是Azuma定义的:一种以虚实结合、实时交互、三维配准为特征,利用附加图片和文字信息增强现实世界的技术。

与虚拟现实不同,增强现实技术利用三维跟踪配准技术来计算虚拟物体在现实环境中的位置,通过将计算机中的虚拟物体或信息带入现实世界来增强现实世界。 近年来,随着科学技术的发展,增强现实技术已广泛应用于工业、军事、医疗、教育等多个领域。

本文从跟踪注册技术、显示技术和人机交互技术三个方面概述了增强现实系统中的关键技术,总结了增强现实技术在各个领域的应用,并展望了未来的发展趋势。

增强现实的关键技术

追踪登记技术

对于增强现实系统来说,一个重要的任务就是实时准确地获取当前摄像机的位置和姿态,确定虚拟物体在现实世界中的位置,进而实现虚拟物体与现实世界的融合。 相机位姿获取方法是跟踪配准技术。 从具体实现来看,跟踪注册技术可分为三类:基于传感器的跟踪注册技术、基于计算机视觉的跟踪注册技术以及集成视觉和传感器的跟踪注册技术。

1)基于传感器的跟踪配准技术

基于传感器的跟踪注册技术主要通过硬件传感器来跟踪定位摄像机,如磁场传感器、惯性传感器、超声波传感器、光学传感器、机械传感器等。

磁场传感器根据磁发射信号与磁感应信号的耦合关系获得被测物体的空间方向信息,根据接收器的磁通量获得接收器与信号源的相对位置信息。 这类设备一般重量轻,但环境中的金属物质会干扰磁场传感器,从而影响跟踪注册的准确性。 惯性传感器一般包括陀螺仪和加速度计。 陀螺仪可以用来测量物体运动的方向; 加速度计可用于测量物体的加速度。 两者结合即可得到物体的位置和方向。 超声波传感器跟踪是根据不同声源发出的超声波到达目标时的时间差、相位差和声压差来实现跟踪和配准。 此类方法受外部环境影响较大。 光学传感器通过分析接收到的反射光的光信号来实现跟踪配准。 机械传感器根据机械关节的物理连接来测量运动相机的姿态。 综合来看,基于传感器的跟踪配准技术算法简单,采集速度快,但设备相对昂贵,且易受外界环境影响。

2)基于计算机视觉的跟踪注册技术

图像处理和计算机视觉近年来发展迅速,一些相对成熟的技术已应用于增强现实系统的跟踪和配准。 基于计算机视觉的跟踪配准技术通过对捕获的图像数据信息进行分析处理来识别和定位真实场景环境,进而确定真实场景与虚拟信息的对应关系。 这种方法一般只需要摄像头捕捉到的图像信息,对硬件要求较低。

从实现方式来看,基于计算机视觉的跟踪配准方法可以分为基于人工标记的方法和基于自然特征的方法。

基于人工地标的方法一般将包含特定人工地标的物体放置在真实场景中,通过识别相机采集的图像中的已知模板来获得相机位姿,然后将虚拟物体叠加到真实场景中。 基于人工标记的最具代表性的方法是ARToolkit和ARTag。 ARToolkit利用人工标记实现快速准确的跟踪配准,但对遮挡比较敏感; ARTag使用数字编码在一定程度上增加了处理遮挡的能力。 图 1 显示了 ARToolkit 中的人工标志示例。 图 2 显示了 ARTag 中的人工标记示例。

ar增强现实_现实增强技术_现实增强AR/

图1 ARToolkit人工标志示例

ar增强现实_现实增强AR_现实增强技术/

图2 ARTag人工标志示例

基于自然特征的方法提取图像中的特征点,并计算场景中相同三维点在二维图像上的对应关系,以优化三维点在世界坐标系中的位置和三维点的位置。相机的姿势。 近年来,随着计算机视觉和人工智能的发展,同步定位与建图(SLAM)受到广泛关注。 该类方法在跟踪配准的同时构建场景地图,具有运算速度快、准确率高等优点。 基于自然特征的方法不需要人为地向真实场景环境添加附加信息。 它只需要跟踪视频中捕捉到的场景中的自然特征,经过一系列的几何变换,就可以实现场景的跟踪和配准。 与基于人工标记的方法相比,此类方法更加简单方便,但自然特征数量和跟踪效果的不稳定会对系统的计算速度和精度产生较大影响。

3)集成视觉和传感器跟踪配准技术

在一些增强现实应用场景中,无论是基于计算机视觉还是基于传感器的方法都无法达到理想的跟踪效果。 因此,研究人员综合考虑两者的优缺点并将其结合起来以获得更好的跟踪和配准效果。 。 香港科技大学沉少杰研究小组提出的视觉惯性导航系统(VINS)将视觉与陀螺仪和加速度计信息深度融合,在无人机和手持移动设备上都实现了良好的跟踪配准。 影响; 苹果推出的ARKit和谷歌推出的ARCore增强现实软件平台分别支持iOS和Android操作系统,为移动智能设备上的增强现实应用提供了无限可能。 图 3 显示了在 ARKit 和 ARCore 平台上开发的移动设备上的增强现实应用程序的示例。

现实增强技术_ar增强现实_现实增强AR/

图3 增强现实应用示例

显示技术

增强现实技术的最终目标是为用户呈现一个融合现实与现实的世界。 因此,显示技术是增强现实系统的重要组成部分。 目前,常用的显示设备包括头戴式显示设备、电脑屏幕显示设备、手持移动显示设备以及投影显示设备。

1)头戴式显示设备

由于增强现实系统需要用户观察现实世界的实时图像,因此头戴式显示设备主要是透视头盔式显示器。 这类设备的主要功能是将用户环境中的真实信息与计算机生成的虚拟信息集成起来。 根据真实环境的表达方式,可分为视频透视头盔显示器和光学透视头盔显示器。

视频透视头盔显示器通过头盔上的一个或多个摄像头获取现实世界的实时图像,利用图像处理模块和虚拟渲染模块进行融合,最终将虚实融合的效果显示在头盔上。头盔式显示器。

微软推出的Hololens增强现实眼镜采用全息技术,结合多个传感器,将虚拟内容投射成全息图像,实现虚实融合。 该眼镜集成了中央处理单元(CPU)、图形处理单元(GPU)和全息处理单元(HPU),无需连接任何其他设备即可与现实世界交互。 Meta公司推出的Meta2也是一款高度沉浸式的增强现实眼镜。 它的视野比Hololens更大,但跟踪保真度仍需优化,并且在使用过程中需要连接计算机进行计算。 图4为Hololens增强现实眼镜和Meta2增强现实眼镜的外观。

ar增强现实_现实增强技术_现实增强AR/

图4 Hololens增强现实眼镜(a)和Meta2增强现实眼镜(b)

光学透视头戴式显示器基于光反射原理,利用多个光学镜片的组合,为用户营造出虚拟物体与真实场景融为一体的画面。 与视频透视头盔显示器相比,光学透视头盔显示器在显示增强图像时不需要经过图像融合过程。 用户看到的图像是当前真实场景和虚拟信息的叠加。

谷歌推出的Google Glass是一款光学透视式头盔显示器,通过光学放大后的棱镜向用户显示数据(图5(a))。 Google Glass可以通过语音控制,实现拍照、视频通话、全球定位系统(GPS)定位、文字处理、收发电子邮件等多种功能。 Magic Leap发布了一款基于光场的头戴式增强现实设备Magic Leap One(图5(b))。 该设备使用外部摄像头和计算机视觉处理器来实时跟踪用户的位置。 它可以在跟踪过程中不断调整眼睛的焦点,并通过光场显示器显示包含深度信息的图像。

现实增强技术_ar增强现实_现实增强AR/

图 5 Google Glass (a) 和 Magic Leap One (b)

2)电脑屏幕显示设备

计算机屏幕显示设备作为传统的输出设备,一般具有较高的分辨率和较大的体积。 在增强现实应用中,此类设备更适合在室内或大范围场景中渲染和叠加精细的虚拟物体。 由于此类设备沉浸感较弱,但价格低廉,一般适用于低端或多用户增强现实系统。

3)手持移动显示设备

手持移动显示设备是一种允许用户将其握在手中的显示设备。 近年来,智能移动终端发展迅速。 现有的智能手持设备大多配备摄像头、全球定位系统(GPS)、陀螺仪、加速度计等传感器。 它们还拥有大型高分辨率显示屏,这为移动设备提供了巨大的机会。 增强现实提供了良好的开发平台。 与头盔式显示设备相比,手持式移动显示设备普遍体积更小、重量更轻、更易于携带,但沉浸感较弱。 同时,由于硬件限制,不同设备的计算性能存在差异。 目前,随着iOS系统下增强现实平台ARKit和Android系统下ARCore的发布,后续新款智能移动终端大多将支持增强现实技术。

4)投影显示设备

投影显示设备可以将增强现实图像投影到广泛的环境中,满足用户大屏幕显示的需求。 由于投影显示设备生成的图像焦点不随用户视角的变化而变化,因此更适合室内增强现实环境。 微软研究院的RoomAlive项目结合了Kinect、投影仪、摄像头和计算机,通过构建房间的三维图像,将虚拟图像投射到整个房间,同时通过定位用户的位置来实现与虚拟世界的交互。

人机交互技术

增强现实系统的目标是构建一个现实与虚拟融合的增强世界,让用户在现实世界中感受到近乎真实的虚拟物体,并让人们与这个增强世界进行交互。 在这个过程中,人机交互的质量极大地影响着用户体验。 一般来说,传统的交互方式主要包括键盘、鼠标、触摸设备、麦克风等。近年来,一些基于语音、触摸、眼动、手势和体感的更自然的交互方式也出现了。

1)基于传统硬件设备的交互技术

鼠标、键盘、手柄等是增强现实系统中常见的交互工具。 用户可以使用鼠标或键盘选择图像中的某个点或区域,并在该点或区域完成缩放、拖动虚拟对象等操作。 此类方法简单易操作,但需要外部输入设备的支持,无法为用户提供自然的交互体验,降低了增强现实系统的下沉感。

2)基于语音识别的交互技术

语言是人类最直接的交流方式。 语言交互信息量大、效率高。 因此,语音识别也成为增强现实系统中重要的人机交互方式之一。 近年来,人工智能的发展和计算机处理能力的增强,使得语音识别技术日益成熟并广泛应用于智能终端。 最有代表性的是苹果推出的Siri和微软推出的Cortana。 支持自然语言输入,通过语音识别获取指令,并根据用户需求返回最匹配的结果,实现自然的人机交互,极大提高用户工作效率。

3)触摸交互技术

触摸交互技术是一种基于手的输入方式,比传统的键盘和鼠标输入更加人性化。 智能移动设备的普及,使得基于触摸的交互技术迅速发展,更容易被用户认可。 近年来,基于触摸的交互技术已经从单点触摸发展到多点触摸,实现了从单指点击到多点或多用户交互的转变。 用户可以使用双手进行单点触摸或多点触摸。 通过识别不同的手势,实现单击、双击等操作。

4)基于动作识别的交互技术

基于动作识别的交互技术通过对动作捕捉系统获取的关键部位的位置进行计算处理,分析用户的动作行为并将其转化为输入指令,实现用户与计算机的交互。 微软的Hololens利用深度摄像头获取用户手势信息,并利用手部追踪技术在交互界面上操作虚拟物体。 Meta 的 Meta2 和 Magic Leap 的 Magic Leap One 也允许用户使用手势进行交互。 这种交互方式不仅降低了人机交互的成本,而且比传统交互方式更符合人类自然习惯,更加自然直观。 是当前人机交互领域的热门话题。

5)基于眼动追踪的交互技术

基于眼动追踪的交互技术捕捉人眼看向不同方向时眼睛周围的细微变化,分析确定人眼的注视点,并将其转换为电信号发送至计算机,实现人与人之间的交互和电脑。 ,此过程无需手动输入。 Magic Leap的Magic Leap One在眼镜内部专门配备了传感器,可以追踪用户的眼球运动,从而通过追踪眼睛来控制电脑。

AR技术应用

近年来,增强现实技术已广泛应用于工业维护、影视娱乐、医疗手术、教育培训等多个领域,并逐渐成为下一代人机交互发展的主要方向。技术。

工业制造及维修领域

在工业领域,制造和维修过程通常很复杂,通常涉及数百甚至数千个步骤。 一旦操作过程中出现错误,将会造成巨大的损失。 增强现实技术可以准确地将已知的数据信息发送给装配线上的工人。 例如,当用户指向某个零件时,系统会显示该零件的名称和功能,从而减少错误的发生,提高生产和维护效率。

在工厂中,增强现实系统还可以捕获工业系统的信息,获取并可视化每个设备和运行过程的检测和诊断数据,帮助维护人员找到可能出现问题的根源,并提醒工人进行预防性维护,减少因设备损坏造成停机造成的损失。 Iconics 将增强现实技术引入工业自动化软件中,通过将相关信息投影到理想位置来提高检查设备或流程的效率。

营销和销售领域

增强现实技术重新定义了产品展厅和演示的概念,彻底颠覆了传统的客户体验。 在购买前,用户可以看到虚拟产品在真实环境中的状态,促使其做出更符合实际期望的购买决策,从而提高客户满意度。

EasyAR与汽车之家联合推出AR看车软件。 用户可以在买车前通过手机应用将虚拟车辆放置在真实场景中并预览在道路上行驶的效果(图6)。 瑞典宜家集团推出了一款名为 IKEA Place 的家具应用程序。 用户可以选择自己喜欢的家具并将其添加到真实场景中,避免装修过程中出现家具尺寸不合适、风格不一致等问题(图7)。

现实增强技术_现实增强AR_ar增强现实/

图6 “AR看车”移动应用软件效果

现实增强AR_ar增强现实_现实增强技术/

图7 “IKEA Place”移动应用软件效果

医疗领域

医疗手术导航是增强现实技术的重要应用之一。 由于许多医疗程序都具有很高的风险,任何微小的操作失误都可能造成严重的后果。 增强现实技术对CT或医学磁共振成像(MRI)进行三维建模,并将构建的模型与患者身体精确配准,为医生提供真实和虚拟叠加的图像,从而实现医疗操作的导航功能。 。

Surgiceye在许多手术病例中引入了增强现实技术。 例如,在手术过程中,医生可以通过增强现实技术直接“查看”患者的内部身体、骨骼等信息。 在实际应用中,增强现实与常规诊断显示方法相结合,可以帮助医生准确找到病理位置。

军事领域

由于增强现实技术可以将现实世界与虚拟世界融合并允许用户实时交互,因此已被应用到军事领域的多个方面,并在数字战场中发挥了巨大的作用。

在战场上,增强现实技术可以增强战场环境信息。 基于输入的部队位置信息,增强现实系统不仅可以向部队展示真实的战场场景,还可以叠加额外的环境信息以及敌我双方的隐藏力量,实现多种战场信息的可视化。

军事训练中,对战场的真实性要求很高; 同时,很多环节需要重复多次,消耗大量设备。 增强现实技术的引入,不仅可以提供更加真实的战场环境,达到实战训练的效果,而且可以让士兵进行重复操作,增加训练次数,减少装备消耗。

此外,考虑到指挥员在战场上掌握信息的重要性,增强现实技术的引入可以使各级指挥员同时查看战场实际情况和各种叠加信息,并与之互动,从而实现沟通指挥中心与各部门之间。 级别战斗人员之间信息的快速传输和高度共享。 指挥员可以在了解各作战单位情况的同时,快速下达指挥命令,将地理上分散的群体联合成一个协调的整体。

影视、娱乐、游戏领域

在影视制作方面,增强现实技术可以将现实中不存在的虚拟场景或人物添加到真实的拍摄场景中,比如汽车爆炸、恐龙、科幻世界等,这种“所见即所得”基于增强现实的拍摄方式,大大简化了影视制作中动画特效带来的工作量,降低了制作成本。

在娱乐和游戏方面,增强现实技术可以提供各种体验项目,比如把远古的恐龙、深海的鲨鱼等不可能的动物放到真实的场景中,以满足人们的好奇心; 它还可以将现实生活场景转变为战场,让用户在一个虚实交融的世界中与其他玩家竞争。 近年来最具代表性的就是任天堂开发的增强现实游戏《Pokeman Go》。 通过打开相机,用户可以捕捉和战斗出现在现实世界中的神奇宝贝。

教育领域

增强现实技术作为一种沉浸式学习方式,可以将丰富的资源信息等数据融入到用户可以观察到的现实生活场景中,为教师和学生提供沉浸式的学习环境,激发学生的学习兴趣。 提高主观积极性。 同时,增强现实技术可以构建并显示目标物体的三维模型。 学生可以通过从不同角度观察模型并与虚拟模型互动,增强对目标物体的理解。 此外,增强现实系统的实时交互特性弱化了地点和空间的限制。 教师可以在课堂或远程指导学生,弥补现实环境中设备的不足,实现资源共享。

美国Z-Space公司开发了一系列通识教育应用软件,实现教师、学生、三维场景的互动。

历史遗迹修复和数字遗产保护

增强现实技术的一个重要应用场景是室内博物馆导航,通过在文物上叠加虚拟文字和视频信息,为游客提供更多的文物导览讲解。 此外,增强现实技术还可以利用采集到的数据对文物古迹进行还原和再现,将高度逼真的虚拟图像展示在游客面前,为游客提供身临其境的视觉体验。

Archeoguide是一款基于增强现实的文物指南。 通过GPS粗略定位,可以向游客展示修复后的希腊奥林匹亚神庙。 北京理工大学王永田课题组研究的基于增强现实的圆明园景观数字化重建技术,很好地恢复了圆明园的部分遗址,真实感很强。 游客在圆明园遗址前可以看到重建后的皇家园林。

综上所述

近年来,增强现实技术受到研究人员的广泛关注。 在计算机视觉和人工智能技术的推动下,增强现实技术呈现出强劲的发展势头,无论是跟踪配准精度、显示设备性能,还是人机交互的自然度都得到了很大的提升,但也可以看到可见,增强现实技术还有很多问题有待解决。 从跟踪配准技术角度来看,目前的跟踪配准方法只能利用场景中的少量信息,例如特征点信息,导致系统对环境的理解不完整; 从显示技术的角度来看,能够为用户提供高可视性的增强现实眼镜的尺寸和价格无法满足大众的需求; 在交互方式方面,更自然的支持多用户的增强现实交互技术仍需研究。

尽管增强现实技术仍存在诸多瓶颈,但大量的应用研究和分析表明其具有巨大的应用前景。 未来几年,增强现实技术的应用,特别是在移动智能终端上的应用将会大量涌现。 虽然移动设备与头盔式显示设备相比下沉感不强,但人气很高。 同时,ARKit和ARCore开发平台的推出,从技术上实现了增强现实与智能移动设备的结合。 在未来的发展中,能够更好地发挥增强现实技术优势的智能可穿戴设备将为人类创造一个更加真实的虚拟和现实世界,人们可以通过更加自然的人机交互方式与系统进行交互。 未来,增强现实技术将在很大程度上改变人类的生活,是科技发展的必然趋势。

资助项目:国家自然科学基金(61572479); 国家重点研发计划(2016YFB001403); 国家自然科学基金委与新加坡国家研究基金会合作研究资助项目(61661146002)

参考文献(略)