增强现实综述

增强现实综述

产品简介

增强现实（Augmented Reality，简称AR），也被称之为混合现实。它是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。与传统虚拟现实所要达到的完全沉浸的效果不同，增强现实技术致力于将计算机生成的信息同真实世界中的场景结合起来，它可以为医疗和工程用户提供准确、高效的辅助操作界面，也能够为教育或娱乐程序构造引人入胜的交互环境。增强现实技术在工业设计、机械制造、建筑、教育和娱乐等领域都有着广泛的应用前景，而且它提供了一种更容易时间的虚拟现实的方法，更代表了下一代更易使用的人机界面的发展趋势。

识别图打印标志(maker)
在交互系统中是很重要的关键,透过打印标志识别图与软件整合,可让虚拟的物体与识别图之间进行融合合成,随着使用者进行交互作用,也就是虚拟鼠标的概念。

投石智能系统实现了多种识别技术,跟随著不同的应用场景,而选用不同的实现方式。

打印标志
投石AR可支持彩色任意图型识别图,以及黑白识别图两种

彩色任意图型识别图
主要应用于企业识别系统,或是精美刷品上,其优点是,识别图不需要特别订制,透过既有的印刷品,如企业目录等,在一定的灯光环境之下,搭配摄像头

黑白识别图
主要用于消费行市场上,如互动教育书本的方案,其特色系统开发速度快,开发成本较彩色识别图相对低廉

增强现实的发展进程与研究现状综述

发展进程

增强现实 (AugmentedReality，简称AR)技术可以将虚拟的三维物体融合到现实场景中，并能支持用户与其进行交互，它己经成为虚拟现实研究中的一个重要领域，同时也是人机界面技术发展的一个重要方向。

AR技术始于二十世纪六十年代，美国哈佛大学 IvanSutherland教授发明了光学透明头盔显示器(see一 throughHead一 MountedDisplay，简称STHMD)显示计算机生成的3D图形[7]。20世纪80年代到90年代，AR的发展较为成熟，一些公司和高校不断研制出完善的AR系统，其中比较好的有:

1986年，Furness研制的vCAss系统采用头盔显示器将射程、射击目标等作战信息显示在飞行员的视野上。

1986年，美国北卡大学   (LJNCatChaPelHill)研制出用于实现生物化学和建筑可视化的STHMD系统。

1993年，美国哥伦比亚大学的Feine:教授等人设计了一个基于知识的AR系统。该系统用于指导机械维修，可以将有关技术说明叠加在激光打印机上，辅助技术人员完成维修工作，这样，技术人员再也不用带着大量笨重的资料在身边，边进行维修工作，边查阅身边的资料，一旦出现难题、紧急情况，就会不知所措了。

 20世纪90年代初期，波音公司的Tom Caudell和他的同事在他们设计的一个辅助布线系统中提出了“增强现实”（augmented reality，简称AR）这个名词。在他们设计的系统中，应用S-HMD把由简单线条绘制的布线路径和文字 提示信息实时地叠加在机械式的视野中，而这些信息则可以帮助机械师一步一步地完成一个拆卸过程，以减少在日常工作中出错的机会。接下来又相继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人动作路径的规划、娱乐和军事等几个方面。但是由于设备和精度等方面的原因，所有这些系统都没有真正投入实际应用，Azuma在1997年曾对这些系统和其使用的基本技术给出过一个详尽的综述。

同沉浸式的虚拟现实相比，增强现实不但应用的场合广泛，而且更加安全，因为增强现实系统可以让用户在看到虚拟物体的同时，仍能看到真实的场景，即使在停电和设备故障等情况下，也能保证用户的安全。20世纪90年代末，这个领域的研究者们开始聚会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，例如，国际增强现实工作会议（IWAR），国际增强现实研讨会（ISAR）和国际混合与增强现实会议（ISMAR）等。这些会议在很大程度上促进了AR的研究发展。近年来随着移动设备计算能力的增强和对网格计算环境的关注，对户外增强现实系统和支持分布式协同操作增强现实系统的研究明显增加。

国内外发展现状

20世纪90年代末，AR领域的研究者们开始集会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，其中包括国际增强现实工作会议(IWAR)、国际增强现实研讨会(ISAR)和国际混合与增强现实会议(IsMAR)等，这些会议很大程度上促进了AR研究的发展。国外研究AR系统的单位有德国SIEMENSAG、美国微软公司、美国MIT大学，美国哥伦比亚大学、澳大利亚Vienna大学、日本Nara协会等，这些单位已经在AR系统的摄像机校正算法、AR头盔显示器的设计、硬件平台的应用、视觉跟踪技术等方面取得了一些可喜的成果。目前，国内研究AR系统的单位有北京理工大学、浙江大学、中国科学院计算机研究所、国防科技大学、西安石油学院、电子科技大学、华中科技大学、上海大学等，国内对AR技术的研究处于起步阶段。

据统计，从1995年至今，涉及AR系统的国际专利多达一百多篇，新近公开的一篇德国专利 DEI0108064述及的增强现实系统，用视频或音频信息进行综合视觉跟踪，探测用户三维信息并报告其位置，其中的图像记录单元，记录图像并转换格式，注释系统，合成位置数据，存档数据，生成实时的增强现实环境。美国公开的专利US2002191003也涉及了增强现实显示技术，他们用摄像机定位物体位置并报告给连通的计算机以呈现图像，同时让计算机模拟出天气、险情等三维场景，经过增强现实技术处理后的画面将真实场景与虚拟场景进行无缝融合让观众有深深的身临其境的感觉，这项技术已经应用于航海安全控制辅助、飞行员培训、应急训练等方面。而国内涉及AR的专利还很少。

增强现实系统应用领域

1．在军事领域的应用研究

军用飞机和直升机利用头盔显示器将矢量图形叠加到飞行员视野中，提供导航信息。美国著名的 SIMNET 系统在 1995 年融入了增强现实技术，通过一些特殊的头盔式显示器和测距仪，使配备该设备的战斗人员能够看见其他作战单位的增强信息。

2．在医学领域的应用研究

医学领域是增强现实技术应用研究的一个热点，利用增强现实技术可以将病人的MRI（核磁共振）或 CT（计算机控制 X 射线断层分析）叠加在病人身体或实物人体模型上，帮助医生进行手术方案的制定、手术时的辅助指引、模拟的手术训练。MIT的 AI 实验室进行了增强现实技术在脑外科手术中的应用研究，利用增强现实技术合成图像的手术技术操作。

3．在工程设计和装配维修领域的应用研究

1995 年 ECRC（欧洲计算机研究中心）将增强现实技术应用于远程协作进行产品设计，通过增强现实显示设备使得异地的设计人员或客户与本地的设计人员共享一个实物或 CAD 模型信息，并可以实时地交流设计改进思想。增强现实技术应用于机械仪器的组装维修方面，可将装配流程指南按照工作进度准确地显示给用户，指导用户顺利完成任务。相对安装手册而言，这些附加的文字、图像更加生动易于理解。科罗拉多大学 Feiners 研究组应用增强现实进行激光打印机的维修。波音公司将增强现实技术应用于飞机制造中的电力线连接和接线器的装配。

4．在文化娱乐领域的应用研究

德国 DML（数字媒体实验室）利用增强现实技术扩展了原来基于蓝影技术制作天气预报节目的方法，用虚拟的三维场景替换了原来的平面背景，使得节目效果更好。

5．在建筑领域的应用研究

英国 Fraunhofer 学院开发了适用于城市规划的增强现实系统，使得建筑设计人员能够在现场预视方案的效果，与应用于该领域的虚拟现实系统而言，增强现实系统可以让设计人员更真实地体验设计方案与周围环境是否和谐。

增强现实系统的工作原理1

由于AR应用系统在实现的时候要涉及到多种因素，因此AR研究对象的范围十分广阔包括信号处理、计算机图形和图像处理、人机界面和心理学、移动计算、计算机网络、分布式计算、信息获取和信息可视化，以及新型显示器和传感器的设计等。AR系统虽不需要显示完整的场景，但是由于需要通过分析大量的定位数据和场景信息来保证由计算机生成的虚拟物体可以精确地定位在真实场景中，因此AR系统中一般都包含以下4个基本步骤：(1)获取真实场景信息;(2)对真实场景和相机位置信息进行分析;(3)生成虚拟景物;(4)合并视频或直接显示，即图形系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过S-HMD现实或与真实场景的视频合并后，一起显示在普通显示器上。AR系统中，成像设备、跟踪与定位技术和交互技术是实现一个基本系统的支撑系统。

简单AR系统的基本流程

增强现实中用到的相关支撑技术

一个完善的AR系统包括多个学科研究的技术，其中系统显示定位技术，虚实融合技术和用户交互技术是实现一个AR系统的基本支撑技术

一、AR系统的显示技术

一般增强现实的显示技术分为以下四类:头盔显示器，投影式 (ProjeetDisplay)显示技术，手持式(HandHeldDisplay)显示器，普通液晶显示器。

 二、跟踪定位技术

由于要实现虚拟和现实物体的完美结合，必须将虚拟物体合并到现实世界中的准确位置，这个过程称为注册 (registration)，因此AR跟踪定位系统必须能够实时地检测观察者在场景中的位置、视域的方向，甚至是运动的情况，以便用来帮助系统决定显示何种虚拟物体，并按照观察者的视场重建坐标系。在AR应用中，通常使用两类跟踪和定位技术，一种是基于硬件设备的跟踪定位技术，一种是基于机器视觉的跟踪定位技术。

用于跟踪定位技术的硬件系统和设备主要包括:全球卫星定位系统(GPs)和DeadReckoning技术、超声波定位仪、惯性导航装置、螺旋测度仪、测距仪、光学系统、磁跟踪器、机械装置。基于视觉的跟踪注册技术即是从真实环境中获取一幅或者多幅图像，然后标定摄像机与目标间的相对位置和方向。由于头部跟踪系统提供的跟踪信息没有反馈增强信息与真实环境的匹配程度信息，难以取得最佳匹配。基于视觉的AR系统可以利用图像处理和计算机视觉的方法协助注册，并且使得测量局限在图像空间范围。基于视觉跟踪的方法大体上可以分为以下四类:

1．己知单幅图像中的六个或者六个以上的匹配点进行跟踪，Tsai等提出了这种算法，目前大多数研究者采用这种算法。这类视觉跟踪的方法使用相机标定的技术，利用单幅图像中己知点的三维空间位置与它们在图像平面坐标系中的成像坐标实现跟踪注册。这些已知点是物体的特征点:如拐点、孔洞、放置的标志点。标志点多采用平面标志物体为定位基准:如长方形、圆环、五边形、条形码等等。

我司增强现实案例：英国喜德瑞BDR高峰论坛现AR舞台互动

                  芜湖镜湖万达广场