投石助力英国喜德瑞BDR高峰论坛AR增强现实舞台互动

效果測試視頻

一、分享投石智能系统与英国喜德瑞热能集团合作案例

我司与喜德瑞热能集团成功签署即将召开的喜德瑞热能技术BDR高峰论坛多媒体技术服务合作协议。此次我司将为喜德瑞热能技术BDR高峰论坛提供增强现实（AR）等多媒体互动产品。

届时运用AR增强现实技术实现演讲者与卡通人物“八喜”互动对话的场景。当领导于舞台演讲时，“八喜”神秘出场，身材比例由小到大，直至大到象真人一样，然后以标准英国管家的形式向领导鞠躬，二人由此开始展开对话。剧情具体如下：

二、增强现实（AR）项目精彩剧情分享

八喜：主人，您好。我是八喜，来自英伦，是您的供暖管家。

领导：（侧过身，竖起耳朵恭敬聆听状态，微微弯腰。）八喜，您作为我的供暖管家能够为我做些什么呢？

八喜：（微笑，双手掌心向内，合掌成心型。）主人，我们将用最好的产品，组合成专业的系统，带给您贴心的供暖享受。

领导：思考状态，双手报臂，右手托下巴思索问题状态那你的供暖系统有什么与众不同吗？

八喜：（微笑，右手臂伸开，掌心向上，呈产品介绍姿势。随着八喜手指敲击三次，“最全面、个性化和智能化的”——这几个字幕对应的三个手势逐一出现）主人，我可以根据您家的采暖及生活热水需求，为您即时提供最全面、个性化和智能化的解决方案。

领导：（开心状态，不断点头。）听起来真的很吸引人。

八喜：(兴奋状态，拍手鼓掌。)

领导：好的，那你就帮我介绍一下八喜的产品及服务吧

八喜：(以标准英国管家的形式向领导鞠躬，转过身，对着镜头一指）(伴随信号切换）好，主人，请稍候。我将马上为您逞现八喜的产品系列及全套供暖解决方案。

三、分享增强现实（AR）技术原理及其他信息

增强现实综述

产品简介

增强现实（Augmented Reality，简称AR），也被称之为混合现实。它是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。与传统虚拟现实所要达到的完全沉浸的效果不同，增强现实技术致力于将计算机生成的信息同真实世界中的场景结合起来，它可以为医疗和工程用户提供准确、高效的辅助操作界面，也能够为教育或娱乐程序构造引人入胜的交互环境。增强现实技术在工业设计、机械制造、建筑、教育和娱乐等领域都有着广泛的应用前景，而且它提供了一种更容易时间的虚拟现实的方法，更代表了下一代更易使用的人机界面的发展趋势。

增强现实的发展进程与研究现状综述

发展进程

增强现实 (AugmentedReality，简称AR)技术可以将虚拟的三维物体融合到现实场景中，并能支持用户与其进行交互，它己经成为虚拟现实研究中的一个重要领域，同时也是人机界面技术发展的一个重要方向。

AR技术始于二十世纪六十年代，美国哈佛大学 IvanSutherland教授发明了光学透明头盔显示器(see一 throughHead一 MountedDisplay，简称STHMD)显示计算机生成的3D图形[7]。20世纪80年代到90年代，AR的发展较为成熟，一些公司和高校不断研制出完善的AR系统，其中比较好的有:

1986年，Furness研制的vCAss系统采用头盔显示器将射程、射击目标等作战信息显示在飞行员的视野上。

1986年，美国北卡大学   (LJNCatChaPelHill)研制出用于实现生物化学和建筑可视化的STHMD系统。

1993年，美国哥伦比亚大学的Feine:教授等人设计了一个基于知识的AR系统。该系统用于指导机械维修，可以将有关技术说明叠加在激光打印机上，辅助技术人员完成维修工作，这样，技术人员再也不用带着大量笨重的资料在身边，边进行维修工作，边查阅身边的资料，一旦出现难题、紧急情况，就会不知所措了。

20世纪90年代初期，波音公司的Tom Caudell和他的同事在他们设计的一个辅助布线系统中提出了“增强现实”（augmented reality，简称AR）这个名词。在他们设计的系统中，应用S-HMD把由简单线条绘制的布线路径和文字 提示信息实时地叠加在机械式的视野中，而这些信息则可以帮助机械师一步一步地完成一个拆卸过程，以减少在日常工作中出错的机会。接下来又相继出现了多种增强现实应用系统，主要集中在医疗、制造与维修、机器人动作路径的规划、娱乐和军事等几个方面。但是由于设备和精度等方面的原因，所有这些系统都没有真正投入实际应用，Azuma在1997年曾对这些系统和其使用的基本技术给出过一个详尽的综述。

同沉浸式的虚拟现实相比，增强现实不但应用的场合广泛，而且更加安全，因为增强现实系统可以让用户在看到虚拟物体的同时，仍能看到真实的场景，即使在停电和设备故障等情况下，也能保证用户的安全。20世纪90年代末，这个领域的研究者们开始聚会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，例如，国际增强现实工作会议（IWAR），国际增强现实研讨会（ISAR）和国际混合与增强现实会议（ISMAR）等。这些会议在很大程度上促进了AR的研究发展。近年来随着移动设备计算能力的增强和对网格计算环境的关注，对户外增强现实系统和支持分布式协同操作增强现实系统的研究明显增加。

国内外发展现状

20世纪90年代末，AR领域的研究者们开始集会在一系列每年召开的和增强现实相关的国际研讨会和工作会议上，其中包括国际增强现实工作会议(IWAR)、国际增强现实研讨会(ISAR)和国际混合与增强现实会议(IsMAR)等，这些会议很大程度上促进了AR研究的发展。国外研究AR系统的单位有德国SIEMENSAG、美国微软公司、美国MIT大学，美国哥伦比亚大学、澳大利亚Vienna大学、日本Nara协会等，这些单位已经在AR系统的摄像机校正算法、AR头盔显示器的设计、硬件平台的应用、视觉跟踪技术等方面取得了一些可喜的成果。目前，国内研究AR系统的单位有北京理工大学、浙江大学、中国科学院计算机研究所、国防科技大学、西安石油学院、电子科技大学、华中科技大学、上海大学等，国内对AR技术的研究处于起步阶段。

据统计，从1995年至今，涉及AR系统的国际专利多达一百多篇，新近公开的一篇德国专利 DEI0108064述及的增强现实系统，用视频或音频信息进行综合视觉跟踪，探测用户三维信息并报告其位置，其中的图像记录单元，记录图像并转换格式，注释系统，合成位置数据，存档数据，生成实时的增强现实环境。美国公开的专利US2002191003也涉及了增强现实显示技术，他们用摄像机定位物体位置并报告给连通的计算机以呈现图像，同时让计算机模拟出天气、险情等三维场景，经过增强现实技术处理后的画面将真实场景与虚拟场景进行无缝融合让观众有深深的身临其境的感觉，这项技术已经应用于航海安全控制辅助、飞行员培训、应急训练等方面。而国内涉及AR的专利还很少。

增强现实系统应用领域

1．在军事领域的应用研究

军用飞机和直升机利用头盔显示器将矢量图形叠加到飞行员视野中，提供导航信息。美国著名的 SIMNET 系统在 1995 年融入了增强现实技术，通过一些特殊的头盔式显示器和测距仪，使配备该设备的战斗人员能够看见其他作战单位的增强信息。

2．在医学领域的应用研究

医学领域是增强现实技术应用研究的一个热点，利用增强现实技术可以将病人的MRI（核磁共振）或 CT（计算机控制 X 射线断层分析）叠加在病人身体或实物人体模型上，帮助医生进行手术方案的制定、手术时的辅助指引、模拟的手术训练。MIT的 AI 实验室进行了增强现实技术在脑外科手术中的应用研究，利用增强现实技术合成图像的手术技术操作。

3．在工程设计和装配维修领域的应用研究

1995 年 ECRC（欧洲计算机研究中心）将增强现实技术应用于远程协作进行产品设计，通过增强现实显示设备使得异地的设计人员或客户与本地的设计人员共享一个实物或 CAD 模型信息，并可以实时地交流设计改进思想。增强现实技术应用于机械仪器的组装维修方面，可将装配流程指南按照工作进度准确地显示给用户，指导用户顺利完成任务。相对安装手册而言，这些附加的文字、图像更加生动易于理解。科罗拉多大学 Feiners 研究组应用增强现实进行激光打印机的维修。波音公司将增强现实技术应用于飞机制造中的电力线连接和接线器的装配。

4．在文化娱乐领域的应用研究

德国 DML（数字媒体实验室）利用增强现实技术扩展了原来基于蓝影技术制作天气预报节目的方法，用虚拟的三维场景替换了原来的平面背景，使得节目效果更好。

5．在建筑领域的应用研究

英国 Fraunhofer 学院开发了适用于城市规划的增强现实系统，使得建筑设计人员能够在现场预视方案的效果，与应用于该领域的虚拟现实系统而言，增强现实系统可以让设计人员更真实地体验设计方案与周围环境是否和谐。

增强现实系统的工作原理

由于AR应用系统在实现的时候要涉及到多种因素，因此AR研究对象的范围十分广阔包括信号处理、计算机图形和图像处理、人机界面和心理学、移动计算、计算机网络、分布式计算、信息获取和信息可视化，以及新型显示器和传感器的设计等。AR系统虽不需要显示完整的场景，但是由于需要通过分析大量的定位数据和场景信息来保证由计算机生成的虚拟物体可以精确地定位在真实场景中，因此AR系统中一般都包含以下4个基本步骤：(1)获取真实场景信息;(2)对真实场景和相机位置信息进行分析;(3)生成虚拟景物;(4)合并视频或直接显示，即图形系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过S-HMD现实或与真实场景的视频合并后，一起显示在普通显示器上。AR系统中，成像设备、跟踪与定位技术和交互技术是实现一个基本系统的支撑系统。

简单AR系统的基本流程

增强现实中用到的相关支撑技术

一个完善的AR系统包括多个学科研究的技术，其中系统显示定位技术，虚实融合技术和用户交互技术是实现一个AR系统的基本支撑技术

一、AR系统的显示技术

一般增强现实的显示技术分为以下四类:头盔显示器，投影式 (ProjeetDisplay)显示技术，手持式(HandHeldDisplay)显示器，普通液晶显示器。

二、跟踪定位技术

由于要实现虚拟和现实物体的完美结合，必须将虚拟物体合并到现实世界中的准确位置，这个过程称为注册 (registration)，因此AR跟踪定位系统必须能够实时地检测观察者在场景中的位置、视域的方向，甚至是运动的情况，以便用来帮助系统决定显示何种虚拟物体，并按照观察者的视场重建坐标系。在AR应用中，通常使用两类跟踪和定位技术，一种是基于硬件设备的跟踪定位技术，一种是基于机器视觉的跟踪定位技术。

用于跟踪定位技术的硬件系统和设备主要包括:全球卫星定位系统(GPs)和DeadReckoning技术、超声波定位仪、惯性导航装置、螺旋测度仪、测距仪、光学系统、磁跟踪器、机械装置。基于视觉的跟踪注册技术即是从真实环境中获取一幅或者多幅图像，然后标定摄像机与目标间的相对位置和方向。由于头部跟踪系统提供的跟踪信息没有反馈增强信息与真实环境的匹配程度信息，难以取得最佳匹配。基于视觉的AR系统可以利用图像处理和计算机视觉的方法协助注册，并且使得测量局限在图像空间范围。基于视觉跟踪的方法大体上可以分为以下四类:

1．己知单幅图像中的六个或者六个以上的匹配点进行跟踪，Tsai等提出了这种算法，目前大多数研究者采用这种算法。这类视觉跟踪的方法使用相机标定的技术，利用单幅图像中己知点的三维空间位置与它们在图像平面坐标系中的成像坐标实现跟踪注册。这些已知点是物体的特征点:如拐点、孔洞、放置的标志点。标志点多采用平面标志物体为定位基准:如长方形、圆环、五边形、条形码等等。

2．从运动摄像机拍摄到的序列图像或者是从拍摄到的运动目标序列图像进行跟踪。通过运动目标的序列图像来研究运动目标的运动特征。首先要利用序列图像来估计目标的运动参数和确定目标的结构，即通过对序列图像的处理，然后在具有系统噪声和测量噪声的情况下，从统计的意义上对运动目标参数做出精确的估计。

3．图像的模板匹配。unenohara使用模板匹配的方法从不同视点提取真实环境的图像用作模板寻找真实环境的数字化图像，一旦找到虚拟物体就被叠加到真实环境。

4．三视图和多视图的跟踪技术。由多部摄像机从真实环境的各个角度提取标识物的图像，通过应用Harris角点检测或SIFT特征点匹配等算法提取图像特征点，计算场景中真实物体的深度信息，确定虚拟物体与真实环境的遮挡关系后显示虚实结合的场景图像，使真实场景与虚拟物体实现更加自然的时空范围中的融合，使用户可以与虚拟物体自由交互。

衡量AR系统性能以及影响其实用性的关键指标是三维跟踪注册精度。目前的注册误差可以分成两大类:静态注册误差、动态注册误差。静态注册误差是当用户的视点和真实环境中的物体均保持静止时才会产生。动态注册误差则只有当用户的视点或者物体运动时才会产生的。动态注册误差是造成增强现实系统注册误差的主要来源，也是限制增强现实系统实现广泛应用的主要因素。为了弥补各种跟踪技术的缺点，许多研究者采用混合跟踪的方法以期取长补短，满足增强现实系统高精度注册的要求。

三、虚实融合技术

虚实配准技术是任何实用的增强现实系统所首先需要解决的重要问题，这也是国内外众多研究人员对此问题展开详细研究的原因所在。基于计算机视觉的注册方法以其精度高、可用性强等特点已经引起越来越多研究人员的关注。这种方法可以按照不同的标准进行分类:如从是否能够在系统运行过程中自动获取摄像机内部参数角度，可以分为预定标和非定标两种方法，从是否需要人为标识，可以分为基于标识以及基于自然特征两种方法。

从是否能够在系统运行过程中自动获取摄像机内部参数来看，可以分为预定标和非定标三维注册两种，一种基于仿射变换的非定标三维注册方法，这种方法将摄像机坐标系、世界坐标系和虚拟场景坐标系合并，建立一个全局仿射坐标系。通过将真实场景、摄像机和虚拟场景定义在同一坐标系下，绕开不同坐标系之间转换关系的求解问题，从而使得三维注册问题的解决不再依赖于摄像机内外参数的确定。事实上这种方法在避免了事先确定摄像机内部参数的同时也存在如下一些缺陷:首先该方法在仿射坐标系下定义虚拟场景，这种坐标系与当前多数图形渲染工具(如Opengl、Direct 3D等)所采用的欧氏坐标系不符，一定程度上限制了算法的实用性;另外该方法不能将仿射投影矩阵分解为摄像机内外参数两部分,从而无法生成光照、阴影等效果，一定程度上影响了系统的真实感。为了改进以上方法的不足，提出了一种基于投影重建的预定标虚实配准方法，这种方法采用小孔成像模型，规定摄像机内部参数为已知而且在系统运行过程中不发生变化。系统在离线阶段利用投影重建技术以及用户指定的构成正方形的四点建立世界坐标系，实时注册阶段利用重投影技术恢复用户指定的四点在当前图像上的位置以计算三维注册矩阵。这种方法在避免了基于仿射变换的三维注册方法的缺点的同时也存在着如下一些缺陷：最小配置下需要6点追踪成功才能完成注册，系统注册精度在摄像机发生运动情况下很不稳定;一旦摄像机内部参数发生变化，则会产生较大的虚实配准误差，从而影响了虚实融合的真实感。针对上述问题，本文在第三章提出了一种基于自定标技术的虚实配准策略，该方法采用小孔成像模型，在欧氏坐标系下表达虚拟场景，能够克服仿射变换方法的一系列缺陷，同时由于在运行过程中能够自动计算摄像机内部参数，使得系统的运行不在依赖于对摄像机内部参数的事先确定，有效提高了系统的可用性和精确性。

四、用户交互技术

下一代AR技术的主要特征是实现用户与真实场景中的虚拟物体之间更自然的交互，AR系统需要通过跟踪定位设备获取交互控制数据执行用户对虚拟物体实施的行为指令。AR应用系统常使用以下3种方式实现用户与系统之间的交互:

1．标识特征点:通过空间点位置选择场景中的虚拟目标是AR中最基本的交互方式。一般需要指定空间点的二维或三维坐标。应用中常使用预先定义的一个或多个定位标记固定在交互物体上。

2．姿态命令:AR中的命令是通过运用人工智能中的机器学习和模式识别技术来完成的。华盛顿大学的数字桌面系统使用贴有标记的木板来操纵虚拟物体，一些系统中也使用装有反光标一记的黑色手套来操纵虚拟的国际象棋棋子。系统中的命令也可以依靠二维空间点输入实现，如使用手势识别等。

3．特制工具:特制工具通常是空间点的输入工具和系统软件的组合。在操作中，通过空间点工具操作虚拟目标和控制面板提供的功能项，如滑块、按钮、选项或文字输入，能够增强对特定应用的交互能力。在实际应用的项目中，会提供称为个人交互面板的工具(PIP)的特制工具与计算机生成的虚拟物体交互。

增强现实系统的特点

增强现实系统的特点是虚实结合、实时交互、三维注册。

其中，虚实结合的特点是指虚拟物体与真实世界的结合，即使用户所感知的混合世界里，虚拟物体出现的时间或位置与其真实世界对应事物相一致和谐调。同时，系统能根据用户当前的位置或状态即时调用与之相关的虚拟世界，并即时将该虚拟世界与真实世界结合，真实与虚拟之间的相互作用或影响是实时完成的，比如视线上的相互阻挡，形状上的相互挤压等等。

三维注册要求对合成到真实场景中的虚拟信息和物体准确定位并进行真实感实时绘制，使虚拟物体在合成场景具有真实的存在感和位置感。实现这种要求的前提是，利用各种传感器检测真实世界的信息，并创建相应的几何模型。模型的精确性取决于传感器所获取的精度，同时需要建立精确的模型，这需要巨大的数据量。AR环境中的交互过程需要从特殊的硬件交互设备或一些定位传感器获取数据，为了保证实时性，所有数据和相应操作要求在极短的时间间隔内得到处理，同时保证输出帧频保持在用户可以接受的范围内。

结语

AR系统的研究目前已取得了一定的成果，但是大部分仍处于实验室研究阶段。作为一个涉及到多种学科交叉的研究领域，各个应用领域都需要应用到AR的相关技术。所以AR系统的研究发展领域依然很有前景，可探索领域也很广泛。鉴于目前仍处在实验室研究阶段，南京投石智能系统希望借助自己的技术力量，能够把增强现实AR尽快应用到国防建设以及经济发展当中，在实际中发挥它的价值，造福人类，这才是科研的真正目的。也欢迎广大4A公关公司和品牌公司、各类活动开闭幕式等，与我们共同探讨应用场景可行性。