第一部分 增强现实和虚拟现实概述

第1章 计算机产生的世界

增强现实和虚拟现实是两种不同的技术，有着显著区别，但却常常被相提并论。前者提供跟周围环境和场景有着实时联系的文本、符号或图形信息；后者则完全替换了我们的视觉世界。在本章里，我们将探索增强现实（AR）和虚拟现实（VR）的基础和依据，明确区分这些系统的不同能力，从而为学习实现AR和VR的技术打下基础，并深入研究能够解决问题的应用程序。

1.1 什么是增强现实

增强现实能够把含有字母、数字、符号或图形的信息叠加或融合到用户看到的真实世界中，是指代各种显示技术的通用术语。在最初创造这个术语时，增强现实是指把字母、数字或图形的增强效果在用户的真实世界视野里在空间语境下智能地校准、关联和稳定。

虽然增强现实这个名词本身是一个现代产物，但早在20世纪90年代波音公司的科学家汤姆·考德尔（Tom Caudell）就创造了它。使现代增强现实设备成为可能的第一项技术可以追溯到20世纪初，当时，爱尔兰的望远镜制造者霍华德·格拉布爵士（Sir Howard Grubb）申请了一项专利。他的发明（第12108号专利）命名为“一个用于大小型武器上的新准直式瞄准镜”，描述了一个用于帮助瞄准射击武器的装置。

1901年格拉布在皇家都柏林协会科学研讨交流会上发表的发明描述可以说是目光深远的。

“可以想象一个探照灯式的光束，沿着枪的轴线方向投射，并调整到与火线一致，光束所落在的地方，就是击中的目标。这显然是不可行的，但这正说明了光束是达到我们目的的必要条件。”

“瞄准器就是本论文的主题，它投射的不是一个实际的光或图像，而是投射光学界所称的虚拟图像到物体上，获得与实际光所得到的相似的结果。”（格拉布，1901）

这项发明解决了人眼在某一时刻只能聚焦于同一景深的基本挑战。只能专注于近距离的物体，或是专注于远距离的物体，如图1-1所示。人眼的结构使得它不可能同时聚焦在两个物体上。使用仅配备了机械瞄准器的步枪或手枪进行瞄准就特别具有挑战性。至今，这仍是需要定期练习才能掌握的技能。

格拉布的发明一般称为反射瞄准器或反射式瞄准器。图1-2中介绍了这项发明的基本功能，即通过使用一系列光学元件，将聚焦在光学像无限距处的瞄准标线覆盖在远距离目标上。

格拉布的创新直接促进了用于军用飞机的更先进的枪炮瞄准器的开发。第一次应用这项技术是在1918年，德国光学制造商Optische Anstalt Oigee开发了Oigee反射瞄准器，如图1-3所示。该系统基于以45度角安装的半透明反射镜，与小电灯一同使用，创造瞄准标线。使用设备校准飞机枪炮后，飞行员能够大幅提高武器命中精度（Wallace, 1994）。

1.1.1 平视显示器

随着战斗机和直升机机载系统愈趋复杂，飞行员的信息处理任务也急剧增加。大量的传感器、武器、航空电子系统，以及飞行控制，让飞行员需要长时间专注于驾驶舱内的表盘和显示器，而非飞机外的情况，这往往会酿成悲剧。这些发展变化推动美国与其他国家的科学家和工程师进行广泛的研究，了解更直观、更有效的方法，以便向人类操作员传达重要的飞行、传感器和武器系统信息。

随着机载电子模拟计算机在20世纪50年代的发展，研究的成果使第一个现代平视显示器（HUD, head-up display）得以引进。飞行员前方安装一个透明显示器，则可以“抬头”并向前看，而不是低头查看驾驶舱里的仪表。因为投影到HUD上的信息是经过准直的（平行光线）并且聚焦于无限距处，所以飞行员的眼睛不需要在飞机外景和显示屏画面之间调焦。

一个典型的HUD包含三个主要组件：投影装置、组合器（观景玻璃）和视频图像生成计算机（也称为符号发生器）（Previc和Ercoline,2004）。如图1-4所示，信息被投射到聚焦于光学像无限距处的组合器上，为军用和商用飞机的飞行员提供各种必要的数据和符号，以提高情景意识，特别是在低能见度着陆和滑行操作时，而无须低头查看驾驶舱里的传统信息显示器。

第一架部署了HUD的战斗机是1958年被称为Blackburn Buccaneer的英国低空攻击机（Nijboer,2016）。到目前为止的所有HUD都融汇了格拉布最初发明中的一些基本概念。

让操作员专注于手头任务的原理也推动着平视技术融入到越来越多的新汽车设计中（Newcomb,2014）。

1.1.2 头戴式瞄准具和显示器

20世纪60年代，随着驾驶舱航空电子设备、传感器和武器系统的不断发展，全球军事实验室的科学家和工程师也在不断努力减轻飞行员的信息处理负担，改善对传感器和武器的控制。从逻辑上推断，下一步是将部分信息从HUD转移到飞行员的头盔显示器上。

20世纪60年代后期，南非空军（SAAF）开发了头戴式瞄准具（HMS, helmet-mounted sight），拉开了这场演变的序幕。HMS可帮助飞行员瞄准热追踪导弹（Lord,2008）。在此之前，飞行员需要操纵飞机，让目标落在HUD的视野范围以内。

20世纪70年代初，美军陆军为AH-1G休伊眼镜蛇直升机部署了一个头部跟踪瞄准器，为万向枪指示方向。在此之后，美国海军在F-4 Phantom II飞机上部署了第一版目视目标采集系统（VTAS, Visual Target Acquisition System），以利用AIM-9G响尾蛇导弹空对空导弹的锁定能力。在操作中，响尾蛇导弹搜寻器或飞机雷达安装在飞行员的头部。飞行员利用显示在单目眼镜“Granny Glass”（VTAS I）或头盔护目镜（VTAS II）里的瞄准景象，以及跟踪头部运动的传感器来控制导弹。

在接下来的几年中，数十种不同的头戴式显示器以各种形式设计而成，包括单目镜（单目单像）、双目镜（双目单像）、双目并用镜（每只眼睛都可见单独的视点校正图像）、护目镜投影，等等。它们的关键特性是能够将信息叠加到飞行员的真实世界的视野之上。这些信息采用了各种形式，包括标准航空电子设备和武器信息，以及诸如前视红外雷达（FLIR）提供的传感器数据。在第5章和第17章中，我们将详细探讨这些系统。

1.1.3 智能眼镜和增强型显示器

在过去的几年中，增强型显示技术已经从纯粹的防御和特殊应用领域过渡到商用产品，未来还会有更广泛的应用。阅读本书时，可概览一些新型显示器与大量创新的应用概况。

1．光学透视显示器

使用光学透视显示器，用户可以通过单目或双目并用光学元件（例如全息波导或其他系统）观看真实世界，将图像、视频和符号叠加到现实环境中。

2．视频透视显示器

使用视频透视头戴式显示器（HMD），实际视野首先由安装在显示器前面的一个或两个摄像机捕获。这些图像与计算机生成的图像相结合，然后呈现给用户。二者的区别如图1-5所示。

3．手持/移动增强现实设备

尽管本书重点是介绍传统的可穿戴AR和VR技术，但基于平板电脑和智能手机的手持式增强显示设备（如图1-6所示）同样值得关注。所有这些系统都使用设备上的摄像机将现实场景与计算机生成的图像相融合，因此可被归类为视频透视设备。

部分增强现实显示器的另一个关键属性是主机系统对摄像机图像的分析。第17章中举例说明了这样一个系统，通过对摄像机图像的分析，系统可检测驾驶舱尾部和机窗前部的位置，并将虚拟飞机图像呈现在飞行员的眼前。

1.2 什么是虚拟现实

虚拟现实一词因各种原因而难以定义，主要原因是虚拟和现实这两个词的意图和含义之间有冲突。

渐渐地，任何显示技术，似乎只要与“三维”一词有所关联，都会被不做功课的营销人员和其他跟风者炒作。这一术语缺乏专门性，且受到广泛应用，因而造成了使用上的混乱。

在本书中，我们更倾向于这一短语的最初使用，指显示技术，包括佩戴式和固定放置，通过3D计算机模型或模拟技术，给用户带来强烈的视觉感知或沉浸感，如图1-7所示。这可由两种主要方法实现：使用立体头戴式（或头部连接）显示器，以及大型完全沉浸和半沉浸式投影型系统，比如计算机辅助虚拟环境（洞穴）和圆顶。

许多虚拟现实系统和应用程序为了补充视觉显示效果，会结合一些3D音频解决方案。这些系统详述于第8章中。

虚拟现实一词最早在1987年由第一款商用VR产品制造商VPL Research, Inc．的创始人及前任首席执行官Jaron Lanier推广使用，但虚拟现实的核心概念和使能技术早在几十年前就开始发展了。

特别值得关注的是美国计算机科学家和图形先驱伊万·萨瑟兰（Ivan Sutherland）的工作。20世纪60年代中期，在哈佛大学担任电气工程副教授期间，萨瑟兰拜访了贝尔直升机公司。在那里他看到一个立体头戴式显示器与红外摄像机相连接，并安装在直升机下方，用于协助夜间着陆。萨瑟兰解释道：

“我们得到了带有两个CRT的头戴式显示器的复制品。我们的想法是‘如果由计算机而不是红外摄像机生成图像，是不是很有趣？'”（萨瑟兰，2005）

如图1-8所示，萨瑟兰使用的贝尔直升机HMD基于两个CRT，分别安装在用户的头部两侧。来自CRT的图像通过一系列透镜和半镀银镜导向用户的眼睛。萨瑟兰和一名同事开发了悬挂在天花板上的电枢，跟踪用户头部的运动。系统提供的视觉效果是叠加在用户所见的现实世界画面之上的简单线框几何形状。借助于悬挂在天花板并连接到显示器上的跟踪电枢，可以计算转换图像，并且更新线框图像的视图，反映视点的物理变化。

与萨瑟兰在20世纪60年代和20世纪70年代在民用研究实验室的工作类似，美国空军为自身发展付出了大量的努力。特别值得注意的是在俄亥俄州赖特-帕特森空军基地，在托马斯·弗内斯（Thomas Furness）博士指导下进行的工作。其中一个项目侧重于开发用于飞行控制的虚拟接口。1982年，弗内斯展示了一个称为VCASS（视觉耦合机载系统模拟器）的系统，如图1-9所示。

VCASS系统使用高分辨率CRT向模拟器操作员显示视觉信息，比如计算机生成的3D地图、传感器图像和航空电子数据。头盔的跟踪系统、语音控制和其他传感器使得飞行员能够用手势、语音和眼球运动来操作飞机模拟器，将融合数据信息的虚拟空间中的沉浸感转化为控制模式（Lowood,2016）。

从这些早期系统的开发至今，已经开发了大量完全沉浸式立体头戴式显示器，尽管其中高端模拟和培训市场占了多数。只有在过去几年中，这些系统的商用版本才开始进入市场。第6章将详细描述其中大部分显示器。

1.3 结论

在本章中，我们已经探讨了虚拟现实和增强现实系统的基础，明确了它们之间的不同功能，以及各种不同却互相关联的连接现实的方式。尽管与虚拟现实的炒作有很大关系，但可以肯定的是，增强现实最终将得到更广泛的应用。

请记住，任何市场上最为成功的是那些满足刚性需求或解决实际问题的产品。为此，对于普通消费者和企业用户而言，在日常生活或工作过程等多个应用领域中，个人数据显示器将变得非常有用。智能手机、应用程序和全面的“移动生活方式”的广泛普及已经证明了这一点。

相比之下，完全沉浸式的虚拟现实在空间上是有限制的，并且在极大程度上将用户与现实世界隔离开来。一旦用户戴上头戴式显示器，便会失去与周围环境的关联，严重地限制了移动性。除了大众市场的游戏和娱乐之外，虚拟现实将会扩展到本书中详细介绍的大量专业应用市场。但实际上，身临其境的虚拟现实是人们真正想要或需要的独立产品吗？这不太可能。

随着本书的深入，读者会看到目前基于像素的LCD、OLED和AMOLED虚拟现实显示器的实现最终将让位于两用增强耳机甚至隐形眼镜。这些系统的研发已经在顺利进行中。