增强现实头显发展全面回顾 苹果首款AR眼镜产品形态预测

开始之前我们有必要先来了解一下什么是AR，以及快速回顾一下这些年增强现实头显设备的进化历程。

AR这个词现在越来越多的出现在科技新闻当中，AR是Augmented Reality增强现实的缩写，是一种将虚拟信息与真实世界巧妙融合的技术。相信大家对VR一定很熟悉，他可以把你带到虚拟世界中，让你仿佛置身于另一个世界。那么AR则正好相反，他是将文字、图像、三维模型、视频等虚拟信息融入到我们看到的真实世界中作为补充，从而实现对现实世界的“增强”。

（图 虚实融合的交互体验）

AR头显作为AR技术的载体，他的进化是一个不断实验、探索的过程。厂商们都在不断尝试各种可能的方案，利用当时可行的技术去实现理想中的AR体验。现在回望至今的AR头显发展历程可以总结为两个阶段，第一个阶段是由Google Glass所代表的第一代AR头显设备，第二个阶段则是由微软Hololens和MagicLeapOne所代表的第二代产品。

------------------------------------------------------------------

（图 GoogleGlass）

Google Glass于2012年4月5日发布，他由位于镜框右侧的条状处理装置和前端的透镜组成，配备了一颗500万像素摄像头，可以拍照和录制720p 视频。Google Glass运行android操作系统，使用时需要通过蓝牙连接手机。用户通过语音和触控镜框的方式进行交互操作。

（图 GoogleGlass触控交互）

Google Glass利用光学反射投影原理，微型投影仪先将影像投到反射屏上，然后通过透镜折射到用户眼中，实现了最基础的AR视觉叠加，但是缺点也显而易见，佩戴时，用户必须看向视野右上方的投影微光，才能看清图像，这可能会造成用户注意力分散，带来潜在的危险。同时由于没有搭载景深传感器，所以不具备环境探测的能力，可以理解为只是把简化的手机界面投射到眼前固定位置显示而已。不过Google Glass的推出绝对具有非凡意义，他率先实现了AR视觉投射，为日后AR头显的发展起到了启示作用，同时Google Glass也开创了可穿戴式智能设备的新门类：增强现实头显。

------------------------------------------------------------------

（图 Hololens2）

微软公司先后于2015年1月22日和2019年2月24日发布了Hololens MR头显的一代和二代产品。Hololens的推出标志着增强现实头显发展进入到了新的时期，up主本人认为这其实才算真正意义上的增强现实头显，Hololens为当今AR头显设备树立了一个硬件标杆，定义了一款合格的AR头显应当具备哪些特质。概括一下可以总结为以下三点：一、使用光波导镜成像；二、具备环境探测能力；三、通过手势识别和眼动追踪方式进行交互。光波导镜的使用，使AR可视范围大幅增加，降低光传导损耗，并且缩减空间占用，可以将头显设计的更加轻薄，更接近传统眼镜的样式。环境探测是AR头显最为重要的能力，他直接影响AR体验的感受，增强现实的核心是营造虚实融合的体验，环境探测通过SLAM传感器扫描并重构用户周边的环境，创建三维模型，在此基础上，叠加的虚拟内容才可以像真实物体一样摆放在一个固定位置，并且视觉上呈现出近大远小、相互遮挡的效果，让人感觉他就是真实世界的一部分。Hololens利用双目相机+深度相机探测周边环境，这种方式有两个短板，一是需要多组相机传感器来实现环境检测，这样势必会让头显体积增大；二是由于相机对环境光照要求比较严格，所以无法做到全天候使用。

（图 Hololens2在医疗方面的应用）

Hololens运行Windows10操作系统，采用了手势识别和眼动追踪的交互方式，实现了自然流畅的操作体验，用户可以和虚拟物体产生互动。

（图MRTK开发工具库）

微软利用自身在开发工具领域的强大实力，为开发者提供了成熟的开发框架，开发者使用Unity或者虚幻引擎借助MRTK工具包，便可以快速的构建虚拟现实应用。

------------------------------------------------------------------

（图MagicLeapOne）

MagicLeapOne发布于2017年12月22日，作为后起之秀，他的诞生可谓一波三折，经历了漫长的开发周期。Magic Leap创立于2011年，是一家专注研发MR混合现实产品的公司，但在很长一段时间里它们没有推出实际产品一度被戏称为画饼公司，导致了极其严重的信任危机，直到17年底才发布了首款产品MagicLeapOne，开发者版本更是等到18年才开始发货。MagicLeapOne在本质上并没有较Hololens进步多少，采用了相似的环境探测和影像投射方式，他和Hololens的最大不同是，他将计算部分从头显中分离出来，这样减轻了一部分头显的重量，用户佩戴相对舒适一些。但由于计算单元和头显是通过线缆连接，这就可能导致使用中出现缠绕等状况，佩戴起来不够简便优雅。

（图MagicLeapOne Control手柄）

MagicLeapOne运行名叫Lumin的操作系统，主要通过MagicLeapOne Control手柄上的触控板和按键来操作，相较于Hololens的手势识别，手柄操作可以获得更精准的操控，但是这也限制了应用创新，使用者不能自然的通过手部动作来操控虚拟物体，这就无形当中限制了应用类型。

------------------------------------------------------------------

不只是谷歌、微软和MagicLeap这样的公司，近些年随着增强现实领域在全球科技界热度的不断升温，陆续涌现出了一批投身于增强现实技术和头显设备研发的企业，比如刚刚的19年联想推出了ThinkReality A6头显。

（图ThinkReality头显）

国内知名手机厂商OPPO也在去年展示了一款概念版AR头显设备。

（图oppo AR头显）

华为则是立足于基础研发及应用，陆续推出了面向开发者的HUAWEI AR Engine开发工具，以及面向华为旗下手机终端用户的基于（Cyberverse）华为河图技术构建的AR地图。

（三图 华为AR地图）

可以说现在增强现实领域已经成为了业界最热的焦点，各大厂商都致力于在这一新领域、新平台上抢占先机，苹果公司自然也不会错过这班车，早早便在这一领域暗自发力、潜心耕耘，下面我们就来详细剖析一下苹果这些年在AR领域的技术布局，以及大胆预测一下即将面世的苹果AR眼镜可能会是什么样子。

我们可以用时间轴的形式回顾一下这几年苹果是怎么样有条不紊的布局AR技术路线。

------------------------------------------------------------------

（图2017年WWDC发布ARKit）

2017年的全球开发者大会上苹果面向开发者推出了增强现实开发框架ARKit的第一个版本，这标志着苹果正式进军AR领域。

（图ARKit1特性）

苹果采用了和其他厂商不同的策略，采用了开发者先行，先软件后硬件的模式来推进AR，苹果希望和开发者一起通过几年的时间慢慢完善自己在软件方面的功能，这样的优势是，对于开发者来说有充足的时间来学习掌握AR开发技术，对于苹果来说也能不断的从开发者方面接收反馈，完善自己的框架。ARKit1提供了基本的AR功能，包括平面探测、位置追踪、光影推测。

（图A9和以上处理器都支持ARKit）

值得一提的是，苹果表示所有采用A9或更新处理器的iPhone和iPad都可以支持ARKit，这可以说是非常关键的，开发者不需要购买新的硬件就可以用手上现有的设备马上开始进行AR开发，没有了硬件门槛儿。在ARKit1的特性中，有必要着重提一下光影推测，这是一个非常重要的功能，他可以实时检测环境光线状况并改变赋予虚拟内容的光照强度，使之看起来更加融入周围环境，提升真实感。

（图 利用原深感摄像头进行面部扫描建模）

2017年发布的iPhoneX其实也和AR息息相关，可能你会疑惑，这和AR有什么联系，需要关注的焦点在于iPhoneX搭载的原深感摄像头，表面上看他的功能是用于面部解锁，其实苹果在另一个层面是将iPhoneX作为了AR硬件的第一个试验场，验证通过红外点阵光进行建模的功能，这为之后引入激光雷达做了技术论证。由此可以推测出，苹果早在17年就已经基本确定了AR头显的硬件方向。

------------------------------------------------------------------

（图 ARKit2特性）

2018年苹果继续在软件层面完善AR开发框架，在全球开发者大会上发布了ARKit2和AR专属文件格式USDZ。ARKit2带来了众多新特性，其中两个最值得关注，一是多用户体验。

（图 多用户体验）

现在增强现实内容并不局限于单一设备，当一个用户创建场景后，可以分享给其他用户，这意味着大家可以从不同观察点体验同一AR内容。利用此特性便可实现多人游戏或者协同工作。第二个重要特性是对基于物理的渲染（PBR）技术的支持。说到这里就必须提到本届开发者大会上苹果另一个重要发布，AR专属文件格式：USDZ。

（图USDZ文件格式）

苹果为什么要为AR内容单独设立一种文件格式呢，熟悉游戏开发的朋友一定都知道这几年非常流行的基于物理的渲染（PBR）技术，符合这一技术规范创建的材质可以实现高度拟真的视觉观感。

（图PBR金属光泽度定义）

USDZ格式的材质正是基于PBR规范中的金属光泽度流程，配合光影推测和自动环境纹理，利用ARKit2可以实现逼真的渲染效果，使虚拟物体看起来像是真的被放置在现实世界中。

同时为了方便设计人员创建USDZ格式文件，苹果还推出了一款格式转换工具Reality Converter。

（图USDZ文件格式转换工具RealityConverter）

另外ARKit2扩展了可跟踪对象的类型，在平面探测的基础上新增了，图像跟踪、物体检测，以及增强的人脸跟踪。

（图 图像跟踪）

（图 物体检测）

（图 人脸跟踪）

此外在同年发布的iOS12系统中也内置了一款AR测量应用，让更多人第一次体验到了增强现实技术带来的独特功能。

（图AR测距仪）

经过两年的不断积累和完善，苹果貌似已经完成了大部分AR关键技术的研发。虚拟物体更加贴合环境，一切看起来似乎都已经准备妥当。

等等！什么？这样可还行？这个问题必须解决！

------------------------------------------------------------------

2019年的全球开发者大会如期召开，开发者迎来了ARKit的第三次重大更新，本次更新重点解决了一个一直以来影响AR融合效果的问题，就是叠加的虚拟对象永远都只能渲染在真实环境或者人体的前面，这看起来是错误的，虚拟对象也应当可以被遮挡，这个问题终于在新版本中得到了解决，ARKit3的一项重要特性就是人体遮挡。

（图 人体遮挡）

这意味着如果一个人走到虚拟对象的前面时，那么虚拟对象就会被人挡住。此外这次更新还加入了身体追踪特性，可以实现诸如通过捕捉人体姿态实时赋予虚拟角色的效果。

（图 身体追踪）

除了ARKit之外，苹果在本届开发者大会上还公布了RealityKit和RealityComposer。

（图RealityKit 和 RealityComposer）

前者可以帮助应用开发者在不借助Unity等引擎的前提下处理渲染；后者是一款可视化的AR场景搭建工具，开发者可以通过这款工具编辑场景并为虚拟对象添加各种触发动作。通过RealityComposer创建的场景可以直接集成到iOS应用程序中。19年底苹果发布了iPhone11系列手机，支持Wi-Fi6标准和超宽带射频定位（UWB）技术。

（图 支持WiFi6 和 超宽带射频定位）

up主认为这不仅仅是简单为了获得更快的网络速度和实现AirDrop定向发送这么简单，其实他们也都和苹果秘密研发的AR眼镜息息相关，后面的预测部分会详细阐述。

------------------------------------------------------------------

（图2020款iPadPro配备激光雷达扫描仪）

今年早些时候苹果发布了2020款iPad Pro,这款设备最大的亮点是搭载了LiDAR激光雷达扫描仪。这是苹果第一次专门针对增强现实功能而追加硬件传感器。激光雷达的加入从根本上解决了环境探测问题，他能够快速且准确的对周围半径五米范围的环境进行扫描并生成点云图继而创建模型，相较于之前依赖摄像头进行平面估测的方式简直是质的飞跃。

（图iPadPro激光雷达扫描环境并建模）

苹果之所以率先在iPadPro上搭载激光雷达，目的只有一个，为AR眼镜做先期验证，确保将来在眼镜上使用的稳定性，由此看来2020款iPadPro是第二个AR硬件的试验场。

至此我们已经把苹果这四年来在AR领域所做的准备快速回顾了一遍，从中我们可以发现苹果从17年到20年这四年中一直都在为AR眼镜做准备。那么现在我们就可以把这些线索拼凑起来，还原出苹果眼镜的雏形，下面up主就基于以上这些已知信息，大胆预测一下苹果首款AR眼镜的产品形态。

------------------------------------------------------------------

和微软Hololens面向企业和专业领域不同，苹果AR眼镜定位的用户人群就是普通消费者，这就要求眼镜必须足够轻便，并且可以在室内外全天候佩戴使用。基于这个原则，up主认为苹果AR眼镜可能会采用类似MagicLeapOne的模式，将眼镜和计算单元分离，眼镜部分只负责探测和显示，iPhone或iPad作为计算单元，两者通过蓝牙和Wi-Fi6无线连接。

（图AR眼镜使用模式）

由于眼镜部分不包含计算单元，主板体积可以大幅缩小，眼镜框架的体积也就能随之缩小；而且由于计算任务交由iOS设备完成，所以降低了眼镜部分的功耗，能够带来更长的续航。根据以上这些判断up主绘制出了苹果首款AR眼镜可能的外观形态，一起来看一下吧。

（二图AR眼镜外观）

看完外观，我们再来看看眼镜的硬件配置，首先在眼镜正面，中央位置分别配备了激光雷达扫描仪和广角摄像头；镜框两端各配备有一个MIC。镜片部分我们放在最后详细说。

（图AR眼镜正面配置）

再来看侧面，和现有AR头显最大的不同是，这款眼镜的镜腿采用可折叠的形式，方便收纳和携带。镜腿的前半部分两侧各安装有微型投影仪和控制主板，其中一侧配有休眠/唤醒按钮。镜腿中部两侧分别内置Wi-Fi和蓝牙天线，其中一侧设有和iPad Pro上类似的触点式充电接口，镜腿的尾部是电池部分。

（图AR眼镜侧面配置）

------------------------------------------------------------------

快速了解了眼镜的硬件配置之后，我们来重点分析一下AR眼镜的核心：镜片。通过视频开始对Hololens和MagicLeapOne的回顾我们能看出，目前阻碍AR眼镜轻便化最大的难题就在镜片部分。这是所有厂商面临的挑战。光波导镜片是公认的当前实现AR眼球投射的最佳方案，他的工作原理可以通过这张图简要说明。

（图 光波导镜片原理）

光波导镜片的特殊内部结构既可以将外界的光线直接穿透，又可以将特定光路上的光线经过多次反射最终投射到指定角度，这样用户既可以看到外界的环境又可以看到投射的画面，呈现了视觉上叠加的效果。介于苹果早在18年就收购了光波导镜片公司阿科尼亚，势必也将采用这种方案。长期以来对于使用AR头显还有个不能回避的问题，就是日常已经佩戴功能镜的朋友如何避免套娃。up主设想了一种解决方案，分享出来跟大家探讨一下，首先up主认为以目前的技术还不能实现单一镜片适应所有眼睛度数的人，所以up主提出的方案是将镜片分为两层，外面的一层镜片是AR眼镜自带的光波导镜片，在这一层的后面预留一个镜片插槽，用户可以将适合自己度数的功能镜片插到里面，这样既保证了AR功能，又照顾了使用功能镜的朋友。

（图 功能镜片使用方式）

当然用户需要根据镜片插槽的尺寸规格自行单独配一副功能镜片，相信随着未来AR眼镜的普及，相应的镜片规范标准也会适时推出，用户在配镜的时候只需要选择对应的产品型号即可。

------------------------------------------------------------------

下面再来说一说这款眼镜的使用方式，之前有提到眼镜需要通过蓝牙和Wi-Fi6连接到iOS设备才能运行，那么都有哪些设备支持这款AR眼镜呢？我们发现2019年之后发售的iPhone和iPad均提供了对Wi-Fi6的支持；再来看一下处理器，首款搭载了AR必要硬件激光雷达的iPad Pro采用了A12z处理器，属于2018年产品的增强款。由此我们可以分析得出苹果首款AR眼镜对iOS设备的最低要求是，支持Wi-Fi6和使用A12处理器。简单说就是19年之后新款的iPhone和iPad都支持。

（图AR眼镜对连接设备的最低要求）

等等！你是不是发现了什么？没错，2020款iPhone SE！它可能将成为最廉价的适配苹果AR眼镜的设备。这无疑会大大降低准入门槛，你不必因为想用眼镜而去买一台昂贵的旗舰机型了！尤其是对于预算紧张的开发人员来说，新款SE将是最具性价比的AR眼镜开发机，就像当年的iPod touch一样。对于电子产品来说充电是日常行为，up主前面介绍硬件配置的时候也提到了在镜腿一侧设有充电触点，那具体怎么操作呢？其实很简单，照抄苹果自家的AirPods就行了。眼镜配备一个镜盒，这个盒子有两个用途，收纳和充电。

（图AR眼镜配套镜盒）

眼镜不使用时放入镜盒中，既能保护镜片又能为眼镜充电，可谓一举两得。以上就是up主对苹果首款AR眼镜产品形态的预测，是否和你想象中的AR眼镜一样呢？欢迎在视频下面留言讨论。

------------------------------------------------------------------

今年的全球开发者大会将于6月22日举办,受疫情影响，将采用线上形式举办，届时一定会有关于增强现实相关的最新发布，让我们一起拭目以待吧！