「魔鬼都在细节里」，苹果Vision Pro教给XR行业的六堂课
“正如Mac把我们带入个人计算时代，iPhone把我们带入移动计算时代，那么Vision Pro将把我们带入空间计算时代。”
北京时间6月6日凌晨，随着库克话音落下，万众期待的Vision Pro正式登场，「空间计算（Spatial Computing）」新时代的大门也就此缓缓敞开。
作为苹果7年磨一剑的首款空间计算设备，Vision Pro是一款在硬件和性能参数都拉满的产品：双自研芯片（M2+R1）、双眼8K级超高解析度显示系统，以及12个摄像头/5个传感器。
但，Vision Pro的「意义与价值」，远不止于此——
苹果的入局，在给陷入低潮期的XR行业带来希望与曙光的同时，也指出了一条明路。
那么，苹果这款七年磨一剑的Vision Pro，都有哪些设计巧思值得XR行业「抄作业」呢？
第一堂课：交互设计
对于任何终端设备而言，最核心要解决的就是人机交互的定义问题：PC如此，智能手机如此，XR设备亦如此。从Mac到iPhone，苹果分别引领了PC时代和智能手机时代人机交互标准的建立与推广，Vision Pro这一次又悄无声息走在了空间计算时代交互的最前沿。
Vision Pro在交互设计上的理念完全可以称之为开创性的，它完全摆脱了手柄或者其他控制器，只需动动眼睛（眼球追踪）、手（手势识别）以及嘴（语音交互），就让用户可以完成所有操控，自然、优雅且可靠。
比如，要放大照片的某一个点，只需要盯住它，然后双手往外轻轻一拉。
在这其中，扮演着类似「光标」作用的是眼睛（视线），在交互体系中的优先级非常高，以至于visionOS把所有的按钮和窗口都设计成圆润的；手则扮演类似「左/右键」的功能，实现确认或者放大/缩小等功能。除此之外，还可以用语音唤起Siri，执行打开应用等操作。
只不过，微软、Meta、索尼等一直都是对这些技术进行相对独立地研究与应用，苹果是真正意义上将这些技术结合起来，做成一套最符合直觉的交互系统，近乎完美的诠释了什么叫空间交互“本应如此”——无处不在，无缝衔接，极度丝滑。
苹果Vision Pro这套最接近自然的交互系统，与国内眼球追踪技术解决方案商七鑫易维所推崇的“眼手口”多模态自然交互体系不谋而合，三种交互技术之间既各展所长又互相弥补，在实现更少学习成本的同时，更加符合人类交互习惯，几乎肯定会成为空间计算时代标配。
第二堂课：Optic ID
Optic ID，可以简单理解成基于虹膜识别技术的安全认证系统。
按照苹果官方的说法，Optic ID除了用于解锁设备，还可用于Apple Pay、Apple Store下载应用以及密码自动填充等，数据经加密且不离开设备，也无法被任何App访问。
此外，苹果对用户隐私安全的注重，也让人们能够更加放心的享受先进的生物识别技术带来的便利。从 Touch ID 到 Face ID 再到Optic ID，苹果采用的生物识别技术在安全性上大幅度提升，例如Face ID的安全级别是Touch ID的20倍，虹膜识别更是被称作目前生物识别技术中安全系数最高的识别方式。
不过，也正是因为虹膜特征的唯一性极强，如果无法妥善保管导致信息泄露将造成严重的后果——密码可以更换，但生物信息几乎无法替代。
苹果M2芯片所提供的Secure Enclave安全隔区正是对Optic ID 信息安全的强力保障。安全隔区是苹果 SoC 上集成的独立安全子系统，自身拥有独立的Boot ROM和AES引擎，为数据保护密钥管理提供所有加密操作，并保持数据保护的完整性（即使内核已被破坏）。安全隔区还为加密静态数据所需密钥的安全生成和储存提供了基础，通过特殊通道向AES引擎提供所需的密钥材料，而不将此信息透露给应用程序处理器 (或CPU) 或者整个操作系统。
值得一提的是，除了苹果，国内在眼球追踪+虹膜识别方案上也早有布局：微信支付联合七鑫易维开发的「XR虹膜识别&眼球追踪」方案，已于前不久正式推出。据悉，通过定制化的虹膜&眼动图像传感器，两种技术共用一套硬件系统，可以最大可能的降低重量、体积、功耗以及成本，并在安全性、便捷性等方面相辅相成。
据了解，这套结合七鑫易维眼球追踪算法+微信支付虹膜识别算法的软硬件一体解决方案，已面向XR行业开放接入，感兴趣的朋友可以多关注一下。
▲素材来源：七鑫易维官网
第三堂课：8K级显示
苹果之所以敢为天下先的选择双眼8K级的micro-OLED显示方案（单眼像素数超过4K电视，总像素达到惊人的2300万），一方面要归功于Mac同款配置的M2芯片的强悍性能，以及R1完全承担了实时传感器的信号传输、处理等工作；另一方面，则要归功于发布会上visionOS环节所重点提到的注视点渲染器（Foveated Renderer），这也是眼球追踪技术的核心功能之一。
人眼在看东西时，并不是整个视野范围都一样清晰，而是中心点清晰，越往周边越模糊。因此，在XR设备上渲染显示图像时，也并不需要整个画面都同一解析度，而是正在注视的画面中间的视觉“甜蜜点”最高，往周围依次降低，通过这样的方法，能大幅减少每帧画面需要渲染的像素数量，这就是注视点渲染的原理。
根据索尼在GDC 2022上透露出的PSVR 2表现数据：在开启注视点渲染和眼球追踪时，最多可以将GPU帧时间缩短3.6倍。这意味着，原本只能达到30多帧的内容，在开启眼球追踪+注视点渲染后，就可以流畅跑到90帧，甚至更高。
不难想象，未来随着XR设备视场角（FOV）的进一步扩大，中心渲染区占比将更小，眼球追踪与注视点渲染技术能够起到更明显的降低芯片负载效果，进一步弥合视网膜级渲染所需的算力缺口。
第四堂课：自动IPD（瞳距）调节
关于自动IPD调节，苹果官方并未公开提及，但如此重要且关乎用户体验的设计又怎会缺席？
具体来说，借助眼球追踪技术，只需长按数码表冠（Digital Crown），Vision Pro就会快速、精准地检测用户的IPD，并自动把镜片调整到最佳位置。
至于实际效果如何，科技大V贪玩歌姬小宁子给出的体验答案是，“最优雅无痛，只需2秒”。
▲素材来源：B站UP主贪玩歌姬小宁子
自动IPD调节并非不可或缺，但相较于传统的手动三档式IPD调节，通过眼球追踪技术实现的自动IPD调节更加精准、科学，对于用户体验的提升是必要的。
第五堂课：EyeSight
沉浸于虚拟世界时如何“兼顾”现实世界？这可以说是困扰XR行业多年的一个老大难问题。EyeSight就是苹果给出的答案，这大概也是Vision Pro与其他XR设备最大的不同。
EyeSight的逻辑并不复杂：通过面部跟踪摄像头和眼球追踪摄像头，Vision Pro可以精准捕捉用户的面部表情变化和眼睛动作，并显示到外置屏幕上。
当用户使用Vision Pro时，外置屏幕会隐藏用户的双眼，并呈现光晕变换的效果，提示周围的人用户正沉浸于虚拟世界；当有人出现在附近时，Vision Pro的外置屏幕会显示用户的面部表情变化和眼睛动作，让周围的人知道用户已经停止操作，并专心与他沟通。
EyeSight本质上还是为了解决交互的问题——佩戴XR设备时与他人的交互。Vision Pro的实现方式有些简单粗暴，但还算有效。至于是否会产生“恐怖谷效应”，这就因人而异，或者说“仁者见仁智者见智”了吧。
第六堂课：Persona
为了在Vision Pro中提供沉浸式FaceTime，让视频通话更有“面对面”交流的感觉，苹果给用户提供了一项名为Persona的功能。
具体来说，通过Vision Pro的前置摄像头扫描用户的面部信息，基于机器学习技术，系统会使用先进的编解码神经网络，快速构建出一个接近于用户本人的3D数字形象。
综合发布会上的演示和来自媒体的体验报告来看，这个3D数字形象可以动态模仿用户的面部表情和手部动作，其他用户可以从各个方位去观察这个立体的3D数字形象，几乎可以做到以假乱真。同时，结合眼球追踪功能，可以在社交等多人交互的场景中更具真实感和沉浸感。
需要指出的是，许多亲身体验过Vision Pro的自媒体博主都表示这个3D数字形象在某些时刻还是会让人明显感觉到这并不是真正的“人”，会有些许的“恐怖谷效应”。
Persona远谈不上完美，但大概也是当下最好的解决方案了吧。
写在最后
总结一下，不难发现上述“六堂课”其实都是指向用户体验，更进一步讲，都是“感知交互”的范畴——不管是人与机器，还是人与世界，充分彰显了Vision Pro技术外壳下的人文内核，而这也正是最值得XR行业思考和学习的。
所以，苹果真正厉害的地方在于「想到」并且「做到」。就像前面提到的，在人机交互领域，眼球追踪、手势识别、语音交互等本身都不算多特别的黑科技，但直到Vision Pro出现，才第一次将“眼手口”充分调动起来，并完整地应用于人机交互，提供自然、无缝并且智能化的用户体验。
事实上，不仅Vision Pro，从iPhone到iPad，从Apple Watch到AirPods，无不如此。
「魔鬼都在细节里」，这样的产品，又有谁会不爱呢？
2023年6月20日 10:52
