七鑫易维路伟成：XR眼球追踪的关键点

 

 

12月8日，由陀螺科技主办的2023未来商业生态链接大会（FBEC2023）在深圳召开。大会以“合力共生·韧者行远”为主题，关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域，聚焦时代与商业热点议题，探讨新科技、新商业、新模式的未来价值。

 

 

作为国内眼球追踪技术领域的领军企业，七鑫易维受邀出席，副总裁路伟成发表「XR眼球追踪的关键点」主题演讲，深入解析了眼球追踪技术在XR领域的发展现状、应用价值以及未来趋势。

 

 

路伟成在演讲中表示，全球领军消费电子公司苹果的首款XR产品——Vision Pro就集成了眼球追踪技术，实现了注视点渲染、瞳距调节、眼控交互、Optic ID（虹膜识别）、Eyesight（反向透视）、Persona（表情追踪）等一系列实用且极具科技感的功能和体验，“第一次将眼球追踪技术在XR领域的真正潜力呈现给世人。”

 

除了苹果，微软、Meta、索尼、PICO、Magic Leap等主流XR品牌几乎全部推出了搭载眼球追踪功能的XR型号，“可以说，作为XR领域的关键核心技术之一，XR眼球追踪的时代已经到来。”

 

眼球追踪在XR领域的应用场景

 

路伟成认为，眼球追踪在XR领域的主要应用场景包括注视点渲染、瞳距调节、表情追踪、交互、身份识别和认证、眼动数据分析以及虚实对齐与消除VAC，“8项中，6项已有量产XR型号使用。”

 

 

落地场景1：注视点渲染（含动态超分和反畸变）

 

路伟成表示，加入眼球追踪的VR中，都应用了注视点渲染功能，即便是拥有地表最强移动芯片的苹果Vision Pro也不例外，这是因为结合眼球追踪与注视点渲染技术，可以大幅降低渲染压力。

 

“以《Red Matter 2》为例，登陆Quest Pro后，像素密度较之前提升了33%（等同于视觉中心的像素数量增加了77%），文字清晰度、光影和色彩表现足够优秀，突破了Quest Pro的图形性能极限。再看PSVR2，在使用动态照明与阴影等高要求图形质量下，同时开启注视点渲染和眼球追踪时最多可以将帧数提高3.6倍。”

 

落地场景2：瞳距（IPD）调节

 

路伟成表示，搭载眼球追踪的VR，包括苹果Vision Pro，基本都标配了瞳距调节，“早在2018年，七鑫易维就与歌尔合作，推出了自动瞳距调节的VR原型机。”

 

落地场景3：表情追踪（+反向透视）

 

路伟成认为，3D数字形象产生的“恐怖谷”效应，很大程度上是因为其眼神缺少生气，通过眼球追踪功能，能帮助数字形象画龙点睛，从而在社交、通讯等实际应用中，带来更真实和沉浸的体验。

 

▲七鑫易维—虚拟社交眼神互动

 

路伟成表示，加入眼球追踪的VR，都能实现表情追踪，Vision Pro更是在此基础上，额外增加了反向透视功能，实现了虚实“兼顾”，“七鑫易维很早就实现了通过眼球追踪进行表情追踪的功能，可以把人的表情，眼部表情都表现出来。”

 

落地场景4：身份识别和认证

 

虽然目前仅苹果Vision Pro和微软HoloLens 2使用虹膜识别作为身份识别方式，但路伟成坚定认为这是“最适合XR的身份识别和认证方式，没有之一”。

 

 

在路伟成看来，虹膜识别与眼球追踪共用一套硬件系统，可以最大可能的降低重量、体积、功耗以及成本。同时，眼球追踪是很好的活体识别方式，能进一步提升虹膜识别的安全性；虹膜识别则能给眼球追踪提供身份信息，实现校准信息的自动识别与切换，方便快捷。

 

 

据路伟成透露，今年早些时候，七鑫易维与微信支付、创维XR联合推出了虹膜识别&眼球追踪的XR方案，预计很快就可以实现量产。

 

落地场景5：交互

 

在交互方面，路伟成认为，苹果的Vision Pro开创性的将眼球追踪、手势识别、语音交互深度融合，组成了一套更符合人类直觉的空间交互系统，必然会带来继键鼠交互、触控交互之后的第三次交互范式大变革。

 

 

“这与七鑫易维一直以来所推崇的‘眼手口’多模态自然交互理念不谋而合，三种交互技术既各展所长又互相弥补，在实现更少学习成本的同时，更加符合人类交互习惯，几乎肯定会成为空间计算时代的标配。”

 

落地场景6：眼动数据分析

 

路伟成表示，眼动数据分析可以挖掘用户的心理与生理信息，能应用于用户画像、脑认知健康与视觉健康、人因分析和用户体验、教育培训等领域，在B端已经广泛应用，接下来会逐步渗透到C端。

 

 

路伟成认为，除了上述6个已经落地的场景，虚实对齐和消除VAC将是未来很快落地的2个场景。“AR常用的场景就是虚实融合，如导航，要在真实的路面上出现虚拟导航的轨迹，需要实时根据用户眼睛的位置进行调整，也就是需要眼球追踪。另外，随着变焦系统逐步成熟，消除VAC就自然而然产生需求。”

 

对标苹果Vision Pro

国产自主“单目双摄”XR眼球追踪方案

 

XR眼球追踪是否达到了高可用性？苹果已经用“七年磨一剑”的Vision Pro给我们做了示范，完全不用再怀疑。路伟成透露，七鑫易维已打造出与苹果Vision Pro类似的“单眼双相机”XR眼球追踪方案，原型机预计很快就会出来。

 

路伟成表示，七鑫易维这套“单眼双相机”XR眼球追踪方案在精准度、可用性等关键指标上均达到了行业领先水平，并在多个核心技术领域实现了自主可控。

 

硬币的另一面

XR眼球追踪的隐私安全问题

 

事物都有两面性，就像硬币有正反面一样，科技亦不例外。路伟成表示，人眼数据是一项至关重要且非常隐私的用户生物特征数据，“当越来越多的XR终端加入眼球追踪，在赋能XR功能和体验的同时，隐私风险和数据安全问题也随之而来，必须要引起重视。”

 

“据我们了解，所有用户认证用到生物信息，都不可以在海外建数据库，因为这涉及到国家安全。作为国内眼球追踪技术领域，唯一拥有全面自研与制造能力的高新科技企业，七鑫易维无论是在硬件、算法，还是软件上，全部做到了自主可控，不存在‘卡脖子’的问题。”

 

路伟成表示，七鑫易维已与歌尔、中科创达、创维XR、小派、XREAL、玩出梦想（YVR）、雷鸟创新、亿境EmdoorVR等国内头部XR品牌深入合作，并与高通、英伟达、腾讯等巨头以及众多内容开发团队建立了长期生态合作伙伴关系。

 

 

在演讲的最后，路伟成表示，七鑫易维希望能与产业链上下游的众多合作伙伴们一起，通过全球领先且完全自主知识产权的眼球追踪算法和技术，努力推动XR产业发展，不断升级和优化人机交互体验。