七鑫易维路伟成:XR眼球追踪的关键点

 

 

12月8日,由陀螺科技主办的2023未来商业生态链接大会(FBEC2023)在深圳召开。大会以“合力共生·韧者行远”为主题,关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域,聚焦时代与商业热点议题,探讨新科技、新商业、新模式的未来价值。

 

 

作为国内眼球追踪技术领域的领军企业,七鑫易维受邀出席,副总裁路伟成发表XR眼球追踪的关键点」主题演讲,深入解析了眼球追踪技术在XR领域的发展现状、应用价值以及未来趋势。

 

 

路伟成在演讲中表示,全球领军消费电子公司苹果的首款XR产品——Vision Pro就集成了眼球追踪技术,实现了注视点渲染、瞳距调节、眼控交互、Optic ID(虹膜识别)、Eyesight(反向透视)、Persona(表情追踪)等一系列实用且极具科技感的功能和体验,“第一次将眼球追踪技术在XR领域的真正潜力呈现给世人。”

 

除了苹果,微软、Meta、索尼、PICO、Magic Leap等主流XR品牌几乎全部推出了搭载眼球追踪功能的XR型号,“可以说,作为XR领域的关键核心技术之一,XR眼球追踪的时代已经到来。”

 

眼球追踪在XR领域的应用场景

 

路伟成认为,眼球追踪在XR领域的主要应用场景包括注视点渲染、瞳距调节、表情追踪、交互、身份识别和认证、眼动数据分析以及虚实对齐消除VAC“8项中,6项已有量产XR型号使用。”

 

 

落地场景1:注视点渲染(含动态超分和反畸变)

 

路伟成表示,加入眼球追踪的VR中,都应用了注视点渲染功能,即便是拥有地表最强移动芯片的苹果Vision Pro也不例外,这是因为结合眼球追踪与注视点渲染技术,可以大幅降低渲染压力。

 

“以《Red Matter 2》为例,登陆Quest Pro后,像素密度较之前提升了33%(等同于视觉中心的像素数量增加了77%),文字清晰度、光影和色彩表现足够优秀,突破了Quest Pro的图形性能极限。再看PSVR2,在使用动态照明与阴影等高要求图形质量下,同时开启注视点渲染和眼球追踪时最多可以将帧数提高3.6倍。

 

落地场景2:瞳距(IPD)调节

 

路伟成表示,搭载眼球追踪的VR,包括苹果Vision Pro,基本都标配了瞳距调节,“早在2018年,七鑫易维就与歌尔合作,推出了自动瞳距调节的VR原型机。”

 

落地场景3:表情追踪(+反向透视)

 

路伟成认为,3D数字形象产生的“恐怖谷”效应,很大程度上是因为其眼神缺少生气,通过眼球追踪功能,能帮助数字形象画龙点睛,从而在社交、通讯等实际应用中,带来更真实和沉浸的体验。

 

▲七鑫易维—虚拟社交眼神互动

 

路伟成表示,加入眼球追踪的VR,都能实现表情追踪,Vision Pro更是在此基础上,额外增加了反向透视功能,实现了虚实“兼顾”,“七鑫易维很早就实现了通过眼球追踪进行表情追踪的功能,可以把人的表情,眼部表情都表现出来。”

 

落地场景4:身份识别和认证

 

虽然目前仅苹果Vision Pro和微软HoloLens 2使用虹膜识别作为身份识别方式,但路伟成坚定认为这是“最适合XR的身份识别和认证方式,没有之一”。

 

 

在路伟成看来,虹膜识别与眼球追踪共用一套硬件系统,可以最大可能的降低重量、体积、功耗以及成本。同时,眼球追踪是很好的活体识别方式,能进一步提升虹膜识别的安全性;虹膜识别则能给眼球追踪提供身份信息,实现校准信息的自动识别与切换,方便快捷。

 

 

据路伟成透露,今年早些时候,七鑫易维与微信支付、创维XR联合推出了虹膜识别&眼球追踪的XR方案,预计很快就可以实现量产

 

落地场景5:交互

 

在交互方面,路伟成认为,苹果的Vision Pro开创性的将眼球追踪、手势识别、语音交互深度融合,组成了一套更符合人类直觉的空间交互系统,必然会带来继键鼠交互、触控交互之后的第三次交互范式大变革。

 

 

“这与七鑫易维一直以来所推崇的‘眼手口’多模态自然交互理念不谋而合,三种交互技术既各展所长又互相弥补,在实现更少学习成本的同时,更加符合人类交互习惯,几乎肯定会成为空间计算时代的标配。

 

落地场景6:眼动数据分析

 

路伟成表示,眼动数据分析可以挖掘用户的心理与生理信息,能应用于用户画像、脑认知健康与视觉健康、人因分析和用户体验、教育培训等领域,在B端已经广泛应用,接下来会逐步渗透到C端。

 

 

路伟成认为,除了上述6个已经落地的场景,虚实对齐消除VAC将是未来很快落地的2个场景。“AR常用的场景就是虚实融合,如导航,要在真实的路面上出现虚拟导航的轨迹,需要实时根据用户眼睛的位置进行调整,也就是需要眼球追踪。另外,随着变焦系统逐步成熟,消除VAC就自然而然产生需求。”

 

对标苹果Vision Pro

国产自主“单目双摄”XR眼球追踪方案

 

XR眼球追踪是否达到了高可用性?苹果已经用“七年磨一剑”的Vision Pro给我们做了示范,完全不用再怀疑。路伟成透露,七鑫易维已打造出与苹果Vision Pro类似的“单眼双相机”XR眼球追踪方案,原型机预计很快就会出来。

 

路伟成表示,七鑫易维这套“单眼双相机”XR眼球追踪方案在精准度、可用性等关键指标上均达到了行业领先水平,并在多个核心技术领域实现了自主可控。

 

硬币的另一面

XR眼球追踪的隐私安全问题

 

事物都有两面性,就像硬币有正反面一样,科技亦不例外。路伟成表示,人眼数据是一项至关重要且非常隐私的用户生物特征数据“当越来越多的XR终端加入眼球追踪,在赋能XR功能和体验的同时,隐私风险和数据安全问题也随之而来,必须要引起重视。”

 

“据我们了解,所有用户认证用到生物信息,都不可以在海外建数据库,因为这涉及到国家安全。作为国内眼球追踪技术领域,唯一拥有全面自研与制造能力的高新科技企业,七鑫易维无论是在硬件、算法,还是软件上,全部做到了自主可控,不存在‘卡脖子’的问题。

 

路伟成表示,七鑫易维已与歌尔、中科创达、创维XR、小派、XREAL、玩出梦想(YVR)、雷鸟创新、亿境EmdoorVR等国内头部XR品牌深入合作,并与高通、英伟达、腾讯等巨头以及众多内容开发团队建立了长期生态合作伙伴关系。

 

 

在演讲的最后,路伟成表示,七鑫易维希望能与产业链上下游的众多合作伙伴们一起,通过全球领先且完全自主知识产权的眼球追踪算法和技术,努力推动XR产业发展,不断升级和优化人机交互体验。

 

 

 

2023年12月11日 18:35