七鑫易维路伟成：XR眼球追踪技术奇点将至

 

日前，2022全球VR/AR产业机遇策略峰会在上海举办。本次峰会由天风海外研究团队与东西文娱等联合主办，旨在挖掘虚实交互产业有价值的驱动要素与价值变量，为产业的良性发展提供策略参考。

 

▲七鑫易维副总裁 路伟成

 

七鑫易维作为眼球追踪技术领域的代表受邀出席，副总裁路伟成发表主题演讲，分享了眼球追踪技术在XR领域的应用场景、市场现状及发展趋势。

 

据路伟成介绍，七鑫易维是致力于机器视觉和人工智能领域的高新科技企业，自2009年创立以来，已在眼球追踪技术领域深耕超过13年，XR眼球追踪产品及解决方案拿下多项「 全球第一」。

 

▲七鑫易维发展历程（2009-2022）

 

 

XR面临的技术挑战

 

路伟成在分享中表示，XR经过多年发展已取得不少突破，但依然面临诸多技术挑战——

 

 

分辨率方面，目前的主流是双眼4K，现已出现5K，接下来将是双眼8K，在分辨率大幅提升的同时，算力和数据传输的压力也会越来越大。

 

交互方面，一个新的计算范式发生改变，随之也会引发交互范式的连锁变化，目前的主要交互方式为手柄，但这显然不是最佳的交互范式。

 

眩晕控制方面，目前的XR终端虽然可以模拟双眼视差，但单眼的屏幕焦距始终是固定的，双眼视差引起的深度感知和单眼焦距并不匹配，从而产生视觉辐辏调节冲突（VAC），引发视觉错觉和产生疲劳。

 

路伟成表示，眼球追踪技术作为一种通过传感器捕捉人眼动作，检测人眼状态、视线方向与注视点的技术，是解决上述挑战的最佳方案。

 

眼球追踪技术在XR领域的应用价值

 

 

中国信息通信研究院联合华为、京东方、七鑫易维等编制的《虚拟（增强）现实白皮书》显示，虚拟（增强）现实趋势包含“五横两纵”的技术框架与发展路径。具体来说，“两纵”是指VR与AR，“五横”是指近眼显示、感知交互、网络传输、渲染计算与内容制作。

 

路伟成表示，在“两众”的“五横”关键技术框架中，眼球追踪都扮演着至关重要的角色——

 

渲染计算方面，显示分辨率不断在提高，渲染算力愈发不够用，这也使得“注视点渲染”技术变得尤为重要。“注视点渲染”的原理是人眼在注视物体时并非整个视野范围都一样清晰，而是中心点清晰，越往周边越模糊。

 

“同理，在眼球追踪与注视点渲染技术的加持下，能大幅减少每帧画面需要渲染的像素数量，从而实现提升帧率、降低负载。”

 

▲ 眼球追踪+注视点渲染

 

数据测试显示，开启眼球追踪+注视点渲染技术后，渲染帧率提高1倍以上，渲染率提升7倍以上。“整套方案中，注视点追踪解决方案由七鑫易维提供，底层渲染机制则由高通、英伟达等芯片大厂来提供。”

 

 

感知交互方面，XR终端手柄式的交互方式和沉浸式的需求体验是相左的，人在真实世界中并不是用手柄进行交互操作，七鑫易维所推崇的是一种“眼手口”多模态的自然交互体系，即眼球追踪+手部追踪+语音识别，它们之间既互相弥补又各展所长，在实现更少学习成本的同时，更加符合人类交互习惯。

 

近眼显示方面，VAC问题需要变焦系统解决，变焦系统则要借助眼球追踪技术来实现。“眼球追踪技术能高速检测用户眼部信息，计算出注视深度，从而大幅提升用户感知的深度范围和精准度。”

 

 

网络传输方面，基于云的XR技术在逐步发展起来，目前的问题是延迟和数据量都相对较大，采用基于注视点的流化技术，可以有效降低网络传输带宽和延迟，从而给用户带来体验上的多重提升。

 

 

内容制作方面，“元宇宙”概念持续火热，在社交、远程会议、直播等场景下，Avatar（虚拟化身）的应用愈发普遍，眼部动作和眼神情感的复现都依赖于眼球追踪技术。

 

 

除了上述在XR领域的关键应用之外，眼球追踪技术还广泛应用于IPD调节、虹膜识别、视觉健康、精准用户画像、认知与心理健康、AR虚实融合对准、自闭症/老年痴呆等疾病的筛查等场景。

 

 

风口至，眼球追踪的「黄金时代」来了

 

作为国内眼球追踪技术的领导者，七鑫易维始终专注于眼球追踪技术的研发、创新与应用，全球专利申请总量近500项，其中发明专利300余项，通过超过10年的深耕和千万级眼部特征数据库的积累，精准度、可用率等核心技术指标均达世界一流水平。

 

 

“过去几年，七鑫易维可以说是一路见证XR技术的发展，并率先围绕Pancake短焦VR头显与轻量化AR/MR眼镜重点布局。”

 

路伟成透露，七鑫易维已为创维、HTC、Nreal、NOLO、爱奇艺奇遇VR、小派、亮亮视野、Rokid、诠视等国内XR头部品牌提供眼球追踪解决方案，并与高通、英伟达、微软、英特尔、腾讯等建立长期生态合作伙伴关系。

 

▲七鑫易维XR头显/眼镜合作企业（部分）

 

 

谈及眼球追踪技术的发展现状及未来趋势，路伟成表示，权威数据调研显示，VR/AR最需要解决的问题中，眼球追踪排在第四位，前面的三个问题——HMD舒适性可用性、视场角、运动跟踪已初步解决，这也使得搭载眼球追踪解决方案变得迫切起来。

 

 

 

事实上，微软、Magic Leap、Varjo、HTC、小派、Pico、Meta等均已推出支持眼球追踪的XR终端，主要应用于B端；在C端，索尼、苹果等搭载眼球追踪功能的新品即将陆续上市。

 

 

基于此，路伟成认为，随着消费级XR市场迎来爆发，眼球追踪作为最为关键的核心技术之一，在XR方向上的应用已经到了一个临界点，正在迎来「黄金时代」，成为新标配。“元宇宙被视作下一代互联网，产业价值空前巨大，而眼球追踪可以大幅提高XR终端的产品性能和用户体验，七鑫易接下来将有一些产品陆续上市，大家敬请期待。”