> 文章列表 > PICO 4 Pro:加入眼动和面部追踪,VR体验乐趣加倍

PICO 4 Pro:加入眼动和面部追踪,VR体验乐趣加倍

PICO 4 Pro:加入眼动和面部追踪,VR体验乐趣加倍

VR产品的体验在最近几年得到长足的进展,其中有几个重要的关键点。2019-2020年,VR一体机超越PC VR成为主流,便携性和综合体验做到了极佳的均衡。到了2022年,Pancake光学、彩色VST透视、眼动追踪、面部追踪等技术开始落地,在视觉、交互和感知等多方面让VR的体验都得到提升。

熟悉VR的朋友可能已经发现,PICO 4系列正好融合新一轮VR迭代的关键点进行展开。尤其是PICO 4发布后,让国内玩家有了硬件素质可媲美Quest 2新选择,在2500元的主流价位段融合了Pancake光学和彩色透视能力,优势非常明显。

PICO 4 Pro则在PICO 4的基础上加入了眼动追踪、面部追踪,实现了视线交互和注视点渲染、智能瞳距调节等玩法,这些不仅是Quest Pro、PS VR2上重点讨论的功能,也是未来VR设备迭代的趋势。因为Pro机型大部分体验和PICO 4一致,因此今天我们就将重点放在眼动和面部追踪方面的表现,下面一起来看看吧。

硬件规格

硬件层面,PICO 4 Pro自身可以看作是基于PICO 4的升级版,主要差异是加入了2颗眼动追踪和1颗面部追踪摄像头,随之新增的几项功能是:眼动追踪(视线交互)、注视点渲染、智能无级瞳距调节,以及面部表情模拟等。

相比PICO 4除了眼动和面部追踪外,通过上方规格对比可以看出,PICO 4 Pro的变化和升级还包括:

  • 1, 内存虽然都是8GB,但从LPDDR4x升级至LPDDR5(6400Mbps);
  • 2, 存储从128GB/256GB两个版本,升级为512GB一个版本;
  • 3, 电池容量从5300mAh升级至6000mAh;
  • 4, 单头显的重量从295g增加至304g,整机从586g增加至597g。

整体上来看,PICO 4 Pro的硬件规格处于第一梯队,而且集成了当前VR设备主流功能,为VR社交和娱乐场景提供了玩法与可能性。

外观和佩戴体验

PICO 4 Pro外观上一个明显的变化就是前面板改为淡金色设计,而PICO 4为黑色设计,通过这一点也可以轻松的分辨出Pro机型。

左为PICO 4 Pro,右为PICO 4

通过上图可以看出,两款机型前面板都是镜面设计,其中PICO 4 Pro的淡金色更容易反射环境光,从而呈现出不同的颜色,实际看起来比照片上要更有质感,而PICO 4的黑色则受环境光影响较小。

从参数表看整机重量增加11g,实际佩戴后和PICO 4基本一致,微弱的重量增加基本感受不出来,因为差异实在太小了。即便如此PICO 4 Pro整机586g的重量也比Quest Pro的722g要轻,两者都支持眼动追踪和面部追踪,功能点大体一致。当然Quest Pro价位偏高,更多是偏向开发者用途;而PICO 4 Pro售价为3799元,是一款面向广大玩家的消费级VR一体机。

左为PICO 4 Pro,右为PICO 4

一个比较大的变化是,头显内侧加入两颗眼动追踪摄像头和一颗面部追踪摄像头,不近距离看的话差异实际上非常小,近距离看就会比较明显。

PICO 4 Pro中与眼动追踪模组搭配的红外LED光源(单目共7颗)安装在透镜周围一圈,因此顶部材质需保证红外光的透过性,视觉上呈亮黑色。不过要说明的是,这些红外LED肉眼是看不到的,只有通过相机拍摄时可见。

另一个变化是PICO 4 Pro不再支持磁吸镜片框架,因为会遮挡眼动追踪摄像头,但依旧支持佩戴自己的近视眼镜。经测试,佩戴眼镜后的追踪准确性变化并不大,精度几乎不受影响。如果发现追踪不准确可在设置内进行视线追踪校正,这点非常适合多人使用一台PICO 4 Pro的情形。

眼动追踪体验

眼动追踪是VR设备中重要的交互方式,在PICO 4 Pro上它带来了几个优势:智能无级瞳距调节、基于注视点的视线交互、以及注视点渲染。

1,智能无级瞳距调节

智能瞳距调节流程

PICO 4是目前为数不多支持电动瞳距调节的消费级VR头显,也是玩家反馈非常好的功能。而PICO 4 Pro结合眼动追踪实现了智能无级瞳距调节,精度0.5mm,整个流程只要几秒钟,检测速度非常快。

简单来说,戴上PICO 4 Pro后系统会自动检测当前瞳距和佩戴者是否匹配,如不匹配会弹出瞳距校准提示。检测误差在±1.5mm,而我国近视眼镜瞳距误差在2mm,准确性方面不用担心。

另外一个有意思的是,PICO 4 Pro支持多人瞳距记忆功能,意味着在家庭场景下可以快速识别每个人的瞳距,每次佩戴后无需手动调整,这样的便捷性会大幅提升佩戴体验。

可以说PICO 4 Pro在智能瞳距调节方面可谓是独树一帜,将瞳距检测+电动无级调节+智能调节结合起来,甚至万元以内的VR配备此功能的都很少见。

2,视线交互

视线追踪演示

视线追踪-视线射击演示

为了精准演示眼动追踪应用,设备内置了一款演示应用,里面可以进行体验视线交互的demo,比如黑暗环境下通过视线控制手电筒方向,视线直接射击目标等等。上图是通过眼睛视线控制射击方向的demo,也就是“看哪儿打哪儿”,内容仅供演示。实际上也可以融合更多的交互玩法,比如当眼睛看到某样物体或某个NPC,直接开启对应交互或对话弹窗等,是一个非常具有想象力的玩法。

另外,在近期上线的《梦之境》中也加入视线交互玩法,里面的小精灵可以跟随你的眼球注视方向而移动,提升了整体的沉浸感。

3,注视点渲染

注视点渲染是一个非常重要的功能,对于VR一体机而言,因为算力有限,通常会结合分区域渲染的模式,效果是中间区域清晰,越往外侧越模糊。

注视点渲染-效果模拟演示

结合眼动追踪和注视点渲染之后,可以实现注视区域高清晰度渲染,周围区域次要渲染,最外侧区域更低精度渲染的动态渲染场景,这样的好处是更接近人眼的视觉,效果更自然;同时也可以降低GPU负载,具备实现更高分辨率、更高帧率,以及更低功耗的可能性。

据了解,目前注视点渲染技术在VR一体机中的应用对帧率提升有很大帮助,PICO表示最高可提升25-30帧左右,这对性能有限的VR一体机而言效果非常明显,也是一项非常有潜力技术方案。

表情模拟体验

表情模拟是结合了眼动追踪和面部追踪以及PICO自研三重表情算法的融合功能,堪称是PICO 4 Pro的杀手锏。PICO表示目前表情模拟近400个维度的面部和表情特征,包括眨眼、皱眉、微笑等都可以呈现出来。

目前PICO Avatar编辑器2.0已经支持表情模拟,新版本共计24项可自定义选项、500余款素材的个性化定制。Avatar 2.0的优势就是,PICO将面部追踪技术以API形式在PICO XR SDK中开放,后续第三方应用可直接使用此SDK,并能使用表情模拟功能。

同时最新版《轻世界》也已支持表情模拟,上面是我做出了一些表情动作,包括眼睛半闭,一只眼眨眼,眼球转动,嘟嘴等,大家可以直观的在Avatar捏脸过程中看到自己的表情和面部动作。

PICO 4 Pro真人表情模拟体验

这套表情模拟系统整体表现还是非常不错,甚至还能模拟吐舌头等动作,这进一步增强了虚拟社交的真实性和趣味性。比如,我在《轻世界》更新后第一时间向房间内的小伙伴们展示了PICO 4 Pro面部表情的能力,瞬间得到了房间所有人的关注(看上方视频),大家纷纷表示效果很不错。

此外,串流PC VR版《VRChat》也支持面部表情模拟,这意味着可以兼容更广泛的PC VR串流功能。

总结

除了上面眼动追踪和面部追踪以及表情模拟的体验外,我认为PICO 4系列配备的宽频振动马达正在逐渐发挥优势,尤其是从OS级别融合进来,包括手柄光柱在备选框、选项列表滑动都有不同的、更细腻的触觉回馈。在《梦之境》、《多合一运动VR》、《红色物质2》、《莱美搏击》等都提供了更好的触觉表现,比如《梦之境》最后退出的过渡动画,手柄细腻的振动很好的模拟了“山崩地裂”的场景。

最新的PICO OS 5.5.0中加入了手机远程投屏指引模式,如果给不熟悉VR的家人或朋友体验时,可在手机投屏中通过触控来指导操作,然后触控点会同步在VR中显示,是一个非常贴心、非常友好的“新手项”功能。

另外就是VR影视内容变得更丰富,最近半年上线了更多VR演唱会、VR互动影视内容,类型和丰富性都在大幅提升。据了解,首个VR版本《三体》互动叙事作品后续也将上线PICO视频。

综合来看,PICO 4 Pro带来了更拟人化的玩法,让你在VR场景中更贴近现实中人和人的交流,尤其是VR社交、VR多人联机娱乐场景(比如结合面部表情的多人联机剧本杀),趣味性大增。3799元的售价虽然比PICO 4要高,但考虑到存储空间更大、电池容量更大,且同时支持眼动追踪和面部追踪的VR设备动辄近万块(如Quest Pro),因此无论是性价比还是产品体验,PICO 4 Pro对硬核VR玩家、重度VR社交玩家等群体来说都非常值得推荐。