Meta将在SIGGRAPH 2023展示两款新VR头显原型机

Meta宣布，Reality Labs团队将在8月6日至10日于洛杉矶举办的SIGGRAPH 2023上展示两款新原型设备，与会者将有机会两次体验“哇”的时刻。

第一个是Butterscotch Varifocal，它结合了Meta自2015年以来一直在研究（并自2018年以来公开谈论）的Half Dome系列原型的变焦技术，以及于2022年首次亮相的视网膜分辨率VR显示器。

(资料图片仅供参考)

第二个是Flamera，这是一款利用光场技术实现无重投影VR透视的计算摄像头。就像Meta最初在2021年分享的反向透视演示一样，它的外观和功能肯定不像当代头显，但看上去也没有那么奇怪。

Butterscotch Varifocal和Flamera都处于研究阶段，且可能永远不会成为面向消费者的产品。

Meta在官方博文中详细介绍了这两款原型头显，具体如下：

Butterscotch Varifocal

如今的VR头显可以很好地让我们沉浸在虚拟世界中，无论是高度风格化的还是逼真的。然而，它们目前受到了固定焦距的限制。任何距离眼睛1米左右的内容都是清晰的，但如果过于靠近你的脸，大多数人都无法完全清晰地对焦。幸运的是，大多数VR开发者在设计时都考虑到了这一事实，并将场景保持在一个舒适的距离，以便一切都能保持在焦点范围内。

但是，如果你使用VR进行工作并需要在虚拟屏幕上阅读文本怎么办？或者你想近距离观察一个有趣的物品以欣赏所有微小的细节？这就是变焦的用武之地。

通过利用眼动追踪技术，根据你视线的位置将显示器移近或远离你的眼睛，该系统可以让你在不同的深度对焦，从而获得更自然、更真实和更舒适的体验。再加上视网膜分辨率显示器，你将获得与肉眼所见相媲美的清晰视觉效果。

光学科学家Yang Zhao表示：“这项研究旨在展示一种VR显示系统，该系统提供的视觉清晰度可以接近人眼。视网膜分辨率意味着头显可以提供接近人眼感知极限的清晰细节。最重要的是，变焦显示器支持人眼的视觉调节范围，因此可以在不同的焦深感知高分辨率。”

据了解，Butterscotch Varifocal是团队八年研究的成果，旨在提高分辨率，同时增强视觉舒适度，是首款实现变焦的原型头显，视网膜分辨率显示约为每度60像素（PPD），足以满足20/20的视力。

“从某种意义上说，Butterscotch Varifocal是Half Dome和Butterscotch系列的‘最佳结合’。利用Half Dome 1和2中经过验证的机械变焦机制，可以快速可靠地改变光学焦点。另外，它集成了过去Half Dome头显中的完整渲染、畸变校正、眼动追踪和变焦控制软件，以支持完整的PCVR内容。同时使用Butterscotch显示器和光学元件作为实现视网膜分辨率的基础。所以我们为什么不叫它‘Half Dome 4’呢？原因在于，与过去的Half Dome头显不同，这款头显只专注于展示视网膜分辨率体验，但不一定采用最终适合消费者的硬件技术。”显示系统研究总监Douglas Lanman解释道。

为了利用市场上现有的LCD面板实现视网膜分辨率，Butterscotch Varifocal的视场缩小了，仅为50度，而Meta Quest 2的视场大于90度。而且外形比Quest 2等消费类头显要大一点。

Douglas Lanman补充道：“相比之下，我们在Half Dome 1到3的工作重点是以完全实用的方式小型化变焦技术。我们围绕Half Dome原型的工作依然正在继续，但我们暂时停下来并演示Butterscotch Varifocal，目标是展示我们依然致力于变焦技术，并致力于在VR头显中提供更好的视觉灵敏度和舒适度。我们希望我们的社区能够亲自体验变焦技术，并共同推动这项技术的发展。”

虽然Half Dome 3引入了电子变焦系统，与之前的机械变焦系统相比，显著减少了系统的尺寸，但考虑到所涉及的权衡，团队在设计Butterscotch Varifocal时选择回归机械式变焦方案。

Yang Zhao指出：“虽然Half Dome 3中的电子变焦解决方案强调小尺寸，重量更轻，并且完全是固态，但在光学设计中添加另一个光学元件或模块不可避免地会引入光线传输等性能损失或降低图像质量。对于Butterscotch Varifocal，我们的首要任务是创造最佳的视觉质量。因此，我们选择集成机械变焦系统来优化图像质量，但会降低系统尺寸和重量。”

正如硬件通过Half Dome和Butterscotch项目随着时间的推移不断发展一样，软件同样也在不断改进和成熟。

“为了创造优秀的变焦体验，硬件和软件都需要无缝地协同工作。我们对畸变校正、眼动追踪、渲染和延迟的理解都得到了提升，以创造高质量的体验，可以最大限度地利用我们最好的变焦硬件。多年来，变焦技术已经从一个小众的研究课题变成了更多人感兴趣的方向。我们的变焦软件已经从一个不稳定的、研究性质的、一次性的主代码分支发展成为可以与我们VR平台的其他环节更好地集成在一起的元素。这使得与其他团队的合作变得更加容易，并确保变焦成为渲染管道中不可或缺的一环，从而获得更好的体验。”研究科学家Olivier Mercier表示。

最终的结果是非凡的。当你环顾场景时，吸引你注意力的内容会神奇地对焦，而以前可能遭到忽视的小细节都会闪耀起来。以Ready At Dawn的《Lone Echo II》为例。从机器人底盘的纹理到丽芙头发的挑染，所有的细节都变得清晰可见。相关演示用前所未有的方式呈现了开发者多年的热情努力和对细节的一丝不苟的关注。

“借助Butterscotch Varifocal，我们可以在VR中看到与现实世界所见的相似的分辨率和质量。这为在VR中构建令人惊叹的体验打开了诸多全新可能性。”Yang Zhao评价道。

Flamera：对透视的全新理解

当你想要完全身临其境的体验，例如穿越到新世界、体验互动叙事，或在尽可能大的屏幕上观看引人入胜的电影时，VR非常有用。但有时候，与外部世界建立更多的联系是值得的，例如，当某些东西意外进入你的游戏空间时，或者你想把虚拟内容带到物理环境中时。这就需要混合现实（MR）和透视功能，让你可以在头显内看到物理世界的数字再现。

这是像Quest Pro这样的现代头显做得很好的事情（Quest 3会做得更好）。然而，今天的透视依赖于安装在头显上的前置摄像头。这意味着摄像头捕捉到的视图与你不戴头显时看到的视图不同。图像可以通过计算重新投影到“正确”的视图，但这可能会导致视觉伪影。即使你能够把摄像头直接放在眼睛前面，由于头显的厚度，视图仍然会不清晰。

研究科学家Grace Kuo指出：“为了应对这一挑战，我们集体讨论了可以直接捕获你用肉眼看到的相同光线的光学架构。通过从头开始设计头显，而不是修改现有设计，我们最终得到了一款看起来非常独特，但可以实现更好透视图像质量和更低延迟的摄像头。”

与具有透镜阵列的传统光场摄像头不同，Flamera策略性地在阵列中的每个透镜后面放置一个光圈。这些光圈会物理阻挡不需要的光线，因此只有所需的光线到达眼睛。而传统的光场摄像头捕获的不仅仅是这些光线，并会导致图像分辨率低得令人无法接受。所使用的架构同时将有限的传感器像素集中于光场的相关部分，从而产生更高分辨率的图像。

原始传感器数据最终看起来像小光圈，每个光圈仅包含头显外部物理世界所需视图的一部分。Flamera重新排列像素，估计粗略深度图以实现依赖于深度的重建。

所有这些都使得通过头显镜头看到的物理世界更接近于人眼自然看到的画面，且与目前的商用头显相比，伪影更少，同时分辨率比传统的光场摄像头更高。这为未来更加真实的MR体验打开了大门，实现一种虚拟内容与现实世界无缝融合的视图体验。

“当头显很薄时，Flamera光学设计效果最佳，这让我们可以将透视摄像头尽可能靠近用户的眼睛。然而，我们使用的摄像头传感器存在众多电子组件，会使头显变得更厚，所以我们必须设计定制的弯曲装置来将这些电子设备移开。总的来说，从光场透视的概念转变为功能齐全、可用的头显是一个令人兴奋的挑战。”Grace Kuo表示。

与Butterscotch Varifocal一样，Flamera的目标不是展示对消费者可行的产品，至少目前还不是。

Douglas Lanman说道：“通过我们在光场透视方面的研究，我们专注于预览透视正确的MR透视体验。我们之前通过神经透视项目与SIGGRAPH社区分享了我们在MR透视方面的工作，该项目旨在使用机器学习方法来合成透视图像，其伪影比现有商业系统更少。然而，神经透视依然会产生重投影伪影，并且需要工作站级的GPU来实时操作。光场透视则采用计算成像方法，摄像头硬件和重投影算法设计成协同工作，大大地简化了合成具有正确视角的视点的计算挑战。”

Lanman继续说道：“我们的光场透视演示可以让你预览MR透视有一天可能会变成什么样子，如果我们能够完善驱动这个原型的光场摄像头硬件。与反向透视一样，这个原型中可能看起来非常奇怪，但我们希望社区能够从他们的早期演示中得到启发。它为透视正确传输指明了一条前进的道路。它在今天看来可能很‘古怪’，但很可能在未来被证明是实用的，可以满足未来MR头显的用户体验和形状挑战。”

“我们设想了一种透视体验，让你在佩戴头显时与周围环境无缝交互。高质量透视让我们能够将数字内容令人信服地叠加到我们的物理世界视图上，同时利用VR头显的高对比度、宽视场显示。我们专注于透视的一个重要方面，即摄像头视角。我们的演示首次展示了透视在正确视角下的效果，并且没有计算透视方法造成的失真伪影。”Grace Kuo补充道。

换句话说：前面的路依然漫长，但这是一个充满希望的开始。