CFan科学院:构建可自由行走的VR世界

CFan 电脑爱好者 2019-11-22 10:01应用 标签:科学院 VR

不少人误以为VR就一定是三维立体的,这其实大错特错。许多VR游戏的场景通过人工建模制成,确实是三维的,而且玩家还能在其中“自由”移动,但是那些通过VR摄像机实景拍摄的VR全景视频,本质上却依然是平面的,观众当然无法进入到这种二维世界里。下面我们就来聊聊二维的VR视频如何转换成三维场景,以及观众如何在其中“自由”移动、游览。

为何不能在VR全景里行走

当我们戴上眼镜进入VR全景视频(本文指实景拍摄的VR视频)构建的虚拟空间时,就恍如置身于立体的世界,可以上下左右自由环顾四周的风景。但是很快我们就会发现,在这个VR空间中“我”却寸步难行。

为什么能随意看却不能随意走?这是由VR全景视频的本质决定的。在观看普通电影的时候,从来没人奢望过能走进电影的世界里,因为我们都知道电影只是一块幕布,是一个二维的平面,当然走不进去。

其实VR全景视频本质上也是二维平面的“幕布”,所不同的是,它不只有一块幕布,而是由很多块幕布“缝合”而成,包围在我们四周,这和我们观看360度环幕电影时的感觉相似(图1)。所以VR全景视频产生的是360度的沉浸感,却并非立体的影像。

201821jsjd01

图1 环幕电影就是一个外化的VR全景视频

VR摄影有专门的摄像机,一般由6台独立的相机组合而成(最少的由2台相机组合,多的还可以是9台、12台等等),分别对着上下左右前后6个方向同时取景拍摄。每台相机拍摄到的实际上就是一个普通的视频,通过后期软件将所有相机的视频“缝合”在一起后,便生成了极具沉浸感的VR空间(图2、图3)。如上所述,沉浸感并非三维立体,本质上它们还是二维平面的,所以观众当然无法进入其中行走、浏览了。

201821jsjd02

图2 VR摄像机从场景的不同角度同时拍摄

201821jsjd03

图3 VR将不同角度的二维视频“缝合”成一个整体

6DoF和空间自由度

在探索VR视频如何进行三维重建之前,我们先来了解一个关键概念——自由度。自由度DoF是Degree of Freedom的英文缩写,统计学中表示变量的个数,而在物理力学系统中则表示的是独立坐标的个数。一个立体空间总共有X、Y、Z三条直角坐标轴,这便是3个自由度。如果空间中的某个物体可以不受任何约束的运动,那么它沿着每条轴至少可以做平移和旋转两种运动,2乘以3等于6,所以这个物体在空间总共具备6个独立的运动方式,这便是6个自由度了(6DoF),下面的图片形象地说明了这一点(图4)。

201821jsjd04

图4 三条直角坐标轴和两种运动方式构建6DoF(网上动图示例:http://t.cn/E7cfa1G)

用这一概念对前文所述的内容重新做个总结,就是普通电影只有1DoF,无论我们前后左右的移动位置,所看到的电影画面内容是固定不变的。而VR全景视频则有3DoF,当我们的眼睛沿着X和Y两条轴旋转运动时(也就是上下左右看),可以看到不同的画面内容。

360度光场相机实现6DoF空间

普通的VR全景视频中,观赏者被赋予3DoF的旋转运动能力,所以在固定的一点可以看到不同方向的场景。不过普通的VR全景视频不具备3DoF的平移运动能力,所以无论我们如何走动,看到的画面都没有任何改变,这也就是我们在VR空间中没有移动感的主要原因。

国外厂商推出一种360度光场相机(图5),可以制作带有深度信息的6Dof视频。

201821jsjd05

图5 光场相机产品图

它的原理类似于地理上的三角测量法,因为光场相机是球面的,空间中的任意一点可以被多个相机观测到,这便产生了许多重合区域,从而最大化记录场景内容,通过运算获取被摄物体的深度信息(图6)。当我们观看光场视频时,随着走动,这些深度信息转化为相应图像显示出来,便给了我们真实的移动感。

201821jsjd06

图6 光场相机的拍摄原理

不过与VR游戏中通过软件实现的3D建模不同,光场相机要受物理镜头的制约,它记录下的三维信息非常有限,当观众的移动超出一定范围,因为没有了更多新信息,便会导致画面不再变化,也就意味着观众的行动“受阻”了,远没有VR游戏中的“自由”。

定位追踪与6DoF三维重建

在最近的Oculus Connect5大会上,Oculus发布了首款能够完全独立运作6DoF的VR一体机Santa Quest,它可以在数千平米的范围内进行追踪,具备三维空间建模能力,将VR与现实世界融为一体。

Santa Quest使用的Oculus Insight,是他们对负责追踪和定位等各技术的统称,通过放置在Santa Quest头盔外侧的四个超广角镜头,配合特殊的算法实时追踪用户的位置,在我们于VR空间进行6DoF运动的时候,实时计算并显示相应的情景,这样我们在这个虚拟世界中就获得了真实的移动感,使得我们能在这个VR世界里任意走动,浏览不同的风景(图7)。

201821jsjd07

图7 Santa Quest构建的VR空间可以进行6DoF运动

Santa Quest的重要革新,不只是实现了6DoF,而在于它对场景的实时三维重建,它能识别出现实场景中的各种物体的形状甚至是材质,然后通过创建三维点云地图,让我们在VR的环境中安全的走动,防止现实中的碰撞(图8)。

201821jsjd08

图8 Santa Quest进行三维重建

VR技术的热潮已经过去,现在是它的平稳发展时期,未来它不只是会给我们带来惊喜,更多将是有助于生活的实际应用,值得我们随时的关注。