3D视觉成像的下一站 浅析TOF 3D立体摄像头技术

CFan 电脑爱好者 2018-12-11 09:11产品 标签:摄像头 立体 视觉 技术

不知道大家是否还记得游戏画面从2D进化到3D时代的那种感动?唯有更加趋近真实的3D立体“视界”,才能带给我们最为震撼和沉浸式的体验。如今,手机摄像头模块也正走在从2D向3D时代过渡的三岔路口,而TOF技术就是其中最有前景和钱景的出路。

19wjjsdt tof 00

3D视觉成像的三个方向

曾经,智能手机只要做到性能强、网速快、拍照清晰、续航持久就可以了。然而,如今的人们已经不再满足于“屏幕内的视界”,除了需要拍摄更具立体感的照片,更安全的面部识别/支付、3D试妆、AR装潢、AR游戏、体感游戏、全息影像交互等需要“3D视觉成像”技术支撑的应用环境(图1),才是智能手机未来的发展趋势。

19wjjsdt tof 01

根据原理和硬件实现方式的不同,智能手机领域最靠谱的3D视觉成像技术逐渐衍生出了三个方向,它们分别是双目立体成像、3D结构光以及TOF技术。下面,就让我们依次了解一下这三种技术的差异吧。

双目立体成像:无解的光线

我们去电影院通过立体眼镜观看3D电影,就是双目成像技术的一种表现形式:由于双眼会有视觉差距,从而呈现出立体的画面。在手机领域,配备两颗摄像头阵列,就满足了双目成像技术的最基本要求。

双摄手机能干啥

如今几乎所有千元以上的新品都在主打双摄模块(图2),而两颗镜头的组合,也赋予了智能手机在一定程度上侦测物体远近的能力,可以拍摄出具备硬件级背景虚化效果的照片。

19wjjsdt tof 02

此外,以华为/荣耀手机为代表的品牌,在相机APP中还提供了“3D动态全景”模式(图3)。点击开启后,只要按住快门将摄像头对准被摄物体,然后绕着它沿固定方向移动,松开手即可完成拍摄。

19wjjsdt tof 03

在相册预览时,我们只要点击照片中对应的3D图标,就能将这张静止的图片变成动态的视频,通过陀螺仪转动手机,或是手指的拖拽移动欣赏拍摄物体的不同角度。总之,在拍摄具备景深信息和3D动态的立体照片,以及时下流行的AR合影和AR萌拍时(图4),双摄手机的表现总会优于单摄手机,而这就是类似双目成像技术背后的功劳。

19wjjsdt tof 04

来自光线的困扰

智能手机所武装的标准摄像头能否拍摄清晰的图像,完全取决于环境的光线,过亮或过暗的光线都会造成识别上的困难。就拿时下流行的“面部识别”功能为例(图5),无论手机前置摄像头是1颗还是2颗,其本质上还是2D成像,不仅存在被面部照片或面部视频“欺骗”的风险,在漆黑环境下也将彻底失效。

19wjjsdt tof 05

为此,很多手机还会额外搭配专用的前置红外补光单元,从而解决漆黑环境下的面部识别难题。比如小米8,就在屏幕的刘海部分添加了隐藏式的红外照明原件和红外相机(图6)。需要注意的是,红外补光单元的加盟,依旧无法解决此类手机属于2D成像面部识别的事实,与iPhone X可以用于安全支付的Face ID不可同日而语。

19wjjsdt tof 06

换句话说,目前智能手机通过双摄模拟双目成像技术的方案,最多只能算是2.5D,无论是精准度还是对光线敏感度的要求,都还不足以帮助手机进入真正的3D视觉成像时代。

3D结构光:距离是死穴

iPhone X是一款里程碑式的产品,它在手机领域首次实现了深度机器视觉技术,依靠名为“结构光技术”的硬件模组,实现了对面部信息采集从2D到3D的进化。

浅析结构光技术

简单来说,iPhone X在采集面部信息时,前置摄像头基本就是摆设,而是依靠由红外镜头、泛光感应元件和点阵投影器构成的“结构光模具”(图7)。

19wjjsdt tof 07

其中,点阵投影器会发射3万多个肉眼不可见的光点投影在你的脸部,绘制出三维建模的立体面谱(图8),红外镜头则会读取这些点阵图案,并将信息发送到A11处理器的安全隔离区进行匹配对照,而泛光感应则是确保识别面部不受环境光线的影响。

19wjjsdt tof 08

和前文提到的已经逐渐普及的、基于前置摄像头和软件算法实现的2D面部识别方案相比,iPhone X通过结构光带来的Face ID,具备金融级别的安全等级,因此苹果才敢让Face ID在解锁手机之外,还能用于购买应用以及支付Apple Pay。

如今,结构光技术已经不再是iPhone X的专利,小米8探索版、OPPO Find X等手机都先后引入了类似的技术,从而实现了媲美iPhone X的Face ID能力。需要注意的是,小米8探索版的结构光模块暂时只能用来解锁(通过屏下指纹识别用于支付),而OPPO Find X则已支持支付宝刷脸支付的功能。

从技术上来看,iPhone X、小米8探索版和OPPO Find X的结构光模块大致相同,只是在元器件叫法和点阵传感器类型和发射点的数量上存在差异。比如iPhone X将关键元件称为点阵投影器(散斑结构光,可发射3万个识别点)、红外镜头和泛光感应元件;小米8探索版叫点阵投影器(编码结构光,可发射3.3万个识别点)、红外相机和泛光照明元件(图9);

19wjjsdt tof 09

Find X则称为点阵投影器(散斑结构光,可发射1.5万个识别点)、IR补光灯和IR摄像头(图10)。虽然细节上存在不同,但几款手机在面部解锁的体验上却基本相同。

19wjjsdt tof 10

结构光技术的缺陷

结构光技术帮助手机进入了3D视觉成像时代,但它的实际应用范围还是相对有限,比如它只能放在手机正面与前置摄像头做邻居,目前比较成熟的方案也就是面部解锁、面部支付、3D美颜以及类似Animojis的3D表情制作(图11)。

19wjjsdt tof 11

而未来结构光的优化方向则是实现3D静态建模,扫描用户3D头像信息用于游戏、3D视频通话或进行3D打印(图12)。

19wjjsdt tof 12

此外,结构光的特点是不必获取被拍摄物体的表面纹理,而是将一簇簇的光线投影到物体的表面,进而通过光线采集物体的位置以及三维纵深等信息。然而,正是因为结构光投射的是一簇簇的光线,如果距离过远光线就会发散从而失去识别能力,这也就造成了结构光仅能作用于近距离识别。

无论是iPhone X、小米8探索版还是Find X,只要手机距离面部超过1米左右解锁就会失效。当然,现实中我们手机解锁时距离我们也就是一臂的距离,并不影响结构光的识别,但如果用于更远距离的AR/VR交互就有些不够看了。

TOF技术:未来的趋势

TOF(Time of flight,飞行时间测距法)同样是一种用于3D视觉成像的技术,它和结构光一样,都是通过光线进行物体的识别,但二者在底层技术和识别效果方面却存在着极大的差异。

TOF技术的原理和优势

TOF技术的原理,就是通过专用传感器,给目标连续发送光脉冲,然后用传感器接收从物体返回的光,最终通过探测光脉冲的飞行(往返)时间来得到目标物距离。和结构光的点阵传感器相比,TOF技术在距离和精度上有了极大的改善:

1、结构光技术发射的是一簇簇的光线,而TOF技术发射的是一整面光线(图13),可以见有效深度信息点从3万个提升到30万个甚至更多。

19wjjsdt tof 13

用户进行解锁和支付等涉及安全的操作时,TOF技术可带来更精细的深度成像,最大限度提升人脸识别的安全性,做到金融级别的安全保护(图14)。

19wjjsdt tof 14

2、结构光技术的最佳工作距离为0.2米到1.2米,而TOF技术最佳工作距离为0.4米到5m米(理论最高可达10米),更远的有效距离,可以进一步扩展3D视觉成像应用的范围和潜力;

3、TOF技术的传感器比结构光模块更少更小,成本相对更低,也可以简化手机主板布局,哪怕是仅有屏幕1/3宽度的“刘海”里也足够容纳相关的硬件单元;

4、TOF技术既可以与手机前置摄像头联姻,放在手机的额头位置,也能与手机后置镜头搭档,实现背部三摄的豪华布局。

前置TOF设计方案

vivo曾在2018世界移动大会(上海)中发布了前置TOF方案(图15),并将其命名为“vivo TOF 3D超感应技术”。

19wjjsdt tof 15

由于TOF的功能与结构光有所重叠,所以前置TOF设计同样可以带来与结构光相似的功能,比如金融级的面部解锁、面部支付、3D美颜、3D表情、3D头像建模等,利用TOF有效距离更远的优势,在应用范围和实际体验上的表现会更好(图16)。

19wjjsdt tof 16

比如,利用手机将万物(比如自己的头像)建模,再将模型与其他虚拟游戏结合,让玩家自己作为“新世界”的主角,兼顾沉浸式视觉体验与体感操作的乐趣。此外,在购物方面,TOF可以带来更真实和精确的3D试衣效果,无需逛卖场试衣就能放心下单。

后置TOF设计方案

OPPO最新发布的R17 Pro属于后置TOF方案的代表,它在后置双摄的上方安装了第三颗镜头(图17,图18),也就是所谓的TOF模块,从而将后置拍照从2D时代推向3D时代。

19wjjsdt tof 17

19wjjsdt tof 18

和前置TOF方案相比,后置TOF自然不再适用于面部解锁和面部支付等功能了,但它在后置镜头的3D美颜、AR装潢、AR游戏、体感游戏、全息影像交互等功能上,却可以带来比前置TOF方案更好的体验。

其中,AR无疑是后置TOF方案的主战场,因为时下大部分AR应用都是使用后置摄像头拍摄真实世界的画面并进行算法识别,然后再进行内容的填充。有了TOF技术加持的后置摄像头,可以将更完美的3D建模填充到画面里(图19),让AR效果更真实。

19wjjsdt tof 19

理性看待TDF技术前景

对智能手机而言,TOF是比结构光更具前景的3D视觉成像技术,它可以让手机屏幕从单纯的2D画面转变到更具空间感的3D画面,无论是画面的信息还是内容都将兀然增多。通过TOF模块与前置或后置镜头的搭配,还可以让TOF更有针对性地满足具体应用场景的安全和体验需求。

19wjjsdt tof 20

可惜的是,TOF技术才刚刚进入商业化量产的前期阶段,与其搭配的应用环境还不成熟,所以如今它的玩法还不够丰富,相关手机的售价也谈不上性价比,短期内还是属于偏概念的技术。想让TOF技术真正爆发,还需要等待5G网络的普及,届时TOF搭配更极致的网速和带宽,它将在3D视频通话、远程VR、远程AR、远程JR等泛现实迎来杀手级的体验(图20)。

让我们共同期待吧。