ToF 3D图像传感器正在改变我们参与摄影和混合现实的方式

视频技术的问世掀起了一场席卷全球的视听通信革命。今天，整个世界都非常依赖照片和视频媒体来实现各种目的，包括商业、通信、教育和娱乐。采集和显示视频的机制也突飞猛进。而3D摄像头的采用，使用户可以以前所未有的信息量观察事物。

这个过程所不可或缺的一环，就是给数字视频添加深度信息，使其更接近真实。本文探讨了如何使用飞行时间（ToF）传感器实现此目的，以及ToF传感器正在如何改变我们与VR和其他视频技术的交互方式。

ToF 3D图像传感器简介

总的来说，飞行时间（或 ToF）是一种基于光的飞行时间测量物体距离的方法。ToF传感器或摄像头会发射调制红外光束，并测量从不同距离的不同表面接收到的光的相位差。该数据被转换为距离，并为照明场景提供深度。ToF传感器使用逐像素处理，这需要复杂的算法，但由于其广泛的适用性，愈发受到物流、汽车和消费电子领域的亲睐。通过在三个维度上进行扫描，ToF传感器可以创建目标对象的 3D 图像。

ToF传感器工作原理

3D ToF图像传感器的操作非常简单。它根据光子混合器设备（PMD）的原理进行检测。ToF传感器主要分为两类：直接传感器和间接传感器。直接ToF传感器的工作原理是通过发射光、收集反射信号，然后测量信号延迟[图1]；接着，用光飞行时间来测量距离，从而实现场景的3D重建。

图1  直接ToF传感器的工作原理（简版）（图源：作者）

间接ToF传感器的工作原理是，不断发射调制信号并分析反射信号，以确定相位差。两个接收器以调制光的频率不断地打开和关闭，其中一个接收器与另一个接收器的操作相位不同。因此，每个接收器都会收到部分反射信号，并根据接收到的光的数量，来确定相位差，如图 2 所示。

图2 两个检测器交替收集感兴趣物体的光（图源：作者）

优势及应用

ToF传感器可以在不影响图像分辨率的情况下，扩大测量范围，并在低成本、可靠和紧凑的封装中提供全部数字细节，这为3D增强型摄影提供了优化解决方案。最新的ToF传感器功耗较低，对移动设备来说，是一个具有吸引力的选择。此外，与结构光发射等技术相比，ToF传感器对精确的机械对准的依赖程度较低。新型ToF传感器允许使用更高的调制频率，因此，显著提高了精度。

Stratview Research的数据显示，从2021到2026年，ToF的年增长率有望达到16.8%（1）。ToF摄像头的应用主要集中在消费电子行业和物流行业的3D成像和扫描。它有望通过以低成本提供丰富的3D视觉效果来彻底革新3D检测和成像。

ToF传感器可以用于辅助面部识别、安全跟踪、库存管理，以及环境和建筑物映射等应用。在现代车辆中，ToF传感器可实现近距离环境映射、辅助泊车以及车内的许多其他功能，例如：驾驶员监控或手势控制。不过，最有趣的应用要数消费电子和混合现实。凭借小巧的外形和较高的能效，ToF传感器可能是唯一一项准备进军消费电子领域的3D成像技术。

案例研究：增强AR/ MR体验

将3D ToF传感器整合到消费电子领域，仍是一个尚未开发的市场，具有颠覆性的意义。Counterpoint Research称，在智能手机中整合ToF摄像头，有望成为未来的主要趋势之一（2）。在最近的一场网络研讨会上，来自TECNO、三星和DXOMARK Image Labs的专家声称，ToF和动态视觉传感器（DVS）等功能可以使手机摄像头的性能胜过数码单反相机（DSLR）（3）。在过去，智能手机和游戏设备将3D ToF摄像头用于高度逼真的增强显示/混合现实（AR/MR）应用。AR/MR应用将现实世界与虚拟元素相融合，为用户带来了更好的商业互动、3D设计和游戏娱乐体验。

尽管AR/MR尚未成为主流，但随着这些技术背后的工具的迅猛发展，AR/MR成为智能手机日常用途的代名词指日可待。

实现MR体验所需的两大要素分别是：智能手机摄像头以及可以检测用户周围环境并将其显示在屏幕上的应用程序。通过这种方式，就可以映射现实世界，然后将虚拟图像放入其中。为实现这一点，智能手机摄像头必须能够对扫描区域提供深度和细节图像。

ToF传感器通过准确映射物体及其周围环境，成为该场景中的主角。MR是大有前途的3D设计辅助技术，例如：室内设计师可以使用自己的手机绘制房间，并进行数字化家具布置。同样，真实世界的物体也可以使用ToF传感器摄像头进行3D映射和数字化处理。市面上已经有了很多这类商用移动应用程序，但却因摄像头而无法实现逼真的映射效果(4)。

ToF将显著增强深度信息，而映射图像又为创新和快速的 3D设计带来了无限可能。混合现实的另一个应用是商业交互，专业人士可以借此展示逼真的场地/项目图像，来加深理解。

MR还被用于创建真实的商业背景，也就是将人们插入一个人的视野中，并将虚拟会议变成真实会议。ToF传感器是这个操作的核心，因为只有3D成像提供的深度信息才能使这种体验更加逼真。最近，由社交网络巨头推出的元宇宙概念就将利用这一精确技术，这将促进对ToF传感器的需求和创新。

游戏是另一个利用AR/MR ToF优势的领域。游戏设备和现在的智能手机正在使用ToF传感器的手势识别功能来实现完全沉浸式的体验。当ToF传感器被集成到移动设备的前置摄像头时，就可以大幅增强面部识别等安全措施。通过在后置摄像头中使用3D技术，ToF传感器有望实现出色的计算摄影和沉浸式VR体验。无需大量后期处理，ToF传感器就可以在图像和视频中有效地渲染背景虚化效果。

在理想的情况下，混合现实要比虚拟现实和增强现实技术先进得多。它对处理能力提出了较为苛刻的要求，需要实时获取高精度3D深度数据。此外，光照条件是实现MR所需的逼真感的一大挑战。不论是房屋和车辆等室内环境，还是光照受天气影响的室外环境，强大的ToF摄像头都必须能够在所有光线条件下捕获准确的深度数据。

在商业交互和日常生活中使用MR技术，对许多人来说似乎为时过早。然而，在新冠疫情期间，整个世界对模糊虚拟世界和现实世界边界的服务需求呈指数级增长，这促使非面对面服务加速发展。因此，我们可以合理地预期，在不远的将来，增强AR/MR技术将成为工作和娱乐所不可或缺的技术。更不用说ToF这类技术，它作为愈发强大的MR性能的支柱性技术，将变得更加重要。

英飞凌ToF传感器

英飞凌与pmdtechnologies合作推出了REAL3™图像传感器系列，pmdtechnologies是一家专注于 ToF 技术的德国公司，在该领域处于领先地位。这系列传感器使用红外光进行飞行时间（ToF）传感，并为每个像素配备一个微透镜，因此，几乎没有光能损失，而且准确性更高。英飞凌第六代REAL3™ 3D ToF传感器特别专注于消费类应用，例如：智能手机应用，特别是基于AR/MR的拍照和摄像。该传感器的功耗比前几代产品低40%，这对于需要长时间开启ToF摄像头的游戏等应用来说非常重要，可以保护电池寿命。考虑到现代智能设备对尺寸的严格限制，ToF传感器的设计占用面积仅为4.4 × 4.8 mm²，与前几代产品相比缩小了35%。

REAL3™图像传感系统的另一个突出特点是，增大了传感范围，可达10 m。调制频率越高，ToF传感器的深度精度就越好，但这会影响传感器的测量范围。因此，REAL3™图像传感器使用两个调制频率，并对收集到的数据进行细致的后期处理，以便在不影响深度质量的情况下，实现相当大的测量范围。这些传感器还配备了pmdtechnologies的背景照明抑制（SBI）技术，可降低像素饱和度，使摄像头能够在各种光照条件下运行。传感器还可以通过 I2C 接口动态地重新配置，以适应新的操作环境。通过将所有这些功能整合到一个成像系统中，看似不可能的应用现在似乎已经成为一个确定的现实。因此，设计师需要留意英飞凌在高精度3D图像传感器方面的最新创新。

参考文献

1.Stratview Research. Time-of-Flight (ToF) Sensor Market | Market Size, Share & Forecast Analysis | 2021-26 [Internet]. 2022 Jul [cited 2022 Jul 31]. 

Available from: https://www.stratviewresearch.com/1731/time-of-flight-(ToF)-sensor-market.html

2.Counterpoint Research. Brighter, steadier, smarter: How smartphone cameras will improve in 2022 [Internet]. BBC Future. [cited 2022 Aug 20]. 

Available from: https://www.bbc.com/storyworks/future/looking-ahead-with-tecno/brighter-steadier-smarter-how-smartphone-cameras-will-improve-in-2022

3.Counterpoint Research. Global Mobile Camera Trends 2022: Innovation Talk [Internet]. Counterpoint Research. 2021 [cited 2022 Aug 20]. 

Available from: https://www.counterpointresearch.com/global-mobile-camera-trends-2022-innovation-talk/

4.Velichko Y. How AR Fills Your Room with Virtual Decor [Internet]. PostIndustria. 2021 [cited 2022 Jul 31]. 

Available from: https://postindustria.com/how-ar-fills-your-room-with-virtual-decor-top-home-virtual-furniture-placement-apps-ar-furniture/