自从苹果(Apple)去年推出iPhone X以来，业界观察家对于其3D感测(3D sensing)技术的看法两极。3D感测技术在智能手机用户中很流行吗？它会是未来每一支智能手机的必备功能吗？
答案是还没有。当今智能手机厂商的共识是——现在仍然是3D成像「时代」的早期阶段。
Apple TrueDepth相机系统（来源：Apple）
业界对于智能手机搭载3D感测技术的看法纷歧——从「为什么要这么麻烦？」到「这就是未来」等各种解读都有。反对3D感测的论点就来自于那些深信「屏幕内(in-display)指纹传感器就够了」和「数位摄影胜过3D感测」的智能手机相机「铁粉」。
虽然有些人认为iPhone X竞争对手就是因为缺少了成熟的3D感测技术而导致市场兴趣缺缺，但其他人并不同意这样的看法。Yole Développement成像技术与市场首席分析师Pierre Cambou解释，这是因为「Apple在这方面的的发展更超前」。
此外，由于垂直共振腔面射型雷射(VCSEL)等关键3D感测元件供应受限，导致搭载结构光3D感测技术的智能手机短缺——超过8个月以上。几位业界人士指出，这些关键3D感测元件早就已经被Apple等公司锁定了。
中国大陆厂商崛起
同时，中国当然也看准了3D感测市场。
过去几个月来，当小米(Xioami)、Oppo和Vivo等中国大陆智能手机OEM陆续发布其3D感测计划时，3D感测应用取得了积极进展。今年5月，小米宣布推出Mi 8 Explore Edition新机，被誉为「全球首款支援3D脸部辨识的Android智能手机」。
而在6月，Oppo推出配备6.42英吋AMOLED显示器的Find X智能手机，支援3D感测功能，价格高达750美元，同时也被视为Mi 8的直接竞争对手。
同样在6月，Vivo表示其Face ID认证系统将采用新的3D感测技术。相较于使用结构光技术实现3D感测的Apple iPhone X，Vivo将会部署的是3D飞行时间(ToF)感测技术。
小米Mi 8 Explorer智能手机搭载Face ID（来源：小米）
业界一直密切关注这些中国OEM的3D感测技术合作伙伴。小米与以色列的迅联光电(Mantis Vision)合作，打造基于结构光的3D技术。Oppo则与深圳奥比中光科技(Orbbec 3D Technology International Inc.)合作，同样使用结构光。据报导，Vivo使用的ToF技术来自与德国锡根(Siegen)的PMD Technologies AG合作。然而，Cambou补充说，Oppo还可能会改与Sony合作。
加码投入3D技术
Yole Développment最近发表了一份名为「3D成像与感测技术，2018年版」(3D Imaging&Sensing,2018 edition)的报告，详细介绍各种系统所使用的技术、3D感测生态系统中的关键参与者，以及3D技术的市场规模和预测。
Cambou是这份报告的共同作者之一，针对3D感测进行了深入分析。他告诉《EE Times》的记者，「Yole深信3D感测技术将快速发展。」
他指出，3D感测模组十分复杂，加上Apple为其TruDepth相机选择的结构光技术成本高，这一部份解释了为什么Android手机必须要花将近八个月甚至更长的时间才能赶上Apple。
虽然Apple的TrueDepth在2017年之前就确立了3D前置相机的趋势，但Yole坦言，[3D感测应用]的浪潮在量方面转趋保守。
每一支新iPhone都有3D——包括正面和背面？
据坊间媒体猜测，今年秋季计划发布的Apple新款iPhone都将配备3D前置摄影机。
在iPhone X中，Apple仅将3D感测技术用于前置摄影机。现在更大的问题是3D是否也能翻转以及支援后向摄影机。
尽管Cambou确信前置3D的发展，但对于后置摄影机采用3D仍抱持怀疑态度。他指出，扩增实境(VR)和虚拟实境(AR)一直欠缺市场动能，AR的销售推广和游戏都尚未在市场起飞。因此，他质疑后置摄影机要搭载3D可能仍是「未来的一个利基市场」。
但Apple的3D感测供应商们似乎不这么认为。Cambou承认，他们看好3D感测作为「通用介面」的前景。从意法半导体(STMicroelectronics；ST)最近召开的季度财报电话会议看来，据Cambou的观察，「他们似乎过度看好3D感测将进入智能手机前、后相机市场」。
那么有多少智能手机相机将会配备3D感测技术？渗透率如何？Yole预测，2017年约有1.4%的渗透率，并将在2023年成长至55%。至于营收呢？
Yole预测这一市场正强劲成长。2017年3D感测市场规模估计约有20亿美元，包括用于消费、汽车、医疗、商业、科学、国防和航太等领域，并将在2023年达到180亿美元。据Cambou指出，这一营收数字的贡献来自于较「先前预测更高的平均销售价格(ASP)，以及消费装置的3D采用率成长」。
事实上，在部署3D的所有细分市场中，Yole预测3D感测技术市场将以82%的复合年成长率(CAGR)成长，自2017年的3.75亿美元成长至2023年约为138亿美元。相形之下，他预测汽车市场的CAGR为35%，自2017年的3.91亿美元成长至2023年约为24亿美元。
3D感测的发展脉络
很显然地，3D感测让Apple得以用Face ID取代指纹感测器。正如Yole所说的，iPhone X的3D感测应用实现了「轻松解锁」、「透过脸部辨识实现安全性」、「游戏」(如Avatar)以及「渐变」(morphing)等功能，包括在Facebook、Snapchat和Instagram等社群媒体的即时滤镜(AR、脸部渐变与合成等)等。
但如果你只是在智能手机的发展背景下思考3D，很可能会错过3D为市场带来的更大机会。
Cambou：「想想亚马逊(Amazon)的Echo如何透过连接语音与人工智能(AI)，并将语音提升为主要用户介面(UI)，从而改变了人机介面(HMI)」。同样地，3D感测技术使得生物特征辨识「万无一失」，如脸部辨识等。因此，他强调，3D也开启了通往AI的大门。
事实上，智能手机让3D感测更加普及。但3D感测并不仅仅是智能手机的专属功能。Cambou说，它还具有深远的社会和政治影响力。
他在最近发表的「脸部辨识技术：亟需公共监管与企业责任」(Facial recognition technology:The need for public regulation and corporate responsibility)部落格文章中提到：「鉴于脸部辨识技术的广泛社会影响力以及被滥用的可能性，政府实施周全的监管似乎特别重要，否则可能导致公共机构以带有缺陷或偏见的技术方法来决定要追踪或调查谁，甚至逮捕罪犯等。」
因此，3D感测的影响力更甚于在这里讨论谁家的智能手机搭载3D或使用哪一家的3D技术等。
3D感测技术生态
然而，从工程的角度来看，最耐人寻味之处在于揭密移动装置中搭载的各种深度感测技术途径。在即将来临的3D感测时代，全球生态系统中的每一家参与业者都在争抢设计订单。
简而言之，结构光和ToF技术是目前可用于深度感测的两种不同方法。结构光透过将已知图案投影到物件上再进行3D扫描。当光线照射到物体上，图案会变形。这时再透过结构光分析已知图案的变形情况，以推断深度。
ToF则透过调变光源照射场景，并观察反射光源。测量照明和反射之间的相移后，再将其转换为距离。
虽然Apple为其前置深度相机选择了结构光途径，作为3D成像时代的起点，但Yole深信3D前端模组「未来可能会朝向ToF技术发展」。Cambou认为，ToF途径「在阳光直射下更可靠，而且运算需求更低」。
移动装置中的深度感测技术（来源：Yole Developpement）
Yole描述了三种不同的3D成像和感测技术——包括立体视觉、结构光到ToF。其中，ToF在技术上最不成熟。但可提供ToF解决方案的主要厂商包括PMD、Sony、ST和英飞凌科技(Infineon Technologies)。结构光技术则有Mantis、Vision、ams和ST、英特尔(Intel)、奇景光电(Himax)以及韩国的Namuga。ST同时投入两大技术阵营。
Yole预期，短期内，Apple并不至于从结构光转向ToF。Cambou认为，Apple至少要再过二到四年才可能推出新的硬体。同时，他补充说，ST是iPhone X基于结构光的3D技术供应商，「但它同时也推出了基于ToF的3D技术。」
数字摄影与3D感测
Apple如今面临的一个窘境是对于3D感测博下重注，最后是否可能会因为牺牲传统数字摄影品质反而伤害了Apple自己？
Cambou以华为(Huawei)为例指出，该公司现正斥重资于数字摄影。以主动矩阵(用于传统摄影)的尺寸来比较，他计算出Apple仅用了52 mm²，而三星(Samsung)则有91 mm²，华为的是112 mm²。
谁在打造3D深度感测技术？
在Yole的协助下，《EE Times》列出了3D感测生态系统的关键业者，尤其是在3D软件/运算和3D系统设计领域。
3D软件与运算
Faceshift(Apple旗下子公司)Apple在2015年底悄悄地收购了Faceshift——这是一家从瑞士洛桑联邦理工学院(EPFL)独立出来的新创公司。这家瑞士新创公司开发了一种能即时捕捉角色的脸部辨识而打造动画化身的技术。
Apple iPhone X提供Animoji动画表情（来源：Apple）
听起来很耳熟吧？没错！就是有了Faceshift的脸部追踪技术，才成就了iPhone X Animoji动画表情的基础。
Movidius(英特尔旗下子公司)英特尔子公司Movidius在今年初推出Myriad X视觉处理单元(VPU)，被称为「业界首款带有专用神经运算引擎的SoC，可用于边缘为深度学习推理进行硬件加速。」
Movidius在被收购之前，即展开3D感测的技术开发。其芯片最初用于作为3D渲染的引擎。Movidius曾与Google合作开发Tango(Google先进技术与专案)。
Project Tango（来源：Google）Google Project Tango的目标是使用电脑视觉，让移动装置能够在没有GPS或其他外部信号的情况下，检测其相对于周围环境的3D位置。Movidius为Project Tango提供了一种用于电脑视觉定位与动作追踪的芯片。
Movidius的超低功耗视觉芯片最先出现在这一市场上，并成为3D感测在移动装置上的先驱。大多数的视觉处理平台出现在2010年初，例如微软(Microsoft)一开始的Kinect中搭载的PrimeSense芯片(比Movidius的视觉处理器功耗更高)。值得注意的是，PrimeSense于2013年底被Apple以3.6亿美元收购。
Project Tango(来源：Google)
Softkinetic(现为Sony Depthsensing Solution)2015年10月，Sony收购位于比利时的3D感测电脑视觉技术制造商SoftKinetics。SoftKinetic的技术包括微软的Kinect深度相机、CMOS深度芯片和手势追踪中介韧体。
从各种迹象来看，这家日本巨擘目前正积极地成为3D CMOS ToF感测器和相机的关键厂商，Sony并于去年底将SoftKinetics改名为Sony Depthsensing Solution。
Sony最新的娱乐机器人'aibo'采用DepthSense技术和手势辨识软件（来源：Sony）
据Sony表示，SoftKinetic开发CMOS 3D感测器、3D相机参考设计、SDK、演算法以及用于手势辨识、物件扫描、汽车控制和AR/VR等应用，始终如一地提供3D感测和处理方面的先进解决方案。
由布鲁塞尔团队开发的DepthSense相机模组和软体已经被设计用于Sony最新的娱乐机器人——aibo。
Inuitive以色列无晶圆厂芯片公司Intuitive Ltd.专注于3D成像的发展。去年秋天，该公司推出了一款多核心视觉处理器NU4000，支援3D成像、深度学习和电脑视觉处理，适用于AR/VR、无人机、机器人和许多其他应用。
该公司声称，其新款处理器将实现「高品质的深度感测、晶片上SLAM、电脑视觉和深度学习(CNN)等——这些功能都整合于精巧的外形和最低功耗中。」
3D系统设计
LIPS台湾立普思(LIPS)成立于2013年，是3D深度相机和3D完整解决方案的供应商，拥有专利的相机设计和软件演算法。
LIPSedge M3是一款专为嵌入式系统设计的多功能ToF深度相机，可产生即时3D资料（来源：LIPS）
LIPS设计、建构和客制3D深度相机，同时还创建了辨识中介韧体和解决方案，以满足OEM的各种应用，包括机器人真空吸尘器、AR/VR、家用机器人、ADAS和工厂自动化等。
Mantis Vision以色列Mantis Vision将自家定位为3D视觉的重要推手，并为其技术绘制了3D视觉的美好未来——让消费者可在智能手机上拍摄3D照片或使用平板电脑扫描物件，然后将其发送到3D印表机。该公司拥有所谓的「专用编码结构光技术」。
Mantis Vision的模式采用独特的程式码，能在更小面积上辨识较标准方法更多的点。该公司声称，这种独特的技术提供了更高的解析度和准确度，以降低最小的物件尺寸（来源：Mantis Vision）
Mantis Vision不久前还宣布与小米合作，该公司执行长Gur Arie Bittan指出，该公司的团队克服了许多挑战，透过使用其内部IP，才使迅联开发出市场上最具成本效益的3D结构光相机模组。
他指出，该公司还能够将光学堆叠和尺寸从厘米(cm)缩小到毫米(mm)，并采用当时仍处于新兴技术的VCSEL雷射，满足OEM厂商的功耗要求，并符合眼睛安全规定。他表示，Mantis Vision还能打造了一个与RGB现有相机同步的摄影机支架模组、定义并准备量产校准，以及开发一个可在Arm Core上执行的有效解码模式演算法和管线。
Orbbec深圳奥比中光科技是黄源浩在2013年成立的公司。他毕业于中国北京大学，并在美国麻省理工学院(MIT)的SMART Center取得博士学位。他以雷射散斑干涉、数位散斑相关、射弹结构光和电脑视觉等方面的研究而闻名。自2001年以来，他一直在研究和开发3D扫描技术。
据奥比中光表示，「过去三年来一直在努力实现3D——完善该公司的Astra 3D相机系列，并设计内建完备电脑功能的Orbbec Persee 3D相机。
Astra Mini有两个版本。短程版Astra Mini S相机支援0.35～1公尺的追踪范围，Astra Mini远程相机的范围约为0.6～5公尺（来源：Orbbec）
Orbbec声称其Astra 3D相机「比当今市场上的其他相机更好」，提供「最高深度解析度、更卓越的范围、卓越的准确性和最低延迟」。
Orbbec据称是Oppo的合作伙伴——使用其基于结构光的3D感测技术。
PMD德国PMD Technologies AG成立于2002年，致力于开发CMOS半导体3D ToF元件，同时为数位3D成像领域提供工程支援。
值得一提的是，该公司引以为荣的先进ToF技术——整合于晶片上，PMD称其「十分精巧、可扩展且功能强大」。
德国徕卡(Leica)为PMD设计了专用的光学镜头，用于其移动装置的3D深度感测成像器和相机模组。（来源：PMD）
PMD并为OEM的相机开发提供参考设计，包括标准和客制版。PMD声称拥有多年的ToF相机设计经验，可协助系统设计人员加速其硬件开发过程，而该公司的可扩展技术「将符合各种不同的特定相机模组要求」。
英飞凌一直是PMD的长期合作伙伴。双方共同开发了用于3D脸部辨识的ToF影像感测器。英飞凌的Real3(或IRS238xC)尺寸还不到12mm x 8mm，包括接收光学系统和VCSEL照明，能将相机模组整合于智能手机中。
PMD据传与中国大陆智能手机供应商Vivo合作伙伴，为其提供配备基于ToF的3D技术。
编译：Susan Hong
(参考原文：Jury Still Out on 3D Sensing for Smartphones，by Junko Yoshida)
eettaiwan
2018-08-21 17:39
手机报在线
11-27
阅读(8431)
原创专栏
