前言
自从iPhone7 PLUS推出了2倍光学变焦的双摄方案，拉开了计算光学创新的序幕，OPPO不甘落后最近推出了潜望式的5倍光学变焦方案，计算光学在手机上一直作为创新的重头戏呈现给广大消费者。最近关于iPhone8要推3D成像的传闻，让整个手机业界都为之欢呼雀跃，似乎看到了新的机遇，普遍认为这是2D成像通往3D成像的一次重大变革。因为工作需要，对3D成像进行了一次深度的调研，跟大家探讨下，3D成像在手机上的应用到底是鸡肋还是一次行业创新，对此业界持有不同意见。
1.什么是3D成像。
3D成像就是在二维图像，包括颜色，亮度，细节的基础上增加了景深的信息，在拍照的同时，获取对象的景深数据，应用于人脸识别，虹膜识别，手势控制，机器视觉，计算摄影。3D成像方案包括了结构光，TOF和双目。
2.是什么驱动力推动结构光方案能在手机3D成像技术取得重大突破，成为苹果新机的标配。
2.1芯片技术的创新，让结构光方案落地到手机应用。
苹果收购了PrimeSense，从经验积累到实际应用，方案成熟度当属最高，特别是在手机上的应用。PrimeSense有一颗独立的PS1080景深算法芯片，用在苹果上的型号有待确认和解开。芯片除了能高效的处理3D景深算法，也为降低手机功耗起到举足轻重的作用，因为3D人脸检测通过外部ASIC处理，只需要很小的功耗，在数十微秒内即可完成拍照，景深数据采集，而不用每次主芯片去跑CPU、GPU和DSP，即高效又环保，因为省电。国内方案商奥比中光是结构光领域的实力派,其三月底的结构光生态伙伴发布会将有软件合作商虹软,模组合作商丘钛以及投资方MTK等几家业界实力玩家站台。奥比中光的算法跑在自己研发的一颗型号为MX400的ASIC上，从应用和效果上经过了实际的批量检验。公司自2013年成立到现在，短短几年即取得了不错的成绩。预计今年，奥比中光也会有适合在手机应用的ASIC和整体方案呈现给手机厂商。
2.2先进的模组制造技术进一步推动3D成像产业化。
模组供应商舜宇，欧菲，丘钛在3D成像变革中将会受益。IR摄像头和RGB摄像头采用AA共基板模组结构，丘钛在双摄模组制程上有多项技术创新，经验丰富，特别是后段测试自动化工位，大大提高生产效率，保证了出厂的每一只模组都在一致的标准下经过严格测试。丘钛拥有国内主流客户群，成为了3D方案商和手机厂商的香饽饽，相信在这一波3D成像技术升级中会脱颖而出，最近宣布将并购和控股一家镜头供应商NEWMAX，而NEWMAX是主流3D相机的红外镜头零部件供应商，在光学设计和镀膜技术上技术领先，丘钛的这笔投资可谓未雨绸缪，长远看将给丘钛在光学技术创新上会注入更多的动力。
图2.1 丘钛的双摄模组全自动化AA制程
2.3结构光Projector核心部件的创新推动了器件微型化，得以应用到手机设计中。
下图为Kinect红外激光投射器的原理图。根据PrimeSense在专利中的描述，红外激光生成器（42）射出准直后的激光束（44），通过光学衍射元件（DOE）进行散射，进而得到所需的散斑图案。
图2.2 Kinect红外激光投射器原理图
2.3.1 Projector采用VCSEL（垂直腔面激光发射器）。
图2.3 VCSEL（垂直腔面激光发射器）
VCSEL具有以下特点：
特点一：光束窄且圆 VCSEL耦合效率高
特点二：阈值电流低 VCSEL低功耗
特点三：易集成
特点四：VCSEL可以直接在wafer上完成工艺制作与测试 低成本
VCSEL受益的供应商：
LITE.O、II-VI.O、FNSR.O是主要的VCSEL供应商，Winsemi拥有VCSEL晶圆制程。
2.3.2 准直镜头WLO（Wafer-level Optics）大部分专利掌握在Heptagon手中，Heptagon被收购后应该要改名为AMS。
准直镜头一般由两组镜片组成，第一组镜片先把激光压缩成散角较小的光束，经过第二组凸透镜使得在象空间的光束为轴对称的园柱形平行光束。
图3.1 半导体准直激光镜头
图3.2准直镜头的光路
Heptagon WLO技术有以下特点：
a.按准确数量对例如双镜头和三镜头等光学系统中分离出单面光学晶圆或者把双面光学晶圆互相分离出来。
b.按准确数量把光学系统从传感器或者光源分离出来。
c.Heptagon 为隔片开发了复制技术，使得像玻璃一样的聚合物隔片的成本更低也更结实。
Heptagon的WLO镜头模组4P结构。
图3.3 WLO镜头模组架构图
2.3.3 光学衍射元件DOE（Diffractive Optical Elements）
图4.1 DOEs - Diffractive Optics
DOE由扩散片（Diffuser）和光栅片（Raster）组成，扩散片作用是将激光光束散射成不规则分布的点状散斑图案，由于扩散片对于光束进行散射的角度（FOV）有限，所以需要光栅（见下图）将散斑图案进行衍射“复制”后，扩大其投射角度。这种“复制”效果被称为光学卷积，从下图的原理图中我们看到，当光束通过扩散片（如毛玻璃）后产生的散斑，再经过光栅后进行卷积就能得到所需透射角度的散斑。
图4.2 散斑扩散图
DOE衍射元件供应商：HOLOOR，驭光科技，水晶光电
3 什么原因导致TOF没能赶上这一波的3D成像技术升级?
TOF相对于结构光方案,精度高,可以达到mm级别,处理速度快,可以同时捕捉整幅画面的深度信息。但是在实际应用中也存在以下问题尚待解决。
3.1 核心器件图像传感器是3D成像的关键，而传感器的供应链影响了技术的落地。
结构光用的红外CMOS传感器，主流的厂家三星，OV，Onsemi，国内厂家格科微，产品线丰富，大Pixel，小尺寸，高动态，各大平台也有驱动的适配，制程经过手机行业大规模制造和批量出货检验。而TOF Sensor产品线不够丰富，TOF Sensor主流供应商集中在STM，TI，AMS。在这里特别提一下AMS，刚刚在过去不久的2月份，花了接近6亿美金，收购了WLO 供应商Heptagon 100%的股份。同时也看到一些厂家，如比利时Melexis拥有TOF Sensor,通过技术创新来分一杯羹。
图5 Melexis的TOF应用架构图
3.2 图像传感器Sensor的分辨率和尺寸，制约TOF在手机的应用。
前面提到，手机红外CMOS的产品线较丰富，选择性较多，能满足3D人脸识别，自拍背景虚化等这些应用。而TOF则选择性小很多，目前我找到的分辨率最高的是Melexis的一颗QVGA的Sensor，QVGA是什么概念，就是320240分辨率，大家如果有更好的也可以给我推荐。制约TOF 分辨率上不去的原因，据调研跟功耗有一定关系，分辨率越高，功耗越大。另外Sensor的尺寸也制约了在手机上的应用，因为这颗Sensor除了感知红外图像信息，还有特别的单元来记录光的相位信息，那么这样一颗1/3” QVGA的Sensor，到底有多大？4.8x3.6mm，这只是传感器的感光面积的尺寸，而封装片的尺寸则是6.5x5.5mm。一颗普通的1/7.5” VGA手机红外CMOS OV7251 COB封装的尺寸是3.9x3.4mm，悬殊太大。
3.3结构光和TOF方案因为有光投射和接收的过程，称之为主动式3D成像，很容易受到自然光线的影响和干扰。
图6 TOF原理
要解决这个问题，可以把发射端功率加大，这个道理很容易理解，但是这会影响到手机的功率，影像手机的待机时间。结构光受环境光线影响要小于TOF，因为结构光是通过Projector投射红外图案，而图案是一直存在于物体表面，Sensor可以通过延长快门时间来捕捉足够清晰的图案，而TOF是通过调制的高频脉冲来计算光飞行时间的，要让Sensor在这么短时间能够捕捉足够的光信息，那么就要把Sensor的Pixel size也就是单个像素的感光面积做得足够大，以前面提到的Melexis的这颗QVGA为例，15x15um的Pixel size，手机1/2.3” CMOS的1200万像素的感光面积也就只有1.5x1.5um。因此芯片的功耗随之增大，芯片的面积自然也要比一般的相同分辨率的手机CMOS大很多，而要把芯片做到足够小，分辨率足够高，应用在手机上，现在是有相当难度的，这个问题也许以后随着制程的提升，能够获得解决。
图7 Large Pixel能够在同一时间接收更多的光线
4.3D成像在手机上的应用有哪些？是技术创新还是鸡肋？
4.1传言iPhone8会上3D成像，用在前摄做3D人脸检测,配合虹膜识别，进行解锁功能，搭配G-sensor和GYRO，实现用户行为检测快速解锁功能，这将提升用户体验，因为指纹解锁的时间可以长达一秒，而且经常受到汗水和手指状态的影响而导致失败，但是3D人脸识别可以在0.03秒内完成。同时手机去掉指纹模块以提升屏占比，让手机ID做得更漂亮，可以突破更多的局限。
4.2因为3D摄像头提供了景深数据，配合算法就可以实现背景虚化功能，虹软和WestAlgo都有此类算法。因为是主动式景深探测,对于无纹理的景物,景深提取会更准确。
4.3另外一个应用是人脸补光，因为人脸的深度信息可以做到很精确，那么就可以对特定的人脸范围进行补光，对阴阳脸进行光线补救。
4.4除了以上应用，3D当然也可以开发游戏应用，手势控制。
4.5.观点
1)前摄结构光3D成像方案随着iPhone8的谜底解开，将会成为手机应用的主流方案，TOF方案受限于各种因素，还无法落地到手机应用，也没有看到TOF Sensor供应商在手机应用的推荐，而多应用于Automotive, Robot, Toy。
2)3D成像在手机上以前摄为主，有多项接地气的应用，对于用户体验提升很有价值。后摄的应用较少，除了SLAM的应用，对于拍照的景深提取，因为受到环境影响，不具备可用性。
3)双摄方案会是手机主摄像头的3D成像的主流，通过双摄获取景深信息，实现背景虚化，Super Light，Super Pixel等功能。
4)业界都在等待iPhone8的发布，前期通过技术积累，以便迅速跟进。专利风险和成熟度需要评估。
5)一直以来,无论是结构光还是TOF这两种3D成像技术都和Kinect,RealSense,Project Tango这些关键词相匹配，行业应用包括体感操控，3D扫描，机器人，玩具,Automotive等等。直到联想PHAB2 Pro Tango在移动终端上作了一次AR应用探索。三维重建作为连接真实物理世界和虚拟世界的最重要感知计算通道，前途自然是星辰大海，但和所有伟大的技术一样，需要的不但有资本的堆积和市场的培育，更加需要的是时间和耐心。在这条马拉松的跑道上，唯有坚信笃定的选手，才可以跑到最后，摘取AI和AR的果实。
图片引用了各大媒体的发布的资料，在此表示感谢。
JJ.Huang
2017-03-18 10:56
.png)
