在《双摄像头来势汹汹核心芯片ISP扮演怎样的角色？》中我们已经讲述了ISP在双摄像头中的重要性，简而言之，双摄像头需要ISP于CIS两者结合在一起运行。那么，在采用了双摄像头的智能手机中，ISP究竟是如何与CIS结合一起运作的呢？周宇向记者解释道：“如果说以摄像头为基础的成像系统是人类的视觉系统的话，那么镜头是人眼中的晶状体和玻璃体，它负责光学系统的变焦和光学能量的收集；CIS就是人眼的视网膜，它负责将收集到的光能转化成可以处理的电信号（视网膜是生物电信号，CIS是模拟电信号）；而ISP则相当于是人类视觉系统的视神经和负责视觉处理的大脑皮层。它负责将CIS采集到的信号进行分析和处理，将看似杂乱的、专业的图像‘信号’处理成丰富的、大家都能看得懂的图片‘信息’。”
他还指出，由于CIS出来的图像信号具有很强的专业性，那么作为ISP，想要将这个图像信号给处理好、辅佐好，就需要ISP对图像、CIS甚至光电系统有深厚的理解。并且，随着现代摄像头逐步的智能化，ISP这个“大脑皮层”越进化越强大，都开始“抢大脑的活”了，比如我们的ISP就在学习空间想象、三维建模，从平面几何做到了立体几何。（双摄测距，三维建模）。
对此问题，路标表示，ISP与sensor之间的调试配合工作的确是密不可分的。同时，除了Sensor，整个摄像头模组的配置，如镜头，步进马达等，也会影响到最终的画质。目前，索喜科技与目前所有市面上的主流Sensor厂家和摄像头模组厂家都建立了良好的合作关系，不仅仅是单一产品的匹配，更多的是配合的模式和联络渠道的方式。针对双摄的方案，索喜一样与各个市场上主要的摄像头模组厂都已经配合并完成一系列双摄的方案。
从上文中我们已经得知双路ISP在双摄像头中的重要性以及其如何与CIS结合一起进行工作。据笔者了解到，目前ISP应用到智能手机摄像头方面，主要有两种方式，一种是如高通、MTK、华为海思一样将ISP集成到自家的手机处理器中，而另一种方式，则是采用独立的ISP芯片。那么，对于这两种方式而言，究竟哪种方式更可取呢？
对于这个问题，从受访的四家企业来看，主要可以分为两大阵营，一方是以高通、MTK为主将ISP集成到手机处理器的平台商，他们认为将ISP集成到处理器中更具优势；另一大阵营则是以兴芯微为主的ISP供应商，周宇认为独立的ISP将更具优势。路标则表示，独立ISP与集成ISP比起来，最重要的区别还是对画质的处理。
王宇飞表示：“在我们整个处理器产品组合中，ISP是集成进骁龙处理器的。这是我们从一开始就成功的秘诀，而对于未来产品路线图中的处理器，我们也将继续这样做。紧密集成到处理器中的ISP具有许多优势，而其中最重要的是功率效率和电池续航时间。例如，骁龙820利用DSP/HVX（骁龙处理器中的另一项关键技术）来进行预处理，从而能够将成像预处理和后处理工作从CPU卸载到DSP，实现更佳的电池续航。我们集成的ISP还可以直接与视频和显示子系统连接，在视频拍摄功耗方面实现最高达25%的改进。具有专用降噪和串色校正硬件，当然尖端且高效的ISP还能让骁龙处理器支持领先的分辨率（高达2300万像素）和所有尺寸的图像传感器。”
此外，他还介绍，得益于高度的集成，Qualcomm已在计算机视觉/认知技术领域取得重大进步，并借此使成像与骁龙处理器的深度学习功能相搭配。“触摸跟踪（Touch-to-track）”和“文本激活”等特性是提升拍摄体验的算法，能让摄像头更智能，识别多个移动中的物体，或者认出图片中的URL和电话号码的差别，并采取适当行动。这均是通过利用骁龙处理器中的多种技术（CPU、传感器和ISP）来实现的。通过理解认知技术算法，并将计算负荷协调到最适合的专用引擎，就有可能实现最高效的处理。Qualcomm正通过异构计算和高效的SoC架构，解决在移动终端上支持认知技术的挑战。
MTK也表示：“集成ISP的方式比较好, 因为对客户来讲，不仅BOM成本得到降低，而且能采用异构计算的方式分配运算资源，把很大运算量会分给GPU来做，给用户带来更佳的功耗和画面体验。”此外，如高通、MTK、华为海思都是集成自家的ISP，据MTK称，由于其他企业的ISP会授权给很多厂商采用，所以接口不是最优的，而平台商采用自家的ISP，接口则会更优，而且运算会更有效率。
周宇则称：“对于后端平台（手机处理器）厂商而言，将ISP集成到手机处理器中就是将ISP的部分或全部功能与模块集成入自家的处理器芯片中。相比于独立的ISP，两者的设计约束差异与实现方式不同必然的导致了其在性能上各具风格。”
他从多方面分析了两种方式的优劣势，首先是将ISP集成到处理器中，作为集成ISP，由于是后端平台厂商整体规划并集成，其与手机处理器交互的便捷性、计算资源共享、功耗、体积以及研发成本上都会具有独立ISP无可匹敌的优势。
不过，他也指出了将ISP集成到处理器中的不足之处，他表示：“相对于独立ISP的劣势也非常明显，主要表现在这么几点上：1、一名好的IC工程师未必能当好一名摄影师：做好一款好的ISP需要的是在图像和成像领域深厚的积累和理解，一个优秀的手机处理器厂商未必是一个好的图像“理解者”和“设计者”，尤其在图像还是一件需要极度专注才能做好的背景下；2、单一手机处理器平台应对各家传感器，其宽容度是一个极大的考验。在这个消费电子去同质化的市场需求下，各家设计需求不尽相同，如何利用同一款集成ISP匹配各家的传感器并做出差异化的方案将是一个很大的挑战；3、一个模块和一块芯片的围城。集成ISP引以为傲的功耗和体积优势在作为一个模块时，必然的会带来运算能力的限制，如果处理不好就会限制和影响到最终的成像效果。”
不难看出，周宇更看好独立ISP的处理性能，当然，他也指出一个例外，那就是苹果，苹果在其处理器中同样集成了自家的ISP，据周宇称，苹果是为数不多的能自己设计手机处理器并且在图像领域有着深厚理解的公司，它能够很好的结合上述两者的优点将集成的ISP做出独立ISP甚至更佳的效果。
其实，将ISP集成到手机处理器中还将面临着不小的挑战，据路标称：“图像处理部分并不是简单的软硬件调整就可以完成覆盖，更多的还是需要对这部分整体工作的深度理解和丰富经验。此外，使用外置的ISP对降低系统的功耗，节省AP的资源（用以做其他应用）。”MTK也称：“最主要是处理器性能和电路板面积的挑战。因为各家对性能和面积的取舍不一定会一致. 无论是別人改，还是自己改都会有上市时间的问题。”
当然，做独立ISP同样会面临一些挑战，据周宇介绍，作为ISP供应商，首先要能够提前预判市场的需求，找到能为客户带来差异化的个性化需求，能够引导客户去采用并为拍照带来额外的价值。其次，一旦这些性能成为高端旗舰机的一个主流应用的时候，AP厂商会再次试图集成，这时ISP供应商就需要做到更好的效果或者找到更新的技术方向。所以，国内ISP供应商一直需要跟国际巨头赛跑。
此外，在上文中我们有提到ISP的技术研发难度相当大，如华为海思就投入了巨额资金花费了三年时间才实现ISP的商用，这点足以体现ISP的技术研发难度。据MTK表示：“与sensor厂商合作，要配合很多零件，比如 Lens、ois、imagesensor等。Sensor厂商做不足的地方，我们要补足，还要长期跟sensorvendor 一起做review ，克服一些技术困难，比如PDAF、RWWB等。”
据周宇介绍，图像是一个模糊化的数学，由于图像在很多领域和方向并没有一个统一的规范和评价标准，甚至很多对立的边界都是模糊的，这就必然的导致了做图像或者说做ISP更像是由我们的研发人员和工程师在进行一件艺术的创作，为我们的客户画一幅画。而将这幅画画好首先需要有精湛的画功和独到的审美。其次，除了需要有精湛的画工和突出的审美能力，还要有深刻理解客户需求并及时响应的能力。最为重要的是，ISP毕竟是一项芯片的研发工程，这里需要非常多折衷的智慧和经验的积累。
作为国内为数不多的ISP供应商，在手机市场，兴芯微当初推出一颗应用于500万像素的ISP芯片，主要用于MTK6572平台，传音、中兴等客户都有采用。针对双摄像头，其重点还是提供双路的ISP处理芯片，同时联合战略合作伙伴提供后面的应用算法，组合成为一个解决方案。
此外，对于ISP供应商而言，除了智能手机市场，一些新兴市场同样是他们的目标，据周宇介绍，兴芯微目前一个核心领域是汽车电子，并且在该市场，通过两年多的耕耘，已经奠定了市场地位，并即将做车规级的芯片，进军汽车前装市场，为自动驾驶、ADAS的普及作出贡献。同时兴芯微非常看好AR/VR、无人机、机器人市场，已经在为很多合作伙伴提供芯片。MTK同样表示将会将ISP技术应用到AR/VR、车载等领域。索喜科技同样将ISP产品用于安防，运动相机，无人机相机，全景相机等应用方向中。
华强电子
2016-05-28 14:43
IT之家
03-11
阅读(4223)
行业资讯
