文/麥博
目前，双摄是实现手机三维成像（也就是3D）最成熟也最靠谱的方式。而深度学习，让双摄变得更靠谱。
近两年，华为、小米、苹果等手机厂商在越来越多的手机型号上用上了双摄。双摄效果不断提高的背后，也是深度学习技术在手机行业越来越深的介入。
6月22日，在由第一手机界研究院主办的《3D新视界--2017手机黑科技技术及投资峰会暨2017中国手机供应链年度人物&年度企业评选颁奖典礼》上，成都西纬科技联合创始人王昊为人们“科普”了深度学习人工智能在手机双摄方面的应用。
西纬科技是一家至力于人工智能技术的平台级公司，在手机双摄领域技术积累丰富。
王昊介绍了如今手机双摄成像的流程，并讲解了西纬科技通过深度学习来解决双摄成像过程中关键难点的思路。
双摄手机越来越多，销量逐渐上涨，在此过程中，双摄的很多独特的功能成为其原由网重要卖点。
例如模拟景深效果就是很流行的一个功能。
这些都与双摄的一些基础原理有关。来自博洛尼亚大学计算机科学与工程系的Stefano教授，2012年在其一份讲义中总结了双摄三维成像的基本流程：一、标定；二、图像校正；三、立体匹配；四、三维重建；最后、是上层的各种应用。
讲义中Stefano还提到，通过单摄很难获取到场景中的深度信息。由此，也就无法实现三维重建。而通过双摄获取两张不同视角的图像，就可以实现。两颗摄像头的平行度需要较为精确地控制，但始终会有误差存在。如何用算法解决误差？重要的是标定和图像校正。
举例而言，以下是不同像素的摄像头拍的照片，二者有亮度差异、远近差异等。
做完图像校正后，对应的点都是在同一个水平线上的，此时就可以用一些简单的原理来获取深度信息。
三维重建有一个关键的步骤，叫做立体匹配，很像是教会计算机做连连看游戏。这里所说的连连看，就是两个图像中对应的点连在一起，连在一起之后计算视差，就得到了一张视差图，由此可以再进行三维重建。
立体匹配是一个较难的问题。为何？以下图中，上主的两张图，可以通过目测得到其对应关系。
但计算机很难分辨将哪些点对应起来，对于计算机而言，一张图中有的信息另一张图中没有，它就很难分辨出来。
下图中的熊猫由于视差变化，看不到其对应点。柱子上没有纹理，也很难找其对应点。
下图在绿色框位置，一个摄像头看得到，一个看不到，因为有视差。这些问题对于人类而言很容易，对于计算机来说就比较难了。
那么有无可能用深度学习和人工智能来解决以上问题？
Yan Lecun如今是Facebook的人工智能//www.58yuanyou.com研究院院长。他的想法其实很简单，用大量的左右图像，附上精准的深度图，将这些信息全部输入计算机，教会它如何分辨，如何匹配。教会之后，就会得到一个卷积神经匹配网络。
再以后，将待匹配图像提供给这个卷积神经匹配网络，就能得出深度图了。
此处又出现一个新问题，大量成对的图像从何而来？
答案是已经有很多人做过这个事了。Andreas Geiger (MPI)、Philip Lenz (KIT)、Christoph Stiller (KIT)、Raquel Urtasun (University of Toronto)www.58yuanyou.com等几位德国学者。他们在车上装上激光扫描仪，一对彩色摄像头和一对黑白摄像头，抓取了很多图像，从中选了400个场景、1600张图片，这些图片最终可用来指导各种立体比对算法的改进。同时，对各种方法进行排名。
迄今为止，排名前11位的全是深度学习方法。问题得到了解答，深度学习确实可以解决比对问题。
将其与传统方法作比较，深度学习方法得出的图非常平滑，很接近原始图片，而传统方法SGM得出的深度图则有很多缺陷。
总结而言，深度学习确实可以用于解决相关问题，但依然还有很多困难需要得到解决，现有的相关解决的问题主要是计算量大、占用内存大。
为此，包括高通在内的一些公司都在寻求解决方案，其骁龙835平台就有一个模块，对谷歌的深度学习框架提供支持。
而西纬科技等算法公司的任务，就是在尽量降低深度学习算法复杂度的的同时保持质量。
谷歌近期为此开源了其MobileNet，质量保持不变。同时，还可以结合传统方法进一步减少计算量，也可以用一原由网些后处理方法处理深度图，最终得到高质量的图像。
总之，王昊认为，将深度学习引入到三维重建中的前途非常光明。西纬科技已开始应用深度学习解决一些关www.58yuanyou.com键问题，例如手机端目前的功耗及内存计算量等。
虽然还存在诸多困难，但王昊表示，西纬科技长期看好其前景，并认为深度学习是手机三维成像的前途之一。
