比iPhoneXR还厉害！新iPhoneSE如何实现牛逼单摄虚化

QI幻7羽翼

售价仅为 3299 元的 iPhone SE2，虽然并不支持 5G 网络，但是凭借苹果 A13 芯片 +IOS 系统成为了一款 " 真香机 "。
不过，有些业内人士表示，iPhone SE2 手机并没有太多的亮点，它更像是一款换芯版的 iPhone 8。
4 月 27 日，iFixit 分享了 iPhone SE2 拆解报告，确认大部分 iPhone SE2 的零件可以与 iPhone 8 通用。其中，iPhone SE2 的相机传感器可以与 iPhone 8 互换。


手机具有便捷性这个显著的特征，这似乎和摄影功能是天造地设的一对。很显然，整个电子影像行业比用户更早察觉到这一点。
iPhone SE2 的摄像功能怎么样？
对于摄影爱好者来说，iPhone SE2 只配备 1200 万像素的镜头，并缺少广角和微距镜头。iPhone SE2 不支持超级夜景模式，前置摄像头只有 700 万像素。
iPhone SE2 是第一部只使用单个 2D 图像就不会产生人像效果的 iPhone。


例如，当使用 Halide 这款应用进行测试时可以发现，第一方相机仅允许在人物主体上使用人像模式。
当发现这个情况的时候，有些用户会表示 iPhone XR 也如此。尽管 iPhone XR 具有单个摄像头，但它仍然可以通过硬件获得深度信息。
iPhone XR 利用了传感器的聚焦像素，用户可以将它们视为旨在帮助手机聚焦的微小 " 眼睛 "。
iPhone XR 利用从每只 " 眼睛 " 中看到非常细微的差异来生成非常粗糙的深度图。
iPhone SE2 无法使用聚焦像素，因为 iPhone SE2 的传感器覆盖范围不足，但是，iPhone SE2 完全可以通过机器学习来产生具有深度的照片。
iPhone SE2 的这个特点可以进行简单的测试：拍摄照片而不是实物。
例如，以全屏方式加载这张照片，然后使用 iPhone SE2 进行拍摄：


从图片上可以看出，使用 iPhone XR 的时候可以看到几乎平坦的表面，似乎是使用了彩色图像改进了该深度图，可以猜测该图中间的部分略高于前景中。


然而，iPhone SE2 生成完全不同的深度图。尽管这个深度图是错误的，但是结果让人难以置信！


iPhone SE2 在现实世界中的表现如何？
iPhone SE2 非常适合给人进行拍摄，但是当镜头里没有人出现时，这部手机有时会出错。
例如，手机将背景中的树木与狗狗的头部混淆了。


以下图为例，当用户使用 iPhone 11 Pro 和 SE2 拍摄了该照片，很明显，拥有多个摄像头可以生成更好的数据。


尽管 iPhone 11 捕捉了整个走廊的深度，但 iPhone SE2 却错过了退到背景中的地板。


这对真实世界的照片意味着什么？以拥有不同层次的多肉植物为例。


iPhone 11 Pro 在深度图中显示出明显的边缘；iPhone SE2 获得了事物的要点。


如果用户更喜欢 iPhone SE2 的外观，则始终可以使用 iPhone 11 Pro 重新创建它。但是，用户无法在 iPhone SE2 上获得 iPhone 11 Pro 的独特分层。
分层是 Apple 的另一个机器学习过程中发挥作用的地方。
除了 iPhone XR 外，Apple 还引入了 " Portrait Effects Matte" API，可以检测照片中的人物并创建非常细腻的模糊成相。


只要前景中的物体清晰且聚焦，大多数用户都可以在背景模糊的情况下玩儿转摄影。
没有什么可以阻止 Apple 让用户对所有事物进行深度照片拍摄，但是 Apple 宁愿设置 " 人像模式仅适合人 " 的情景，也不愿让深度效果不能达到预期而让用户失望。
机器学习是否会达到不再需要多相机设备？
人类的大脑远强于机器这毋庸置疑。与全新的 iPad Pro 不同，人类的眼睛没有任何激光雷达可以为人们提供深度信息。相反，人类的大脑却可以从许多源头收集信息。
最好的深度来源于人类每只眼睛的两个图像，人类大脑在图像之间 " 连接点 " 的差异越大，物体与人眼的距离就越远。这种双目方式类似于双摄像头 iPhone 的深度功能。
猜测深度的另一种方法是通过运动。当人们走路时，远处物体的视觉移动速度比附近的物体慢。
这类似于增强现实应用程序感测用户在世界中位置的方式。对于摄影师来说，这不是一个很好的解决方案，因为在拍摄照片之前要求某人在空中挥动手机几秒钟是很麻烦的。
那么，iPhone 如何从单个（单眼）静止图像中找出深度？
可以想象一下一个用一只眼睛看世界的人，他过正常生活的时候会经历许多麻烦。例如，开车要花费更多的精力。
正常视觉的人以其他线索来判断距离，例如已知对象的相对大小。


【 图片来源：信息时报 所有者：信息时报 】
在猜测深度时，单个图像可以有多种解决方案。
归根结底，神经网络具有魔力，但它们受到与人类智能相同局限性的约束。
在某些情况下，仅一张图像是不够的。机器学习模型可能会提出合理的深度图，但这并不意味着它可以反映现实。
如果用户的目标是准确捕获场景，以最大程度地编辑纬度，则在这里需要双摄像头系统或其他传感器如激光雷达。
机器学习会超越多相机手机吗？显然是不可以的。
正如拿摄像机与人眼相比，从物种起源开始算起，人类用亿万年的时间进化出来的肉眼，目前来看眼睛的能力机器是无可替代的。
因此，如果想要机器学习的速度赶超多相手机，那么至少需要学习几年甚至几十年的时间。
雷锋网雷锋网雷锋网
参考链接：http://blog.halide.cam/iphone-se-the-one-eyed-king-96713d65a3b1