2022年的手机市场,是在一些吐槽中开始的。除了更强也更热的处理器外,另一个常常被提起的现象,是今年第一批旗舰手机的影像配置,看起来像是在原地踏步——鲜少有升级传感器的机型,还有些手机的超广角相机改用了更小的CMOS,这可不太高级。
影像,是过去十年手机市场竞争中最关键的赛场之一,曾经激烈的“内卷”让手机的拍摄能力飞速提升,今天的市场格局也要仰赖各家品牌曾经在影像上投入的心血。今天影像硬件的突然减速,是厂商集体躺平、将市场拱手让人了吗?
常识告诉我们,不太可能是这样。确实有一些现象表明,传感器到了发展的平台期:
今天的底片尺寸,已经触达了消费者对机身厚度、重量的极限。
超高像素的市场价值有限。
新架构的传感器,潜能还没有被完全发挥。
比如,近年来面对夜景需求,为了采集更多光信号,业界开始用RGBW排列替代原本的RGGB拜尔阵列。今天(2月24日)发布的OPPO Find X5,主摄与超广角都采用的IMX766传感器,就是一年多前由OPPO首发推出的RGBW传感器,也被用在最新一代的华为P50 Pro上。由于排列发生变化,传统的计算流程并不能发挥它超高宽容度的特性,系统适配、挖掘潜力,成了某种事实上的升级操作。
在市场与技术的共同作用下,消费者喜闻乐见的传感器迭代的确慢下来了,但手机影像绝不仅仅是一块CMOS。
工程上的创新也很重要,比如防抖或镜头结构。苹果手机前年加入的传感器位移防抖,而今天OPPO Find X5系列率先实现镜头+传感器双重悬浮防抖,支持五轴运动补偿、±3°防抖与±0.7°旋转防抖,最终实现0.5秒安全快门。
图源:OPPO 官方微博
更重要的影像突破,则在算法和算力。典型案例还得看苹果:多年不变的1200万像素,而传感器面积也曾在1/2.55英寸上停留超过三年,但算法与算力的提升,成了提升影像质量的答案。
实际上,随着光学的部分越来越接近物理极限,算法的工作,就成了这个阶段的真正赛点。
问题和答案都在那里得益于社交网络的发展,我们都越来越清楚什么样的照片、视频是吸引人的。很多人喜欢昏暗的酒馆里的氛围感,或者将夜景拍得恰到好处的自然影像。
当然了,今天的手机大概多少都能应付静态的拍摄,它背后有一系列算法的支持——最初我们用多帧合成的方式去变相增加曝光时间,但今天的算法远不止于此,从按下快门时刻的自动对焦、自动测光与自动白平衡(统称为3A算法),到基于深度学习、逐年迭代的HDR,再到降噪和后期处理等等。
拍摄的场景越来越多,我们需要的算法种类也更多了。谷歌手机似乎从来不以硬件见长,但论算法可谓绝活,从单镜头拍长焦拍虚化,到用人工智能去除运动物体的模糊,都在算法的覆盖范围里。
今天的算法当然还有显著的提升空间。比如说,今天影像算法,往往都是处理已经被压缩过的数据,而不是传感器采集的原始数据,它计算的底子根本就是有损的;而另一个显而易见的,是安卓在超高清夜景视频方案上的无力,处理一张夜景照片需要几秒钟,但夜景视频需要每秒处理三十张以上照片,想要计算摄影拍下更好看的视频,就必然要损失分辨率,4K超高清与优化算法不可兼得。
这些问题为什么没有得到解决?就像摄像头会遇上物理规律的瓶颈,算法也会遇到算法的瓶颈,那就是算力。
问题的答案在芯片。厂商们每年都在优化的影像算法,优化的终点就是自研芯片——在硬件不怎么升级的几年里,苹果用算法优化保持着影像水平的提升,而苹果处理器新增了Bionic(仿生)的后缀,它代表神经网络引擎,是承载逐年强大的计算摄影的关键。今年谷歌手机的“Tensor”SoC也是最新的自研成果,在这些芯片里,既有传统的中央处理器,也有计算摄影必须的人工智能核心和图像处理核心(ISP)。
为了搞摄影,单独给这两个功能做一个“外挂”芯片行不行?当然可以,最早将手机影像作为突破口的OPPO,就打造了这样一颗芯片,马里亚纳 MariSilicon X。根据OPPO工程师的计算,如果要想实现像素级的图像处理,需要10-50Tops的算力,于是马里亚纳 MariSilicon X集成的自研神经网络核心MariNeuro,最终的算力被定在了18Tops。
马里亚纳® MariSilicon X
这个数字很大吗?
看你怎么比。今天一辆特斯拉汽车装着两颗人工智能芯片,总算力是144Tops,看起来是高了不少,但手机的尺寸不比汽车,在手机里,18Tops已经是超越苹果A15的总算力(15.8Tops)的强大算力。
手机算力不好做,因为手机并没有那么多的电力和散热能力去挥霍,一味地拉高芯片频率来刷数据没有实用价值。实际上,马里亚纳 MariSilicon X一共只有1.8W功率,远小于一颗手机SoC大约6-10W的功率上限,论单位功耗产生的算力,马里亚纳 MariSilicon X数倍于传统的计算架构,它一方面得益于“专芯专用”架构的高效,另一方面则是OPPO工程师设定功耗目标后,才决定用6nm先进制程去开发这颗全新的芯片。
OPPO做了这样一个测试。在OPPO的夜景拍照中有一个效果不错的算法,被应用在去年Find X3 Pro的夜景拍照场景中,在使用手机核心处理器运算时,只能每秒拍摄2张照片,并使用1.7W的功耗进行计算;同样的算法如果用马里亚纳 MariSilicon X运算,则可以达到每秒处理40帧、总功耗仅为0.8W。
40fps的处理速度,已经足以用来实时处理全像素的视频,而且功耗还低了一倍。
这只是马里亚纳 MariSilicon X的能力之一。得益于全自研的I/O与芯片内建的强大存储,马里亚纳 MariSilicon X还实现了对传感器能力的全部潜力挖掘——直接计算原始数据、获得更高的宽容度与信噪比、实现更好的HDR效果……在强大算力、自研算法的联合作用下,安卓影像第一次有能力支持极限视频规格:4K + 20bit RAW + AI + Ultra HDR。
这其实就是今天手机影像提升的方式。我们抱怨硬件停滞,其实今天的硬件还大有作为;我们以为算法已经足够强大,但其实还有更多算法在等着为我们的创意服务。
总之,得有芯片。
非要自研不可吗?在安卓影像领域,长期面临着一个难题:传感器、芯片、算法,这三个至关重要的环节,该怎么拧到一起?
时间是错配的,算法随时都在迭代,传感器基本上逐年更新,而芯片的开发则是一项漫长的工作;它们的功能又是相互绑定的:通用的芯片要适应各种算法、算法要适应各种传感器,为了实现这些兼容就要损失性能……
曾经,手机的芯片、传感器、算法都是买来的。但当终端厂商拥有了自己的算法能力、传感器定制开发能力后,必然需要通过自研来打通这个“不可能三角”。
自研的好处,一方面在于需求明确、能做到更合适的规格,另一方面则在于可以实现深度的定制,做到影像垂直链路的定制整合,打破算法、芯片与传感器之间长期存在的协同问题,比如以最基本的3A算法为例,业界从芯片厂商采购的3A算法,导致传感器、芯片与算法的技术发展不同步,但自研算法+自研芯片,还有机会加入定制的光谱传感器,才能做到更准确的还原。
所以说剩下的,就是一条更难走的道路。
在移动影像越来越接近物理极限的时候,自研芯片就成了提升影像质量、解决原有顽疾的必然之举。在OPPO Find X5系列中,首次实装的马里亚纳 MariSilicon X芯片,也首次实现了极限的影像规格,这成了OPPO Find X5系列的关键竞争力之一。
图源:OPPO 官方微博
消费者期待旗舰手机,也许正是因为这些“第一次”带来的技术突破——天马行空的产品创意、业界领先的技术落地,旗舰手机就是试验场,它代表的是未来的趋势。这些创新必然源于需求,但想实现它们,仍然是一场冒险。
作为OPPO的正统旗舰,在Find系列“复活”后,我们陆续看到了一项项创新,比如双轨潜望式升降模组、无痕折叠屏等工程突破,在它们背后,是精密加工与机械设计的贡献;我们也看到了如全链路色彩优化等深入安卓底层的新技术,为整个安卓生态做出贡献
旗舰手机的创新,即使有些会止步于产品实验,但更多将会引领趋势,并成为行业的标配。
自研影像NPU,就是OPPO最新的冒险。尽管影像算力的重要性已经浮出水面,但想把它造出来、造得好,以及为它匹配自研算法,仍然需要艰难探索。
它的难度,可能远大于此前OPPO任何一项创新。
马里亚纳是地球上最深的地方,而根据OPPO透露,马里亚纳 MariSilicon X从一开始,就把自己逼入了研发的深水区——根据计算,只有用6nm这样的先进制程,才能撑得起OPPO对计算量和功耗的要求,而业界并没有这样一颗6nm NPU核心IP设计可以借鉴,在流片(芯片的试生产)成功前,没人知道它的设计是否成功、能否达到模拟出来的性能和功耗控制。
只能靠自己了。2019年,OPPO创始人、CEO陈明永公开宣布,在未来三年里要为技术研发投下500亿,其中造芯的“马里亚纳”计划就是最重要的版图之一。根据业界的信息,一颗6nm芯片流片,单次试验费用就要超过1亿元人民币,而为了这颗芯片,OPPO已经建立了几千人规模的芯片团队,并且是平均年薪过百万的资深专家。
高投入之外,还有高风险。马里亚纳 MariSilicon X是一颗DSA架构的芯片,这是一种特殊的ASIC芯片,它最大的特点是“专芯专用”,专门为某些算法服务,好处是空前强大的能效,但也意味着应用端被自我限制——一旦性能不达标,或者没有看准消费者的需求,无法通过批量生产摊薄设计成本,失败的专用芯片将付出巨大的成本。
这是一场赌局,也是OPPO建立核心技术、自研芯片万里长征的第一步。
今天看来,OPPO已经取得了阶段性的胜利:从马里亚纳 MariSilicon X流片一次成功、实现功耗与性能业界领先,再到完成算法调试,最终搭载在Find X5系列手机上,为消费者提供极致的影像指标。
在行业探索的初期,马里亚纳 MariSilicon X所承载的,不仅仅是满足当下的需求,也能成为影像芯片领域的投石问路——架构、算力指标、软硬件与传感器的配合等等,马里亚纳 MariSilicon的经验,是行业的宝贵知识。
接下来呢?我们确信,这颗芯片将会出现在更多OPPO的手机上,为更广泛的消费者赋能;OPPO的芯片之路也不会止步于此,高风险、高回报的赌注背后,是对自己成功率的信心。
自研芯片,非做不可。包括OPPO在内,几乎每一家中国手机厂商都投身到这个领域,手机产业特别是移动影像领域,下一个十年的发展主干道就在这里。
曾经的硬件竞赛,在长达十年的周期里,为消费者创造出一代代出色的产品,但在其中,很多创新要归功于产业链上游的伙伴;今天,手机厂商们在更深层技术——比如自研影像芯片——投入了远大于以往的精力和财力,也承担前所未有的高风险。
这可能是手机厂商们动真格“卷”起来的起点。2022年的手机市场也会因为更多深入的研究,变得不再无聊。OPPO Find X5所搭载的马里亚纳 MariSilicon X芯片,就是新年以来的第一场好戏。
内容来源:虎嗅