oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密( 二 )_OPPO首个自研芯片NPU|藏着的计算

将算力、AI与拍照和摄影融合，都代表着手机行业一个重要的趋势——计算摄影。所谓的计算摄影，是利用数字计算而非传统的光学处理的图像。比如超级夜景功能，利用高算力以及AI降噪算法等，将拍摄的多张照片合成为同一张，输出一张明亮清晰的照片。
从谷歌、苹果，到OPPO，整个手机业界的领导者都在通过计算摄影不断突破手机摄影能力的上限。
不过，通用SoC并不能完全满足计算摄影的需求。OPPO芯片产品高级总监姜波指出，“我们的AI降噪算法在Find X3 Pro的芯片平台上，在功耗接近1.7瓦的时候，最多可以处理2帧图像，这意味着AI降噪只能应用到暗光拍照，没办法在最低要求是30fps的视频中应用。”

文章图片

安谋科技高级产品经理柴卫华也说，“随着短视频的需求发展，手机也越来越重视视频拍摄的性能。要实时处理4K甚至8K视频的海量数据，呈现完美的影像效果，处理器性能、算法优异、存储带宽和与系统延迟都是挑战。”
通用SoC限制AI算法性能的同时，也限制了定制传感器和镜头性能的发挥。
原因主要有两方面，一方面，定制传感器的周期较短，但通用SoC的更新以年为周期，两者在时间上难以匹配。另一方面，采用定制传感器，整个图像处理链路需要进行优化增强，但定制传感器和通用SoC很难实现紧密耦合，也就难以发挥最大效益。
已经拥有定制传感器和AI算法积累的OPPO，想要进一步提升影像性能，在计算摄影将占主导地位的竞争中，自然需要一颗影像专用NPU帮助其实现影像链路的垂直整合，进一步实现突破。
“垂直整合最难的就是最开始对用户需求的判断，如果判断失误，会影响后续芯片设计以及所有的配合设计工作。”姜波说：“得益于OPPO在移动智能设备多年的经验，我们清楚知道消费者的真实需求。”
马里亚纳 MariSilicon X补足了OPPO在影像计算单元上的最后短板——缺乏可控的影像专用处理器。
之所以定位于影像专用，没有加入包括显示在内的更多功能，姜波说：“这是我们的首款自研芯片，要集中在价值最大的功能点上。”
计算摄影如何突破手机摄影极限？
芯片的定位明确之后，具体参数定义也极为关键。这其中有两大关键挑战，一个自研芯片能够带来的性能和体验提升，一定要优于通用SoC；另一个是手机整机的功耗控制。
要解决这两大挑战，就不得不自研这个NPU上的几大核心IP 。姜波透露，“刚开始，我们也评估了一些可以购买的第三方IP，但最终发现没有一个NPU可以与OPPO的场景算法结合，达到最优能耗功率，因此选择了从头开始自研NPU 。”