oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密

今天的第三届OPPO未来科技大会(OPPO INNO DAY 2021)上,OPPO芯片产品高级总监姜波揭秘了其历时近两年研发的首个自研芯片马里亚纳 MariSilicon X 。马里亚纳 MariSilicon X是一个影像专用NPU(神经网络处理器),采用台积电6nm工艺,AI算力高达18TOPS,比苹果最新的A15 15.8TOPS的AI性能还高,同时,MariSilicon X能效比达到了11.6TOPS/W 。
访问购买页面:
OPPO自营旗舰店

oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

OPPO芯片产品高级总监姜波在发布会上展示马里亚纳 MariSilicon X芯片
作为一家手机终端公司,OPPO竟然在首个自研芯片上就挑战业内顶尖的6nm工艺,并且NPU的性能和能效比也达到了业界领先水平,这不禁让人好奇,OPPO自研芯片的决心从何而来?

oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

从最直观的产品的层面看,马里亚纳 MariSilicon X将搭载在OPPO明年第一季度发布的Find系列旗舰手机上,会为消费者带来突破性的视频拍摄功能 。

oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

马里亚纳 MariSilicon X影像专用NPU
从技术层面细细解读,将会发现马里亚纳 MariSilicon X背后,藏着OPPO的计算摄影秘密,以及这家志在探索未来的企业对新十年技术发展趋势的判断 。
为什么是影像专用NPU?
当市场的竞争更加激烈,智能手机的创新越来越难之时,全球手机出货量前五的手机厂商们都希望通过自研芯片,用更好的软硬协同,实现差异化的功能和体验,获得消费者的青睐 。
差异化竞争的焦点,是消费者最容易感知的影像功能 。自2018年开始,手机行业对于AI影像功能的关注只增不减 。2020腾讯手机行业洞察白皮书指出,消费者对摄像头、电池的关注度显著提升,其中摄像头的关注度增长率仅次于操作系统 。
手机影像系统是一个很长的链条,包括前端传感器、镜头、马达,承载图像处理的ISP芯片,以及后端标定和调优等过程 。手机巨头们在整个影像系统上都争相布局,比如,OPPO过去十年,在定制图像传感器、摄像头模组、镜头方面有大量积累,还基于通用SoC平台积累了许多AI算法 。
“手机业界已经发现在AI算力的支持下,AI算法已经超越传统ISP算法的效果 。因此,目前主流的趋势是用AI算法替代传统算法 。”拥有十多年图像处理领域丰富经验的爱芯元智ISP负责人、系统架构师张兴对雷峰网说,“手机厂商已经在拍照中享受到了AI算法带来的好处,包括超级夜景、AI美颜等功能,从趋势来看未来几年,AI拍照最火的几个功能会从拍照推向视频 。这就需要一颗高效的芯片,将AI算法和传统ISP进行更好结合 。”

推荐阅读