画质|海思越影新一代AI ISP图像处理引擎技术硬核
IT之家 12 月 28 日消息 ， 据华为海思发布 ， 2021 年 ， 海思推出越影 AI ISP：用于物联网智能终端的新一代智能图像处理引擎 ， 突破传统 ISP 图像处理的极限 ， 将业界画质标杆推向新的高度 。
现在华为官方带来了海思越影新一代 AI ISP 技术的硬核指数的深度解读 。
文章图片
视觉产业过去十年发展 ， 图像分辨率持续提升 ， 图像效果不断优化 。 但是由于视觉感知的场景非常碎片化 ， 在暗光、逆光、运动等场景下输出高质量图像仍然是行业公认的难题 。
ISP 是对图像传感器输入的原始数据进行图像处理的首个环节 ， 既是“看得清”的重要保证 ， 也是后续“看得懂”的直接输入 ， ISP 输出图像质量决定着“看得懂”的天花板 。 ISP 涵盖了数十种图像信号处理算法 。 为了适配各种不同的镜头和传感器 ， 需要优化调整成百上千个参数 ， 保证 ISP 兼备通用性和灵活性 。 同时 ISP 中众多模块的算法是相互影响的 ， 算法协同需要大量调试工作 。 这是一个极其复杂的过程 ， 也是一项极具挑战的任务 。 面对越来越高的场景复杂度 ， 基于滤波等传统图像处理技术在暗光、宽动态等场景下 ， 画质获得显著改进越来越困难 。 而且随着参数库逐渐庞大 ， 调试越发困难 ， 开发周期逐步拉长 ， 画质提升的投资收益率也越来越低 。
【画质|海思越影新一代AI ISP图像处理引擎技术硬核】近年来 ， 利用 AI 进行图像增强逐渐成为行业研究新热点并取得了显著的进展 ， 尤其是利用 AI 对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果 。 而视觉行业的特点要求能够对高分辨率、高帧率的视频 ， 应用 AI 进行实时调优 ， 对算法、算力的要求更高 ， 特别是要求在端侧算力环境下高效实现 AI ISP 功能 ， 获得相比传统 ISP 更优的效果 。
上海海思利用在传统 ISP 画质技术上的长期积累和经验 ， 以及在端侧 AI 架构和优化上的优势 ， 在本届安博会期间发布新一代智能图像处理引擎 — 越影 AI ISP ， 将传统画质优化经验与 AI 技术深度融合 ， 为实时高清视频的图像质量带来质的飞跃 ， 相比海思上一代旗舰 ISP 在五方面取得显著进步 。
【超感光降噪】基于深度学习的智能降噪 ， 信噪比 4 倍提升
去噪一直是 ISP 的重要功能 ， 尤其在视频感知领域 ， 夜景下的去噪尤其重要 。 例如在夜晚光照不足街道或园区 ， 各种各样形态各异的噪声会出现在记录的视频中 ， 严重影响画面清晰度 ， 难以“看得清” ， 更难以“看得懂” 。 传统的 NR 技术采用多级时域 / 空域滤波 ， 且滤波器设计融合了多种异构类型 ， 收益已逐渐降低 。 海思利用神经网络深度学习海量低照度场景图片的噪声和信号的分布特性 ， 训练出一套智能降噪的算法模型 ， 让越影 AI ISP 能智能区分图像中的信号和噪声 ， 实现低照度场景下的智能降噪 。 根据测试 ， 越影相比海思上一代旗舰 ISP 提升明显 ， 在低照场景下图像信噪比可提升 4 倍 。
推荐阅读
- 产业|“抢早”打下第一桩！上海三大先导产业强势开局
- 建设|上海徐汇漕河泾开发区将建“AI公园”
- 央视网|上海今年将增1万个充电桩添便利实惠
- 海信|海信于芝涛：大屏加速画质之争，2022全球显示进入拐点之年
- 本科生|“硬核”科技领域求贤若渴，上海与年轻人“一拍即合”
- 新高|多个海区温度创新高 去年成有记录以来海洋最暖一年
- IT|KDDI合作开发海空系统：用空中无人机运输和部署水下无人机
- 新浪科技综合|2021年度全球海洋变暖报告发布：海洋增暖又双叒叕破纪录
- 媒体滚动|人民日报海外版：让“吃播”变得文明节俭
- 媒体滚动|人民日报海外版刊文：莫让“图书盲盒”透支读者的信任