文章图片
毫末智行所采用的 Swin-Transformer 是一种改良架构 ， 通过小图像片元和逐层进行邻域合并的方式构建层级特征表达 ， 将自注意力限制在一定范围内 ， 大幅度削减了计算量 ， 同时也使得非局域窗口间的交互成为可能 。 此外 ， 毫末智行还在数据并行做出了更多思考 。
简单来说 ， 这是一种更适用于视觉领域的改良模型 。
但在如今的大模型时代 ， 巨量的模型参数给模型训练带来很大的难度 ， 稍微改动一下网络结构、参数配置、或者是更换数据 ， 迭代一次得到结果的周期是要近百个小时 。 但这种调整经常发生 ， 严重影响了创新速度 。 因此 ， 不管是 CNN 还是 Swin-Transformer ， 优化提速都非常重要 。
文章图片
毫末智行为了提升训练速度 ， 除了常见的数据并行之外 ， 还做了更精细的模型并行方法 。
针对 Swin-Transformer ， 毫末智行采用了数据和模型同时并行的混合方案: 将模型横向拆分 ， 将不同层对应的 block 组 ， 拆分到不同显卡的显存中 ， 腾出空间存放更大的 batch size 对应的向量组 。
此外 ， 毫末智行还优化了模型前向计算 。 当后向传播过程中 ， 中间结果的显存被占? ， 包括 Optimizer States, Gradients Parameters 等 ， 通常可以减少 20%-30% 的整体显存占用量 。
顾维灝表示：「基于 Swin-Transformer 的优化效果 ， 整体可以提速 50%-80% 。 」
CSS+ ICU 3.0 ， 保证模型准确度
文章图片
在获得更快迭代的模型后 ， 如何保证模型判断的准确度 ， 也是很重要的一点 。
「毫末智行开发了语义场景的自动化转化工具和参数泛化工具 ， 可以将 CSS 中场景库的描述文本自动转化为仿真测试场景 ， 并且在合适的范围内离散采样得到巨量的仿真测试用例 。 同时通过在云端并行 ， 每天可以自动生成一万多个仿真测试用例 。 」顾维灝对这项技术做出了详细介绍 。
可以简单打个比方 ， 如果要做一个无保护左转的仿真验证 ， 系统可以自动调整道路宽度、遮挡等环境信息 ， 以及交通参与者类型、数量和位置 ， 衍化出众多不同的无保护左转测试环境 。
据毫末智行介绍 ， 仿真验证的重点是交互过程 ， 这方面可以做到 100% 还原 ， 但场景自动转化还需要看 CSS 库中是否有对应材质 。
此外 ， 硬件性能也是决定模型判断结果准确度的因素之一 。
毫末智行明年中期将与长城 SOP 800 万像素的产品 ， 可以看清 150-200 米左右椎桶 ， 而且是清晰到纹理细节 。 目前 ， 市面上主流的还是 100 万像素摄像头 。
推荐阅读
- 原神|《原神》「飞彩镌流年」2.4 版本预下载已开启
- 微信|积极落实互联互通，微信收款码支持云闪付及银行APP支付物料落地
- 年轻人|呼叫全城玩家，魔都首发「表情包地铁」启程，2022蓝不倒！
- 样儿|从太空看地球新年灯光秀啥样儿？快看！绝美风云卫星图来了
- 技术|使用云原生应用和开源技术的创新攻略
- 微信|微信支付“九宫格”全面支持开通中国银联云闪付
- 科技创新平台|云南：打造世界一流食用菌科技创新平台
- 雷军|和雷军一起开箱，领取小米12「专属指南」
- 广西云|1月1日生效的RCEP，将带来这些重大变化
- 平台|[原]蚂蚁集团SOFAStack：新一代分布式云PaaS平台，打造企业上云新体验