机器之心报道
编辑:小舟、蛋酱
神经网络的深度并不意味着一切?在近期的一项研究中 , 普林斯顿和英特尔的研究者提出了一种使用并行子网络或子结构的神经网络 ParNet , 在有效减少深度的同时能够保持高性能 , 甚至实现更快的速度及更好的准确性 。深度是深度神经网络的关键 , 但更多的深度意味着更多的序列计算和更多的延迟 。 这就引出了一个问题——是否有可能构建高性能的「非深度」神经网络?
近日 , 普林斯顿大学和英特尔实验室的一项研究证明了这一观点的可行性 。 该研究使用并行子网络而不是一层又一层地堆叠 , 这有助于在保持高性能的同时有效地减少深度 。
文章图片
论文地址:https://arxiv.org/abs/2110.07641
【速度|普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet】通过利用并行子结构 , 该研究首次表明深度仅为 12 的网络可在 ImageNet 上实现超过 80%、在 CIFAR10 上实现超过 96%、在 CIFAR100 上实现 81% 的 top-1 准确率 。 该研究还表明 , 具有低深度主干网络的模型可以在 MS-COCO 上达到 48% 的 AP 指标 。 研究者分析了该设计的扩展规则 , 并展示了如何在不改变网络深度的情况下提高性能 。 最后 , 研究者提供了关于如何使用非深度网络来构建低延迟识别系统的概念证明 。
方法
该研究提出了一种深度较低但仍能在多项基准上实现高性能的网络架构 ParNet , ParNet 由处理不同分辨率特征的并行子结构组成 。 这些并行子结构称为流(stream) , 来自不同流的特征在网络的后期融合 , 融合的特征用于下游任务 。 图 2a 提供了 ParNet 的示意图 。
文章图片
图 2
ParNet Block
ParNet 中使用了 VGG 风格的 block(Simonyan & Zisserman , 2015) 。 为了探究非深度网络是否可以实现高性能 , 该研究通过实验发现 VGG 风格 block 比 ResNet 风格 block 更合适(如下表 8 所示) 。 一般来说 , 训练 VGG 风格的网络比 ResNet 更难(He 等 , 2016a) 。 但是最近的一些工作表明 , 使用「结构重参数化」方法(Ding 等 , 2021) , 会让 VGG 风格 block 更容易训练 。
文章图片
训练期间 , 该研究在 3×3 卷积 block 上使用多个分支 。 训练完成后 , 多个分支可以融合为一个 3×3 的卷积 block 。 因此 , 最终得到一个仅由 3×3 block 和非线性组成的简单网络 。 block 的这种重参数化或融合(fusion)有助于减少推理期间的延迟 。
推荐阅读
- 技术|“2”类医械有重大进展:神经介入产品井喷、基因测序弯道超车
- 重大进展|“2”类医械有重大进展:神经介入产品井喷、基因测序弯道超车
- Tencent|原生版微信上架统信UOS应用商店:适配X86、ARM、LoongArch架构
- 国家|2022上海国际热处理、工业炉展览会
- IT|8号线、14号线将全线贯通 北京地铁?今年开通线路段创纪录
- 软件和应用|iOS/iPadOS端Telegram更新:引入隐藏文本、翻译等新功能
- Intel|Intel谈DDR5内存价格贵、缺货问题:新技术升级在所难免
- IT|宝马电动转型成果初显:i4、iX供不应求 新能源车销量已破百万
- 制造业|稳健前行开新局 制造业未来五年转型升级迎来“加速度”
- 银行|银行卡、社保卡可直接刷卡坐公交 上海公交开始试点