易坊好文馆

  1. 首页 > 玩科技 >

函数|NeurIPS 2021 | 华为诺亚Oral论文：基于频域的二值神经网络训练方法( 三 )

诺亚 符号 研究 实验 论文 函数 训练方法 NeurIPS 梯度 频域 Oral 傅里


从上表的结果看 ， 使用正弦模块可使训练过程受益 ， 将准确率从 84.44% 提高到 85.83% 。 将正弦模块和噪声自适应模块组合在一起时得到了最佳性能 ， 即 86.20% 的准确率 。
为了进一步验证噪声适应模块的用途 ， 研究者将该模块添加到其他梯度逼近方法中 ， 例如 DSQ 和 BNN+ ， 结果如下表所示 。

函数|NeurIPS 2021 | 华为诺亚Oral论文：基于频域的二值神经网络训练方法
文章图片

然后该研究评估了不同 η(·) 对噪声适应模块的影响 。 结果如下表所示 ， 使用 shortcut 时性能更好 ， 并且 shortcut function η(x) = α sin(x) 在实验过程中表现最好 。

函数|NeurIPS 2021 | 华为诺亚Oral论文：基于频域的二值神经网络训练方法
文章图片

在 ImageNet 上的实验
该研究进一步在大规模数据集 ImageNet ILSVRC 2012 上进行了实验 ， 使用 ResNet-18 和 AlexNet 进行实验 ， 结果如下表所示 。

函数|NeurIPS 2021 | 华为诺亚Oral论文：基于频域的二值神经网络训练方法
文章图片

对于 ResNet-18 ， FDA-BNN 实现了 60.2% 的 top-1 准确率和 82.3% 的 top-5 的准确率 ， 比基线方法（Bireal-Net + PReLU）高出 1.2% 和 1.0% ， 并超过所有其他方法 。
当以 ReActNet 作为基线方法 ， 并使用该研究所提方法计算符号函数的梯度 ，FDA-BNN 达到了 66.0% 的 top-1 准确率 ， 86.4% 的 top-5 准确率 ， 比基线方法分别高出 0.5% 和 0.3% 。
对于 AlexNet ， 该研究使用 Dorefa-Net 中的量化方法作为基线方法 ， FDA-BNN 实现了 46.2% 的 top-1 准确率和 69.7% 的 top-5 准确率 ， 并优于其他 SOTA 方法 。

推荐阅读


上一篇：Intel|手动屏蔽E核：模拟测试表明i5-12400有望成为中端游戏PC市场新宠

下一篇：西点|有赞上线自有骑手配送系统