Siamese|一个框架统一Siamese自监督学习，清华、商汤提出简洁、有效梯度形式，( 六 )
其中
文章图片
是相关性矩阵的滑动平均 。 UniGrad 本质上就是表 1(e) 的梯度形式 ， 这种梯度不需要额外的 memory bank ， 也不需要设计额外的 projector ， 实验表明无论是 linear evaluation 还是 transfer learning ， 它都能够取得 SOTA 的实验性能 。
图 2 从多个衡量指标的角度展示了不同方法的优化过程 。 可以看到 ， 不同方法的优化曲线没有明显的差异 ， 这也说明了该方法和之前方法有着类似的工作机制 。
文章图片
表 3 和表 4 展示了 UniGrad 的具体结果 。 UniGrad 自身能够取得和之前方法相当的性能 ， 并且能够简单地将之前的数据增强方式融合进来 ， 进一步提升性能 。 在更长轮数的训练中 ， UniGrad 也能取得不错的性能 。
文章图片
表 3 UniGrad 与数据增强方法结合的性能
文章图片
【Siamese|一个框架统一Siamese自监督学习，清华、商汤提出简洁、有效梯度形式，】表 4 长轮数下与之前方法的对比
推荐阅读
- 市场资讯|“真·网红”马斯克：一个特斯拉哨子30万，大红内裤遭秒光
- 市场|刘作虎：一加达成了一个小目标
- 创事记|NFT距离元宇宙只差一个周杰伦
- 创事记|从主播开始谈一个购物需求
- 网络|白荣芳：荣耀为始 芳华绽放
- 教育|学科停船后的第一个寒假，“脑机接口”能否成为科技素质教育的后起之秀？
- 财年|小米、苹果怕不怕？索尼也要造车，还带来了一个大消息
- 新闻|一个人的生活品质，可以通过平时收藏的公众号显现出来
- 创事记|大厂难以沉下去的乡镇夫妻店，诞生了一个IPO
- IT|达拉斯希望成为福特下一个自动驾驶汽车工厂的所在地