实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛( 三 )



实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛
文章图片

表 1:在 COCO val set 上的实验 。 Panotic SegFormer 在以 ResNet-50 为主干的 COCO val 上实现了 50.0% 的 PQ , 超过了之前的方法 。
下表 2 中:在 COCO test-dev set 进行实验 , 以 PVTv2-B5 作为主干 , Panoptic SegFormer 在 COCO test-dev 上实现了 54.4% 的 PQ , 超越 SOTA 方法 Max-Deeplabe-L 和竞争级方法 Innovation , 分别超过 3.1% PQ 和 0.9% PQ , 且参数和计算成本更低 。

实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛
文章图片

下图 4 显示了在 COCO val set 的一些可视化结果 。 这些原始图像是高度拥挤或被遮挡的场景 , 但是 Panoptic SegFormer 仍然可以得到令人信服的结果 。

实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛
文章图片

实例分割:下表 3 为在 COCO test-dev set 实例分割结果 。 为了公平比较 , 该研究使用 300 个查询进行实例分割 , 并且只使用 things 数据 。 以 ResNet-50 作为主干和单尺度输入 , Panoptic SegFormer 实现了 41.7 AP , 超过了之前的 HTC 和 QueryInst SOTA 方法 , 且分别超过了 1.6 AP 和 1.1 AP 。

实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛
文章图片

下表 4 中展示了模型复杂性和推理效率 , 得出 Panoptic SegFormer 在可接受的推理速度下 , 能够实现 SOTA 性能全景分割 。
【实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛】
实例|拿transformer做E2E全景分割,这个通用框架霸榜挑战赛
文章图片

推荐阅读