分布式评估AUC的值为何忽高忽低呢？

分布式评估AUC的值为何忽高忽低呢？这个问题困扰了很多人， 精神内耗。 让我们一起深入探讨一下。

问题背景

在分布式训练中， 我们经常需要计算一些全局指标，如AUC、AP等。但是由于分布式训练的特殊性，这些指标的计算可能会出现一些问题。

最近， 我遇到了一个问题：在多卡训练时验证AUC/AP时高时低，甚至比单卡差一截；换种batch_size或改drop_last后曲线又“起飞”。这让人很是费解，我深信...。

问题分析

经过一番分析，我发现问题出在gar操作上。直接all_gar每步的pred/label 忽视尾批大小不同与拼接顺序，会导致全局AUC计算不准确。

产品	AUC	AP
A产品	0.8	0.7
B产品	0.9	0.8
C产品	0.7	0.6

为了解决这个问题，我们需要找到一种可靠的gar方法。

解决方案

经过一番探索，我找到了一个可行的解决方案：使用gar_varlen_tensor函数来平安地汇总变长张量，又爱又恨。。