实验结果差异

[1724776685]

Hi，我在运行您提供的代码训练cotton数据集时，运行结果与论文结果存在8%~10%的差异。我使用的环境PyTorch 1.8.1 ；Python 3.8(ubuntu18.04)；Cuda 11.1在2080ti2，A1002，3080*2上分别运行了代码，且并没有修改代码内容和参数。请问您提供的参数是最好结果的参数吗，或者我可能存在什么问题。如果您能帮助我，万分感谢。

[1724776685]

在2080ti*2 GPU 上使用您提供的参数，soyloc数据集下实验一次的得到的结果为0.505（论文0.5617）。
：《

[Markin-Wang]

你好，感谢你对我们实验的兴趣，你可以首先加载一下训练好的权重测试一次，看看是否结果和论文中的一样。我们提供的是最优参数，虽然说不同机器运行会有差异，不过注意cotton是个比较小的数据集，所以结果方差可能会因为机器不同比较大，但是8%~10%的差异似乎比较反常，你可以先试着调节一下超参数看看是否还是有比较大的差异，比如学习率，mask loss的权重等，并且看看在soyloc上差异如何。

[1724776685]

使用您提供的权重测试结果为0.6000
在cotton数据集上改变学习率或者mask_weight会产生12%的影响，不使用apex会有02%提升。
我又做了几次soyloc数据集下的实验，2080Ti*2结果都在0.5左右，在训练第4200之后结果几乎不改变。但是单卡A10上结果为0.37左右，单卡A10在cotton数据集上没有这么大差距。
我刚开始复现论文不久，您能给我提供一些经验吗。

[Markin-Wang]

使用您提供的权重测试结果为0.6000 在cotton数据集上改变学习率或者mask_weight会产生12%的影响，不使用apex会有02%提升。 我又做了几次soyloc数据集下的实验，2080Ti*2结果都在0.5左右，在训练第4200之后结果几乎不改变。但是单卡A10上结果为0.37左右，单卡A10在cotton数据集上没有这么大差距。 我刚开始复现论文不久，您能给我提供一些经验吗。

hi, 我看单卡和双卡的差别如此大，我猜测可能和学习率与batchsize有关，我建议你可以先测试一下base的结果，然后调试一下batch-size和学习率(大概在10倍范围内调试），小数据集的variance比较高，建议可以考虑在大数据集上调试，结果会稳定一些，我之前的测试结果，基本上即使比较差的参数，cotton也在57以上。不同的机器，包括架构，cuda toolkit的version和cuda driver的version都会导致结果不一样，但是一般不会在调试之后还这么大。也有其他的work把mix-vit作为baseline，复现结果相差不多，但是我不清楚他们具体的实验配置和机器，期待你能成功复现结果，因为是2年前的work，所以有些细节可能我也记得不是很清楚了。