F

fairseq-data2vec_pytorch

Meta AI发布的data2cec 2.0版本,在性能方面对上一代进行了改进:在精度相同的情况下,训练速度相比其他算法最高提升了16倍!主要解决的痛点是构建自监督模型需要大量的GPU做算力支撑才能完成训练。