SpacTor是一种新的训练程序，包括（1）结合了段落破坏（SC）和标记替换检测（RTD）的混合目标，以及（2）一个两阶段课程，该课程在初始tau次迭代中优化混合目标，然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验，使用编码器-解码器架构（T5），SpacTor-T5在下游性能方面与标准的SC预训练相当，同时减少了50%的预训练迭代次数和40%的总FLOPs。另外，在相同的计算预算下，我们发现SpacTor能够显著提高下游基准性能。
需求人群： "适用于自然语言处理任务的预训练模型" 使用场景示例： 在NLP任务中使用SpacTor-T5进行文本生成利用SpacTor-T5进行情感分析在问答系统中应用SpacTor-T5进行问题回答 产品特色： 混合目标的训练程序段落破坏和标记替换检测两阶段课程优化
