RoBERTa: A Robustly Optimized BERT Pretraining Approach. Yinhan Liu, Myle Ott, Naman Goyal, et al. 2019

BERT提出之后，有很多后续工作XLNet、ALICE、XLM、MT-DNN相继被提出，成绩都在BERT的基础上往上提升了一点点。然而本文认为那是因为BERT其实根本没有得到充分的训练（否则成绩和这些后来居上者相当），为此本文从模型设计选择(design choice)、训练策略、语料等方面入手，重新对BERT进行了预训练，得到RoBERTa，实验结果表明RoBERTa在GLUE、RACE和SQuAD都达到了SOTA.

RoBERTa在每个部分都做了一点点修改，除了Text Encoding外其他的小修改都得到了轻微的提升，最后它将所有的修改合在一起得到最佳模型。具体修改包括：

• 修改了超参数：将adam的\(\beta_2\)参数从0.999改为0.98
• 增加训练轮数：训练steps从100K到500K
• 加入了混合精度
• 加大batch size：从BERT的256改为2K甚至8K
• 在更长的序列上训练，修改输入格式：FULL-SENTENCES+移除NSP任务
• 将BERT静态遮掩改为动态遮掩
• 增加新的预训练数据集CC-NEWS，语料从16G文本到160G文本
• Text Encoding：采用更大的byte-level的BPE词典

在SQuAD、MNLI-m和SST-2上的实验结果：

RoBERTa对比BERT有明显的提升，但是和XLNet差距不大。

在GLUE上的结果：

对于单任务单模型，RoBERTa九个任务均达到SOTA；

在SQuAD上的结果：

RoBERTa的成绩还可以。

在RACE上的对比结果：

从实验结果上看，RoBERTa均达到了SOTA.

RoBERTa其实本质上只是一个调参达到最优的BERT，和XLNet不相上下。

这篇paper带给我们的意义就是：RoBERTa再一次证明BERT才是众多预训练模型中的首选和扛鼎之作，也是那个真正引起质变的模型。

---