cs224n学习4： Contextual Word Representations and Pretraining

Contextual Word Representations and Pretraining

BERT原理详解
BERT的预训练过程
输入
微调

BERT原理详解

从创新的角度来看,bert实并没有过多的构方面的创新点,其和GPT一样均是采用的 transformer的结构,相对于GPT来说,其是双向结构的,而GPT是单向的,如下图所示

elmo: 将上下文当作特征，但是无督的语料和我们真实的语料还是有区别的，不一定的符合我们特定的任务,是一种双向的特征提取。
openai gpt：就做了个改进,也是通过 transformer学习出来一个语言模型，不是固定的，通过任务finetuning用transformer代替elmo的llstm。
openai gpt：其实就是少了 encoder的transformer。当然也没了 encoder与 decoder 之间的 attention
openai gpt虽然可以进行 fine tuning，但是有些特殊任务与 pretraining输入有出入，单个句子与两个句子不一致的情况，很难解决，还有就是 decoder只能看到前面的信息。
其次bert在多方面的nlp任务表现来看效果都较好，具备较强的泛化能力，对于特定的任务只需要添加一个输出层来进行 fine-tuning即可。