# Bidirectional Encoder Representation from Transformers(BERT)
# BERT
## 模型介绍
## 论文
BERT的全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。
Bidirectional Encoder Representation from Transformers
BERT的全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。具体方法通过将Token Embedding、Segment Embedding、Position Embedding输入到BERT模型中进行推理,并经过下图所示的数据后处理得到最终的推理结果。