Skip to content

GitLab

Commit c171a9cc authored by yangql's avatar yangql
Browse files

Update README.md

parent c8f52cdd
Hide whitespace changes
Inline Side-by-side
Showing with 1 addition and 3 deletions
README.md
View file @ c171a9cc
...@@ -6,9 +6,7 @@ ...@@ -6,9 +6,7 @@
## 模型结构 ## 模型结构
以往的预训练模型的结构会受到单向语言模型（从左到右或者从右到左）的限制，因而也限制了模型的表征能力，使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件（单向的Transformer一般被称为Transformer decoder，其每一个token（符号）只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder，其每一个token会attend到所有的token）来构建整个模型，因此最终生成能融合左右上下文信息的深层双向语言表征。 以往的预训练模型的结构会受到单向语言模型（从左到右或者从右到左）的限制，因而也限制了模型的表征能力，使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件（单向的Transformer一般被称为Transformer decoder，其每一个token（符号）只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder，其每一个token会attend到所有的token）来构建整个模型，因此最终生成能融合左右上下文信息的深层双向语言表征。
<p align="center"> <img src="./Doc/Images/Bert_01.png" style="zoom:55%;" align=center>
<img src="./Doc/Images/Bert_01.png" style="zoom:55%;" align=middle>
</p>
## 算法原理 ## 算法原理
BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。bert的输入可以是单一的一个句子或者是句子对，实际的输入值是segment embedding与position embedding相加，BERT的输入词向量是三个向量之和：Token Embedding：WordPiece tokenization subword词向量。 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。bert的输入可以是单一的一个句子或者是句子对，实际的输入值是segment embedding与position embedding相加，BERT的输入词向量是三个向量之和：Token Embedding：WordPiece tokenization subword词向量。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment