"docs/git@developer.sourcefind.cn:change/sglang.git" did not exist on "8048c28c11b7b377d769bfc38fd8b8c87fb187de"
Commit 0971c45e authored by liangjing's avatar liangjing
Browse files

update readme.md

parent 2f18ce20
...@@ -11,6 +11,16 @@ BERT-large是BERT模型的一个更大、更复杂的版本。与BERT-base相比 ...@@ -11,6 +11,16 @@ BERT-large是BERT模型的一个更大、更复杂的版本。与BERT-base相比
BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层,总共包含340M个参数。在预训练阶段,BERT-large使用更多的未标记的文本数据进行预训练,并使用Masked Language Model(MLM)和Next Sentence Prediction(NSP)两个任务来优化模型。BERT-large的预训练阶段比BERT-base更复杂,并且需要更长的时间来训练。 BERT-large包含24个Transformer编码器,每个编码器有1024个隐藏层,总共包含340M个参数。在预训练阶段,BERT-large使用更多的未标记的文本数据进行预训练,并使用Masked Language Model(MLM)和Next Sentence Prediction(NSP)两个任务来优化模型。BERT-large的预训练阶段比BERT-base更复杂,并且需要更长的时间来训练。
## 目标精度
0.72 Mask-LM accuracy
## MLPerf代码参考版本
版本:v1.0
原始代码位置:https://github.com/mlcommons/training_results_v1.0/tree/master/NVIDIA/benchmarks/bert/implementations/pytorch
## 数据集 ## 数据集
模型训练的数据集来自Wikipedia 2020/01/01,即一种常用的自然语言处理数据集,它包含了维基百科上的文章和对应的摘要(即第一段内容),可用于各种文本相关的任务,例如文本分类、文本摘要、命名实体识别等。 模型训练的数据集来自Wikipedia 2020/01/01,即一种常用的自然语言处理数据集,它包含了维基百科上的文章和对应的摘要(即第一段内容),可用于各种文本相关的任务,例如文本分类、文本摘要、命名实体识别等。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment