Commit b3ba9629 authored by yuguo's avatar yuguo
Browse files

update

parent b1f4e98f
......@@ -9,7 +9,7 @@
## 模型结构
2017 年, Google 提出了 Transformer 架构, 随后 BERT 、GPT、T5等预训练模型不断涌现, 并在各项任务中都不断刷新 SOTA 纪录。2022年, 清华提出了 GLM 模型(https://github.com/THUDM/GLM), 不同于上述预训练模型架构,它采用了一种自回归的空白填充方法, 在 NLP 领域三种主要的任务(自然语言理解、无条件生成、有条件生成)上都取得了不错的结果。
<img src="http://developer.hpccube.com/codes/modelzoo/glm_oneflow/-/raw/main/glm%E6%A8%A1%E5%9E%8B%E7%BB%93%E6%9E%84.png" alt="glm模型结构.png" style="zoom:50%;" />
在LiBai中主要实现了GLM推理部分的工作。
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment