Skip to content

GitLab

Commit 69cac0e1 authored by zhouxiang's avatar zhouxiang
Browse files

修改格式

parent caca906d
Hide whitespace changes
Inline Side-by-side
Showing with 3 additions and 3 deletions
README.md
View file @ 69cac0e1
...@@ -12,7 +12,7 @@ https://arxiv.org/pdf/2308.12966.pdf ...@@ -12,7 +12,7 @@ https://arxiv.org/pdf/2308.12966.pdf
本项目主要针对Qwen-7B-Chat在DCU平台的推理性能优化，达到DCU平台较快的对话效果。 本项目主要针对Qwen-7B-Chat在DCU平台的推理性能优化，达到DCU平台较快的对话效果。
![qwen](qwen.jpg) ![qwen](doc/transformer.jpg)
...@@ -20,7 +20,7 @@ https://arxiv.org/pdf/2308.12966.pdf ...@@ -20,7 +20,7 @@ https://arxiv.org/pdf/2308.12966.pdf
Qwen-7B的构建采用了类似LLaMA的架构。与标准transformer的主要差异有：1）使用非连接嵌入、2）使用旋转位置嵌入、3）在注意力中除了QKV外不使用偏置、4）使用RMSNorm代替LayerNorm、5）使用SwiGLU代替ReLU、以及6）采用快速注意力来加速训练。该模型共有32层，嵌入维度为4096，注意力头数为32。 Qwen-7B的构建采用了类似LLaMA的架构。与标准transformer的主要差异有：1）使用非连接嵌入、2）使用旋转位置嵌入、3）在注意力中除了QKV外不使用偏置、4）使用RMSNorm代替LayerNorm、5）使用SwiGLU代替ReLU、以及6）采用快速注意力来加速训练。该模型共有32层，嵌入维度为4096，注意力头数为32。
![qwen](qwen.png) ![qwen](doc/qwen.png)
## 环境配置 ## 环境配置
...@@ -104,7 +104,7 @@ chmod +x benchmark ...@@ -104,7 +104,7 @@ chmod +x benchmark
## result ## result
![qwen推理](qwen推理.gif) ![qwen推理](doc/qwen推理.gif)
### 精度 ### 精度
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment