Commit 69cac0e1 authored by zhouxiang's avatar zhouxiang
Browse files

修改格式

parent caca906d
......@@ -12,7 +12,7 @@ https://arxiv.org/pdf/2308.12966.pdf
本项目主要针对Qwen-7B-Chat在DCU平台的推理性能优化,达到DCU平台较快的对话效果。
![qwen](qwen.jpg)
![qwen](doc/transformer.jpg)
......@@ -20,7 +20,7 @@ https://arxiv.org/pdf/2308.12966.pdf
Qwen-7B的构建采用了类似LLaMA的架构。与标准transformer的主要差异有:1)使用非连接嵌入、2)使用旋转位置嵌入、3)在注意力中除了QKV外不使用偏置、4)使用RMSNorm代替LayerNorm、5)使用SwiGLU代替ReLU、以及6)采用快速注意力来加速训练。该模型共有32层,嵌入维度为4096,注意力头数为32。
![qwen](qwen.png)
![qwen](doc/qwen.png)
## 环境配置
......@@ -104,7 +104,7 @@ chmod +x benchmark
## result
![qwen推理](qwen推理.gif)
![qwen推理](doc/qwen推理.gif)
### 精度
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment