Commit b2947549 authored by xiabo's avatar xiabo
Browse files

Update README.md

parent 26265a69
...@@ -14,7 +14,6 @@ https://arxiv.org/pdf/2308.12966.pdf ...@@ -14,7 +14,6 @@ https://arxiv.org/pdf/2308.12966.pdf
![qwen](docs/dcu/transformer.jpg) ![qwen](docs/dcu/transformer.jpg)
## 算法原理 ## 算法原理
Qwen的构建采用了类似LLaMA的架构。与标准transformer的主要差异有:1)使用非连接嵌入、2)使用旋转位置嵌入、3)在注意力中除了QKV外不使用偏置、4)使用RMSNorm代替LayerNorm、5)使用SwiGLU代替ReLU、以及6)采用快速注意力来加速训练。该模型共有32层,嵌入维度为4096,注意力头数为32。 Qwen的构建采用了类似LLaMA的架构。与标准transformer的主要差异有:1)使用非连接嵌入、2)使用旋转位置嵌入、3)在注意力中除了QKV外不使用偏置、4)使用RMSNorm代替LayerNorm、5)使用SwiGLU代替ReLU、以及6)采用快速注意力来加速训练。该模型共有32层,嵌入维度为4096,注意力头数为32。
...@@ -39,6 +38,17 @@ docker run -it --name qwen --shm-size=1024G --device=/dev/kfd --device=/dev/dri ...@@ -39,6 +38,17 @@ docker run -it --name qwen --shm-size=1024G --device=/dev/kfd --device=/dev/dri
## 推理 ## 推理
### 源码编译安装
```
# 若使用光源的镜像,可以不用源码编译,镜像里面安装好了lmdeploy,可跳过源码编译安装
mkdir build && cd build
sh ../generate.sh
make -j 32
make install
cd .. && python3 setup.py install
```
### 模型下载 ### 模型下载
[Qwen-7B-chat](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main) [Qwen-7B-chat](https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main)
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment