Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Qwen_lmdeploy
Commits
b2947549
Commit
b2947549
authored
Nov 22, 2023
by
xiabo
Browse files
Update README.md
parent
26265a69
Changes
1
Hide whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
11 additions
and
1 deletion
+11
-1
README.md
README.md
+11
-1
No files found.
README.md
View file @
b2947549
...
@@ -14,7 +14,6 @@ https://arxiv.org/pdf/2308.12966.pdf
...
@@ -14,7 +14,6 @@ https://arxiv.org/pdf/2308.12966.pdf


## 算法原理
## 算法原理
Qwen的构建采用了类似LLaMA的架构。与标准transformer的主要差异有:1)使用非连接嵌入、2)使用旋转位置嵌入、3)在注意力中除了QKV外不使用偏置、4)使用RMSNorm代替LayerNorm、5)使用SwiGLU代替ReLU、以及6)采用快速注意力来加速训练。该模型共有32层,嵌入维度为4096,注意力头数为32。
Qwen的构建采用了类似LLaMA的架构。与标准transformer的主要差异有:1)使用非连接嵌入、2)使用旋转位置嵌入、3)在注意力中除了QKV外不使用偏置、4)使用RMSNorm代替LayerNorm、5)使用SwiGLU代替ReLU、以及6)采用快速注意力来加速训练。该模型共有32层,嵌入维度为4096,注意力头数为32。
...
@@ -39,6 +38,17 @@ docker run -it --name qwen --shm-size=1024G --device=/dev/kfd --device=/dev/dri
...
@@ -39,6 +38,17 @@ docker run -it --name qwen --shm-size=1024G --device=/dev/kfd --device=/dev/dri
无
无
## 推理
## 推理
### 源码编译安装
```
# 若使用光源的镜像,可以不用源码编译,镜像里面安装好了lmdeploy,可跳过源码编译安装
mkdir build && cd build
sh ../generate.sh
make -j 32
make install
cd .. && python3 setup.py install
```
### 模型下载
### 模型下载
[
Qwen-7B-chat
](
https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main
)
[
Qwen-7B-chat
](
https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main
)
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment