Skip to content
GitLab
Menu
Projects
Groups
Snippets
Loading...
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
Menu
Open sidebar
ModelZoo
Qwen-7B_fastllm
Commits
caca906d
Commit
caca906d
authored
Oct 31, 2023
by
zhouxiang
Browse files
更新modelzoo格式
parent
e013ad7a
Changes
5
Hide whitespace changes
Inline
Side-by-side
Showing
5 changed files
with
41 additions
and
17 deletions
+41
-17
README.md
README.md
+38
-14
icon.png
icon.png
+0
-0
model.properties
model.properties
+3
-3
qwen.jpg
qwen.jpg
+0
-0
qwen.png
qwen.png
+0
-0
No files found.
README.md
View file @
caca906d
# Qwen-7B_CPP
# Qwen-7B_fastllm
## 论文
`Qwen-VL: A Frontier Large Vision-Language Model with Versatile Abilities`
https://arxiv.org/pdf/2308.12966.pdf
## 模型结构
## 模型介绍
通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。
本项目主要针对Qwen-7B-Chat在DCU平台的推理性能优化,达到DCU平台较快的对话效果。
## 模型结构

## 算法原理
Qwen-7B的构建采用了类似LLaMA的架构。与标准transformer的主要差异有:1)使用非连接嵌入、2)使用旋转位置嵌入、3)在注意力中除了QKV外不使用偏置、4)使用RMSNorm代替LayerNorm、5)使用SwiGLU代替ReLU、以及6)采用快速注意力来加速训练。该模型共有32层,嵌入维度为4096,注意力头数为32。
## 模型下载

[
原版Qwen模型下载
](
https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main
)
##
模型推理
##
环境配置
### 环境准备
...
...
@@ -49,6 +59,18 @@ cd package
python setup install
```
## 数据集
无
## 推理
### 原版模型下载
[
原版Qwen模型下载
](
https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main
)
## 模型推理
### 模型转换
```
...
...
@@ -80,27 +102,29 @@ streamlit run web_demo.py qwen-7b-int8.bin
chmod +x benchmark
```
##
运行效果展示
##
result

### 精度
无
## 应用场景
### 算法类别
```
NLP,对话问答
```
`对话问答`
### 热点应用行业
```
金融,教育,政府,交通等
```
`医疗,科研,金融,教育`
## 源码仓库及问题反馈
https://developer.hpccube.com/codes/modelzoo/qwen-7b_
cpp
https://developer.hpccube.com/codes/modelzoo/qwen-7b_
fastllm
## 参考
...
...
icon.png
deleted
100644 → 0
View file @
e013ad7a
2.27 KB
model.properties
View file @
caca906d
# 模型唯一标识
modelCode
=
411
# 模型名称
modelName
=
qwen-7b_
cpp
modelName
=
qwen-7b_
fastllm
# 模型描述
modelDescription
=
qwen-7b是阿里云研发的通义千问大模型系列的70亿参数规模的模型
# 应用场景
appScenario
=
推理,
NLP,金融,教育,政府,交通
appScenario
=
推理,
对话问答,医疗,科研,金融,教育
# 框架类型
frameType
=
cpp
frameType
=
fastllm
qwen.jpg
0 → 100644
View file @
caca906d
32.7 KB
qwen.png
0 → 100644
View file @
caca906d
112 KB
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
.
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment