Commit 7c8b4a6f authored by chenych's avatar chenych
Browse files

Delete _xxx。

parent 026513bf
......@@ -18,6 +18,7 @@
├── README.md
├── requirements.txt
├── model.properties
├── LICENSE(源github无LICENSE则在LICENSE里填:None LICENSE Currently.)
├── dirs
│   ├── code_file1.py
│   ├── code_file2.py
......@@ -41,7 +42,7 @@
# 模型唯一标识
modelCode=Project ID(GitLab创建项目后查看名称下面的Project ID即可,注意此ID为hpccube下GitLab生成的ID,不可编造。例如:365)
# 模型名称
modelName=模型名称(同项目名称,模型名_深度学习框架:模型名为源github项目名(官方名称),深度学习框架名采用小写格式。例如:Janus_pytorch,resnet50_tensorflow)
modelName=模型名称(模型系列官方名称)
# 模型描述
modelDescription=简要描述此模型(尽量50字以内)
# 运行过程
......@@ -53,5 +54,3 @@ frameType=paddle(说明使用的算法框架, 多个标签用英文逗号隔开
# 加速卡类型
accelerateType=BW1000,K100AI(设备为项目中所运行模型测试所用的加速卡,以帮助用户在光源可快速进行目标选型。)
```
* 增加LICENSE(必要),源github无LICENSE则在LICENSE里填:None LICENSE Currently.
\ No newline at end of file
# 模型名称(跟原生模型一致)
# 模型名称(跟原生模型一致,优先模型系列名,特殊情况可单独以模型某size命名
## 论文
[此处填写论文名称](此处填写论文地址链接)
......@@ -17,18 +17,19 @@
| 软件 | 版本 |
| :------: | :------: |
| DTK | xxx |
| python | xx |
| transformers | xx |
| vllm | xx |
| paddlepaddle | xx |
| deepspeed | xx |
| Python | xx |
| Transformers | xx |
| vLLM | xx |
| SGLang | xx |
| Paddlepaddle | xx |
| DeepSpeed | xx |
推荐使用镜像: xxxxxx(镜像地址,如 image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.5.1-ubuntu22.04-dtk25.04.2-py3.10)
- 挂载地址`-v``{docker_name}``{docker_image_name}`根据实际模型情况修改
```bash
docker run -it \
--shm-size 60g \
--shm-size 256g \
--network=host \
--name {docker_name} \
--privileged \
......@@ -45,7 +46,7 @@ docker run -it \
示例如下(展示到modelzoo上的内容,就是将上面的{docker_image_name}{docker_name}根据实际模型填写)
docker run -it \
--shm-size 60g \
--shm-size 256g \
--network=host \
--name qwen3 \
--privileged \
......@@ -103,10 +104,10 @@ sh xxx.sh 或 python xxx.py
```
## 推理
1. 推理框架有`transformers``vllm``SGLang`或者其他推理框架中任意一个即可,至少有一个;
1. 推理框架有`Transformers``vLLM``SGLang`或者其他推理框架中任意一个即可,至少有一个;
2. `单机推理``多机推理`章节根据模型大小自行选择。
### transformers
### Transformers
#### 单机推理
```bash
sh xxx.sh 或 python xxx.py
......@@ -117,7 +118,7 @@ sh xxx.sh 或 python xxx.py
sh xxx.sh 或 python xxx.py
```
### vllm
### vLLM
#### 单机推理
```bash
sh xxx.sh 或 python xxx.py
......@@ -160,6 +161,8 @@ sh xxx.sh 或 python xxx.py
`DCU与GPU精度一致,推理框架:XXX(测试使用的推理框架)。`
## 预训练权重
> `BW1100`显存不一样,所需卡数不一样,可单列一行写
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3 | 4B | K100AI,BW1000,... | 1 | 填写公开预训练权重官网下载地址(必须),使用`[Hugging Face](链接)``[Modelscope](链接)`格式,样例如下[Hugging Face](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507) |
......
# 模型唯一标识
modelCode=Project ID(GitLab创建项目后查看名称下面的Project ID即可,注意此ID为hpccube下GitLab生成的ID,不可编造。例如:365)
# 模型名称
modelName=模型名称(同项目名称,模型名_深度学习框架:模型名为源github项目名(官方名称),深度学习框架名采用小写格式。例如:Janus_pytorch,resnet50_tensorflow)
modelName=模型名称(模型系列官方名称)
# 模型描述
modelDescription=简要描述此模型(尽量50字以内)
# 运行过程
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment