"include/git@developer.sourcefind.cn:yangql/googletest.git" did not exist on "0af0709b02899f9177db55eba7929e65e5834b29"
Commit 7c8b4a6f authored by chenych's avatar chenych
Browse files

Delete _xxx。

parent 026513bf
...@@ -18,6 +18,7 @@ ...@@ -18,6 +18,7 @@
├── README.md ├── README.md
├── requirements.txt ├── requirements.txt
├── model.properties ├── model.properties
├── LICENSE(源github无LICENSE则在LICENSE里填:None LICENSE Currently.)
├── dirs ├── dirs
│   ├── code_file1.py │   ├── code_file1.py
│   ├── code_file2.py │   ├── code_file2.py
...@@ -41,7 +42,7 @@ ...@@ -41,7 +42,7 @@
# 模型唯一标识 # 模型唯一标识
modelCode=Project ID(GitLab创建项目后查看名称下面的Project ID即可,注意此ID为hpccube下GitLab生成的ID,不可编造。例如:365) modelCode=Project ID(GitLab创建项目后查看名称下面的Project ID即可,注意此ID为hpccube下GitLab生成的ID,不可编造。例如:365)
# 模型名称 # 模型名称
modelName=模型名称(同项目名称,模型名_深度学习框架:模型名为源github项目名(官方名称),深度学习框架名采用小写格式。例如:Janus_pytorch,resnet50_tensorflow) modelName=模型名称(模型系列官方名称)
# 模型描述 # 模型描述
modelDescription=简要描述此模型(尽量50字以内) modelDescription=简要描述此模型(尽量50字以内)
# 运行过程 # 运行过程
...@@ -53,5 +54,3 @@ frameType=paddle(说明使用的算法框架, 多个标签用英文逗号隔开 ...@@ -53,5 +54,3 @@ frameType=paddle(说明使用的算法框架, 多个标签用英文逗号隔开
# 加速卡类型 # 加速卡类型
accelerateType=BW1000,K100AI(设备为项目中所运行模型测试所用的加速卡,以帮助用户在光源可快速进行目标选型。) accelerateType=BW1000,K100AI(设备为项目中所运行模型测试所用的加速卡,以帮助用户在光源可快速进行目标选型。)
``` ```
* 增加LICENSE(必要),源github无LICENSE则在LICENSE里填:None LICENSE Currently.
\ No newline at end of file
# 模型名称(跟原生模型一致) # 模型名称(跟原生模型一致,优先模型系列名,特殊情况可单独以模型某size命名
## 论文 ## 论文
[此处填写论文名称](此处填写论文地址链接) [此处填写论文名称](此处填写论文地址链接)
...@@ -17,18 +17,19 @@ ...@@ -17,18 +17,19 @@
| 软件 | 版本 | | 软件 | 版本 |
| :------: | :------: | | :------: | :------: |
| DTK | xxx | | DTK | xxx |
| python | xx | | Python | xx |
| transformers | xx | | Transformers | xx |
| vllm | xx | | vLLM | xx |
| paddlepaddle | xx | | SGLang | xx |
| deepspeed | xx | | Paddlepaddle | xx |
| DeepSpeed | xx |
推荐使用镜像: xxxxxx(镜像地址,如 image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.5.1-ubuntu22.04-dtk25.04.2-py3.10) 推荐使用镜像: xxxxxx(镜像地址,如 image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.5.1-ubuntu22.04-dtk25.04.2-py3.10)
- 挂载地址`-v``{docker_name}``{docker_image_name}`根据实际模型情况修改 - 挂载地址`-v``{docker_name}``{docker_image_name}`根据实际模型情况修改
```bash ```bash
docker run -it \ docker run -it \
--shm-size 60g \ --shm-size 256g \
--network=host \ --network=host \
--name {docker_name} \ --name {docker_name} \
--privileged \ --privileged \
...@@ -45,7 +46,7 @@ docker run -it \ ...@@ -45,7 +46,7 @@ docker run -it \
示例如下(展示到modelzoo上的内容,就是将上面的{docker_image_name}{docker_name}根据实际模型填写) 示例如下(展示到modelzoo上的内容,就是将上面的{docker_image_name}{docker_name}根据实际模型填写)
docker run -it \ docker run -it \
--shm-size 60g \ --shm-size 256g \
--network=host \ --network=host \
--name qwen3 \ --name qwen3 \
--privileged \ --privileged \
...@@ -103,10 +104,10 @@ sh xxx.sh 或 python xxx.py ...@@ -103,10 +104,10 @@ sh xxx.sh 或 python xxx.py
``` ```
## 推理 ## 推理
1. 推理框架有`transformers``vllm``SGLang`或者其他推理框架中任意一个即可,至少有一个; 1. 推理框架有`Transformers``vLLM``SGLang`或者其他推理框架中任意一个即可,至少有一个;
2. `单机推理``多机推理`章节根据模型大小自行选择。 2. `单机推理``多机推理`章节根据模型大小自行选择。
### transformers ### Transformers
#### 单机推理 #### 单机推理
```bash ```bash
sh xxx.sh 或 python xxx.py sh xxx.sh 或 python xxx.py
...@@ -117,7 +118,7 @@ sh xxx.sh 或 python xxx.py ...@@ -117,7 +118,7 @@ sh xxx.sh 或 python xxx.py
sh xxx.sh 或 python xxx.py sh xxx.sh 或 python xxx.py
``` ```
### vllm ### vLLM
#### 单机推理 #### 单机推理
```bash ```bash
sh xxx.sh 或 python xxx.py sh xxx.sh 或 python xxx.py
...@@ -160,6 +161,8 @@ sh xxx.sh 或 python xxx.py ...@@ -160,6 +161,8 @@ sh xxx.sh 或 python xxx.py
`DCU与GPU精度一致,推理框架:XXX(测试使用的推理框架)。` `DCU与GPU精度一致,推理框架:XXX(测试使用的推理框架)。`
## 预训练权重 ## 预训练权重
> `BW1100`显存不一样,所需卡数不一样,可单列一行写
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:| |:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3 | 4B | K100AI,BW1000,... | 1 | 填写公开预训练权重官网下载地址(必须),使用`[Hugging Face](链接)``[Modelscope](链接)`格式,样例如下[Hugging Face](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507) | | Qwen3 | 4B | K100AI,BW1000,... | 1 | 填写公开预训练权重官网下载地址(必须),使用`[Hugging Face](链接)``[Modelscope](链接)`格式,样例如下[Hugging Face](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507) |
......
# 模型唯一标识 # 模型唯一标识
modelCode=Project ID(GitLab创建项目后查看名称下面的Project ID即可,注意此ID为hpccube下GitLab生成的ID,不可编造。例如:365) modelCode=Project ID(GitLab创建项目后查看名称下面的Project ID即可,注意此ID为hpccube下GitLab生成的ID,不可编造。例如:365)
# 模型名称 # 模型名称
modelName=模型名称(同项目名称,模型名_深度学习框架:模型名为源github项目名(官方名称),深度学习框架名采用小写格式。例如:Janus_pytorch,resnet50_tensorflow) modelName=模型名称(模型系列官方名称)
# 模型描述 # 模型描述
modelDescription=简要描述此模型(尽量50字以内) modelDescription=简要描述此模型(尽量50字以内)
# 运行过程 # 运行过程
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment