Commit 42502c7f authored by chenych's avatar chenych
Browse files

Update README

parent 0212ca55
# 模型名称(跟原生模型一致) # 模型名称(跟原生模型一致)
## 论文 ## 论文
`此处填写论文名称` [此处填写论文名称](此处填写论文地址链接)
- 此处填写论文地址链接
如果没有写`暂无` **如果没有写`暂无`**
## 模型简介 ## 模型简介
简要介绍模型结构,根据论文或者原生模型介绍内容填写,如果有模型结构或者模型算法图则放图,没有则不放。 简要介绍模型结构,根据论文或者原生模型介绍内容填写,如果有模型结构或者模型算法图则放图,没有则不放。
<div align=center> <div align=center>
<img src="./doc/xxx.png"/> <img src="./doc/xxxx.png"/>
</div> </div>
## 环境依赖 ## 环境依赖
...@@ -22,12 +21,16 @@ ...@@ -22,12 +21,16 @@
| transformers | xx | | transformers | xx |
| vllm | xx | | vllm | xx |
| paddlepaddle | xx | | paddlepaddle | xx |
| deepspeed | xx |
推荐使用镜像: 推荐使用镜像:
- `docker_name``imageID`根据实际模型情况修改 - 挂载地址`-v``{docker_name}` `{docker_image_name}`根据实际模型情况修改
``` ```bash
docker run -it --shm-size 200g --network=host --name `docker_name` --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro `imageID` bash docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro {docker_image_name} bash
示例如下:
docker run -it --shm-size 200g --network=host --name qwen3 --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10 bash
``` ```
更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。 更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。
...@@ -40,74 +43,76 @@ pip install -r requirements.txt ...@@ -40,74 +43,76 @@ pip install -r requirements.txt
[公开数据集名称](公开数据集官网下载地址,过小文件可打包到项目里。) [公开数据集名称](公开数据集官网下载地址,过小文件可打包到项目里。)
此处提供数据预处理脚本的使用方法 此处提供数据预处理脚本的使用方法
``` ```bash
python xxx.py python xxx.py
``` ```
项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备: 项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备:
``` ```
── dataset ── dataset
│   ├── label_1 │   ├── filename_1
│    ├── xxx.png │    ├── xxx.png
│    ├── xxx.png │    ├── xxx.png
│ └── ... │ └── ...
│   └── label_2 │   └── filename_2
│    ├── xxx.png │    ├── xxx.png
│    ├── xxx.png │    ├── xxx.png
│ └── ... │ └── ...
``` ```
如果没有数据集,写`暂无` **如果没有数据集,写`暂无`**
## 训练 ## 训练
`单机训练``多机训练`方法根据实际情况选择填写即可。 1. `单机训练``多机训练`方法根据实际情况选择填写即可。
如果没有训练脚本,则写`暂无`,后面`单机训练``多机训练`章节删掉。 2. 如果没有训练脚本,则写`暂无`,后面`单机训练``多机训练`章节删掉。
### 单机训练 ### 单机训练
``` ```bash
sh xxx.sh # 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
### 多机训练 ### 多机训练
``` ```bash
sh xxx.sh 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
## 推理 ## 推理
推理框架有`transformers``vllm``SGLang`或者其他推理框架中任意一个即可,`单机单卡``单机多卡`章节根据模型大小自行选择即可。 1. 推理框架有`transformers``vllm``SGLang`或者其他推理框架中任意一个即可,至少有一个;
2. `单机推理``多机推理`章节根据模型大小自行选择。
### transformers ### transformers
#### 单机推理 #### 单机推理
``` ```bash
sh xxx.sh # 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
#### 多机推理 #### 多机推理
``` ```bash
sh xxx.sh 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
### vllm ### vllm
#### 单机推理 #### 单机推理
``` ```bash
sh xxx.sh # 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
#### 多机推理 #### 多机推理
``` ```bash
sh xxx.sh 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
### SGLang ### SGLang
#### 单机推理 #### 单机推理
``` ```bash
sh xxx.sh # 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
#### 多机推理 #### 多机推理
``` ```bash
sh xxx.sh 或python xxx.py sh xxx.sh 或 python xxx.py
``` ```
... ...
## result ## 效果展示
此处填算法效果测试图(包括输入、输出) 此处填算法效果测试图(包括输入、输出)
<div align=center> <div align=center>
...@@ -123,14 +128,17 @@ sh xxx.sh 或python xxx.py ...@@ -123,14 +128,17 @@ sh xxx.sh 或python xxx.py
| xxx | xxx | xxx | xxx | xxx | | xxx | xxx | xxx | xxx | xxx |
| xxx | xx | xxx | xxx | xxx | | xxx | xx | xxx | xxx | xxx |
如果资源限制无法做到,至少要保证中英文测试用例DCU输出正常,填写:
`DCU与GPU精度一致,推理框架:XXX(测试使用的推理框架)。`
## 算法类别 ## 算法类别
`此处填算法类别` `此处填算法类别`
填写此算法最主要的算法类别,数量为1,与icon图标类别一致,请勿随意命名。 填写此算法最主要的算法类别,数量为1,与icon图标类别一致,请勿随意命名。
## 预训练权重 ## 预训练权重
|模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址,填写公开预训练权重官网下载地址(必须),使用`[下载地址](链接)`格式,样例如下| |模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:----------:|:----------:| |:-----:|:----------:|:----------:|:----------:|:----------:|
|Qwen3 | 4B | K100AI,BW1000 | 1 | [下载地址](https://hf-mirror.com/Qwen/Qwen3-4B-Instruct-2507) | | Qwen3 | 4B | K100AI,BW1000,... | 1 | 填写公开预训练权重官网下载地址(必须),使用`[下载地址](链接)`格式,样例如下[下载地址](https://hf-mirror.com/Qwen/Qwen3-4B-Instruct-2507) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- 此处填本项目gitlab地址 - 此处填本项目gitlab地址
...@@ -140,5 +148,6 @@ sh xxx.sh 或python xxx.py ...@@ -140,5 +148,6 @@ sh xxx.sh 或python xxx.py
- 此处填参考项目或教程网址 - 此处填参考项目或教程网址
- ...... - ......
`关于model.properties(必要)、LICENSE(必要)、CONTRIBUTORS、模型图标(必要)等其它信息提供参照: `[`ModelZooStd.md`](./ModelZooStd.md) 其他说明:
`各个模型需要保留原项目README.md,改名为README_origin.md即可。` 关于model.properties(必要)、LICENSE(必要)、CONTRIBUTORS、模型图标(必要)等其它信息提供参照:[`ModelZooStd.md`](./ModelZooStd.md)
\ No newline at end of file 各个模型需要保留原项目README.md,改名为README_origin.md即可。
\ No newline at end of file
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment