README.md

# 模型名称（跟原生模型一致，优先模型系列名，特殊情况可单独以模型某size命名）
## 论文
[此处填写论文名称](此处填写论文地址链接)

**如果没有写`暂无`**

## 模型简介
简要介绍模型结构，根据论文或者原生模型介绍内容填写，如果有模型结构或者模型算法图则放图，没有则不放。

<div align=center>
    <img src="./doc/xxxx.png"/>
</div>

## 环境依赖
- 列举基础环境需求，根据实际情况填写

| 软件 | 版本 |
| :------: | :------: |
| DTK | xxx |
| Python | xx |
| Transformers | xx |
| vLLM | xx |
| SGLang | xx |
| Paddlepaddle | xx |
| DeepSpeed | xx |

推荐使用镜像:
> 如果存在`vLLM`和`SGLang`需要不同镜像的，要分别列出，比如：
- **vLLM推理请使用:** xxxxxx(镜像地址，如 image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10)
- **SGLang推理请使用:** xxxxxx(镜像地址，如 harbor.sourcefind.cn:5443/dcu/admin/base/custom:sglang-0.5.10-glm5-0416)
> 如果一个镜像即可，就不用单独列出，比如
xxxxxx(镜像地址，如 image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10，单个镜像的时候使用)

- 挂载地址`-v`，`{docker_name}`和 `{docker_image_name}`根据实际模型情况修改
- 下面以`vLLM`镜像启动示例，如果使用`SGLang`，请对应替换镜像地址（如果仅`vLLM`或`SGLang`框架推理，可不加这句话）

```bash
docker run -it \
    --shm-size 256g \
    --network=host \
    --name {docker_name} \
    --privileged \
    --device=/dev/kfd \
    --device=/dev/dri \
    --device=/dev/mkfd \
    --group-add video \
    --cap-add=SYS_PTRACE \
    --security-opt seccomp=unconfined \
    -u root \
    -v /opt/hyhal/:/opt/hyhal/:ro \
    -v /path/your_code_data/:/path/your_code_data/ \
    {docker_image_name} bash

示例如下(展示到modelzoo上的内容，就是将上面的{docker_image_name} {docker_name}根据实际模型填写)：
docker run -it \
    --shm-size 256g \
    --network=host \
    --name qwen3 \
    --privileged \
    --device=/dev/kfd \
    --device=/dev/dri \
    --device=/dev/mkfd \
    --group-add video \
    --cap-add=SYS_PTRACE \
    --security-opt seccomp=unconfined \
    -u root \
    -v /opt/hyhal/:/opt/hyhal/:ro \
    -v /path/your_code_data/:/path/your_code_data/ \
    image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10 bash
```
更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。

关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装，其它包参照requirements.txt安装：
```
pip install -r requirements.txt
```

## 数据集
[公开数据集名称](公开数据集官网下载地址，过小文件可打包到项目里。)

此处提供数据预处理脚本的使用方法
```bash
python xxx.py
```
项目中已提供用于试验训练的迷你数据集，训练数据目录结构如下，用于正常训练的完整数据集请按此目录结构进行制备：
```
 ── dataset
    │   ├── filename_1
    │             ├── xxx.png
    │             ├── xxx.png
    │             └── ...
    │   └── filename_2
    │             ├── xxx.png
    │             ├── xxx.png
    │             └── ...
```
**如果没有数据集，写`暂无`**

## 训练
1. `单机训练`、`多机训练`方法根据实际情况选择填写即可。
2. 如果没有训练脚本，则写`暂无`，后面`单机训练`，`多机训练`章节删掉。

### 单机训练
```bash
sh xxx.sh 或 python xxx.py
```

### 多机训练
```bash
sh xxx.sh 或 python xxx.py
```

## 推理
1. 推理框架有`Transformers`、`vLLM`、`SGLang`或者其他推理框架中任意一个即可，至少有一个；
2. `单机推理`，`多机推理`章节根据模型大小自行选择。

### Transformers
#### 单机推理
```bash
sh xxx.sh 或 python xxx.py
```

#### 多机推理
```bash
sh xxx.sh 或 python xxx.py
```

### vLLM
#### 单机推理
```bash
sh xxx.sh 或 python xxx.py
```

#### 多机推理
```bash
sh xxx.sh 或 python xxx.py
```

### SGLang
#### 单机推理
```bash
sh xxx.sh 或 python xxx.py
```

#### 多机推理
```bash
sh xxx.sh 或 python xxx.py
```
...

## 效果展示
此处填算法效果测试图（包括输入、输出）

<div align=center>
    <img src="./doc/xxx.png"/>
</div>

### 精度
测试数据：[test data](链接)，使用的加速卡:xxx。

根据测试结果情况填写表格：
| xxx | xxx | xxx | xxx | xxx |
| :------: | :------: | :------: | :------: |:------: |
| xxx | xxx | xxx | xxx | xxx  |
| xxx | xx | xxx | xxx | xxx |

如果资源限制无法做到，至少要保证中英文测试用例DCU输出正常，填写：
`DCU与GPU精度一致，推理框架：XXX(测试使用的推理框架)。`

## 预训练权重
> `BW1100`显存不一样，所需卡数不一样，可单列一行写

| 模型名称  | 权重大小  | DCU型号  | 最低卡数需求 |下载地址|
|:-----:|:----------:|:----------:|:---------------------:|:----------:|
| Qwen3 | 4B | K100AI,BW1000,... | 1 | 填写公开预训练权重官网下载地址（必须），使用`[Hugging Face](链接)`或`[Modelscope](链接)`格式，样例如下[Hugging Face](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507) |

## 源码仓库及问题反馈
- 此处填本项目gitlab地址

## 参考资料
- 此处填源github地址（方便使用者查看原github issue）
- 此处填参考项目或教程网址
- ......

其他说明：
关于model.properties（必要）、LICENSE（必要）、CONTRIBUTORS、模型图标（必要）等其它信息提供参照：[`ModelZooStd.md`](./ModelZooStd.md)
各个模型需要保留原项目README.md，改名为README_origin.md即可。