# 模型名称(跟原生模型一致) ## 论文 [此处填写论文名称](此处填写论文地址链接) **如果没有写`暂无`** ## 模型简介 简要介绍模型结构,根据论文或者原生模型介绍内容填写,如果有模型结构或者模型算法图则放图,没有则不放。
## 环境依赖 - 列举基础环境需求,根据实际情况填写 | 软件 | 版本 | | :------: | :------: | | DTK | xxx | | python | xx | | transformers | xx | | vllm | xx | | paddlepaddle | xx | | deepspeed | xx | 推荐使用镜像: - 挂载地址`-v`,`{docker_name}`和 `{docker_image_name}`根据实际模型情况修改 ```bash docker run -it --shm-size 200g --network=host --name {docker_name} --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro {docker_image_name} bash 示例如下: docker run -it --shm-size 200g --network=host --name qwen3 --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /path/your_code_path/:/path/your_code_path/ -v /opt/hyhal/:/opt/hyhal/:ro image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10 bash ``` 更多镜像可前往[光源](https://sourcefind.cn/#/service-list)下载使用。 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装,其它包参照requirements.txt安装: ``` pip install -r requirements.txt ``` ## 数据集 [公开数据集名称](公开数据集官网下载地址,过小文件可打包到项目里。) 此处提供数据预处理脚本的使用方法 ```bash python xxx.py ``` 项目中已提供用于试验训练的迷你数据集,训练数据目录结构如下,用于正常训练的完整数据集请按此目录结构进行制备: ``` ── dataset │   ├── filename_1 │    ├── xxx.png │    ├── xxx.png │ └── ... │   └── filename_2 │    ├── xxx.png │    ├── xxx.png │ └── ... ``` **如果没有数据集,写`暂无`** ## 训练 1. `单机训练`、`多机训练`方法根据实际情况选择填写即可。 2. 如果没有训练脚本,则写`暂无`,后面`单机训练`,`多机训练`章节删掉。 ### 单机训练 ```bash sh xxx.sh 或 python xxx.py ``` ### 多机训练 ```bash sh xxx.sh 或 python xxx.py ``` ## 推理 1. 推理框架有`transformers`、`vllm`、`SGLang`或者其他推理框架中任意一个即可,至少有一个; 2. `单机推理`,`多机推理`章节根据模型大小自行选择。 ### transformers #### 单机推理 ```bash sh xxx.sh 或 python xxx.py ``` #### 多机推理 ```bash sh xxx.sh 或 python xxx.py ``` ### vllm #### 单机推理 ```bash sh xxx.sh 或 python xxx.py ``` #### 多机推理 ```bash sh xxx.sh 或 python xxx.py ``` ### SGLang #### 单机推理 ```bash sh xxx.sh 或 python xxx.py ``` #### 多机推理 ```bash sh xxx.sh 或 python xxx.py ``` ... ## 效果展示 此处填算法效果测试图(包括输入、输出)
### 精度 测试数据:[test data](链接),使用的加速卡:xxx。 根据测试结果情况填写表格: | xxx | xxx | xxx | xxx | xxx | | :------: | :------: | :------: | :------: |:------: | | xxx | xxx | xxx | xxx | xxx | | xxx | xx | xxx | xxx | xxx | 如果资源限制无法做到,至少要保证中英文测试用例DCU输出正常,填写: `DCU与GPU精度一致,推理框架:XXX(测试使用的推理框架)。` ## 预训练权重 | 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 |下载地址| |:-----:|:----------:|:----------:|:---------------------:|:----------:| | Qwen3 | 4B | K100AI,BW1000,... | 1 | 填写公开预训练权重官网下载地址(必须),使用`[下载地址](链接)`格式,样例如下[下载地址](https://hf-mirror.com/Qwen/Qwen3-4B-Instruct-2507) | ## 源码仓库及问题反馈 - 此处填本项目gitlab地址 ## 参考资料 - 此处填源github地址(方便使用者查看原github issue) - 此处填参考项目或教程网址 - ...... 其他说明: 关于model.properties(必要)、LICENSE(必要)、CONTRIBUTORS、模型图标(必要)等其它信息提供参照:[`ModelZooStd.md`](./ModelZooStd.md) 各个模型需要保留原项目README.md,改名为README_origin.md即可。