Commit d97afa9c authored by weishb's avatar weishb
Browse files

更新readme模板

parent ec571323
...@@ -56,6 +56,13 @@ docker run -it \ ...@@ -56,6 +56,13 @@ docker run -it \
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。 关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:------:|:------:|:---------------------:|
| gemma-4-31B-it | 31B | BW1000 | 2 | [Hugging Face](https://huggingface.co/google/gemma-4-31B-it) |
## 数据集 ## 数据集
暂无 暂无
...@@ -64,7 +71,7 @@ docker run -it \ ...@@ -64,7 +71,7 @@ docker run -it \
暂无 暂无
## 推理 ## 推理
### vllm ### vLLM
#### 单机推理 #### 单机推理
```bash ```bash
...@@ -99,13 +106,9 @@ curl http://localhost:8000/v1/chat/completions \ ...@@ -99,13 +106,9 @@ curl http://localhost:8000/v1/chat/completions \
### 精度 ### 精度
DCU与GPU精度一致,推理框架:vllm。 DCU与GPU精度一致,推理框架:vllm。
## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:------:|:------:|:---------------------:|
| gemma-4-31B-it | 31B | BW1000 | 2 | [Hugging Face](https://huggingface.co/google/gemma-4-31B-it) |
## 源码仓库及问题反馈 ## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/gemma-4_vllm - https://developer.sourcefind.cn/codes/modelzoo/gemma-4
## 参考资料 ## 参考资料
- https://github.com/google-gemma - https://github.com/google-gemma
# 模型唯一标识 # 模型唯一标识
modelCode=2384 modelCode=2384
# 模型名称 # 模型名称
modelName=Gemma-4_vllm modelName=Gemma-4
# 模型描述 # 模型描述
modelDescription=Gemma 4 模型旨在在每个尺寸级别上都达到前沿性能,覆盖从移动和边缘设备(E2B、E4B)到消费级 GPU 和工作站(26B A4B、31B)的多种部署场景。 modelDescription=Gemma 4 模型旨在在每个尺寸级别上都达到前沿性能,覆盖从移动和边缘设备(E2B、E4B)到消费级 GPU 和工作站(26B A4B、31B)的多种部署场景。
# 运行过程 # 运行过程
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment