Commit d97afa9c authored by weishb's avatar weishb
Browse files

更新readme模板

parent ec571323
......@@ -56,6 +56,13 @@ docker run -it \
关于本项目DCU显卡所需的特殊深度学习库可从[光合](https://developer.sourcefind.cn/tool/)开发者社区下载安装。
## 预训练权重
**请根据`支持的DCU型号`选择对应模型下载,FP8模型仅在BW1100/BW1101上支持,其他型号请勿使用!**
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:------:|:------:|:---------------------:|
| gemma-4-31B-it | 31B | BW1000 | 2 | [Hugging Face](https://huggingface.co/google/gemma-4-31B-it) |
## 数据集
暂无
......@@ -64,7 +71,7 @@ docker run -it \
暂无
## 推理
### vllm
### vLLM
#### 单机推理
```bash
......@@ -99,13 +106,9 @@ curl http://localhost:8000/v1/chat/completions \
### 精度
DCU与GPU精度一致,推理框架:vllm。
## 预训练权重
| 模型名称 | 权重大小 | DCU型号 | 最低卡数需求 | 下载地址 |
|:------:|:----:|:------:|:------:|:---------------------:|
| gemma-4-31B-it | 31B | BW1000 | 2 | [Hugging Face](https://huggingface.co/google/gemma-4-31B-it) |
## 源码仓库及问题反馈
- https://developer.sourcefind.cn/codes/modelzoo/gemma-4_vllm
- https://developer.sourcefind.cn/codes/modelzoo/gemma-4
## 参考资料
- https://github.com/google-gemma
# 模型唯一标识
modelCode=2384
# 模型名称
modelName=Gemma-4_vllm
modelName=Gemma-4
# 模型描述
modelDescription=Gemma 4 模型旨在在每个尺寸级别上都达到前沿性能,覆盖从移动和边缘设备(E2B、E4B)到消费级 GPU 和工作站(26B A4B、31B)的多种部署场景。
# 运行过程
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment